Evaluatie-onderzoeksopzet: Examples, Methods & Types

Tijdens het uitvoeren van taken zult u regelmatig pauzes moeten inlassen om na te gaan hoeveel vooruitgang er is geboekt en of er onderweg nog wijzigingen moeten worden aangebracht. Dit is zeer vergelijkbaar met wat organisaties doen wanneer zij evaluatieonderzoek uitvoeren.

De methodologie van evaluatieonderzoek is een van de belangrijkste benaderingen geworden voor organisaties als zij ernaar streven producten, diensten en processen te creëren die inspelen op de behoeften van de beoogde gebruikers. In dit artikel laten wij u zien hoe uw organisatie succesvol evaluatieonderzoek kan uitvoeren met Formplus.

Wat is evaluatieonderzoek?

Evaluatieonderzoek, ook bekend als programma-evaluatie, is een veelgebruikte onderzoeksopzet waarbij een gestructureerde beoordeling wordt uitgevoerd van de waarde van middelen die voor een project of specifiek doel zijn ingezet. Het maakt vaak gebruik van sociale onderzoeksmethoden voor het verzamelen en analyseren van nuttige informatie over organisatorische processen en producten.

Als een soort toegepast onderzoek, evaluatie onderzoek typisch geassocieerd met real-life scenario’s binnen organisatorische contexten. Dit betekent dat de onderzoeker gebruik zal moeten maken van gemeenschappelijke vaardigheden op de werkplek, waaronder interpersoonlijke vaardigheden en teamspel, om te komen tot objectieve onderzoeksresultaten die nuttig zullen zijn voor belanghebbenden.

Karakteristieken van Evaluatieonderzoek

1. Onderzoeksomgeving: Evaluatieonderzoek wordt uitgevoerd in de echte wereld; dat wil zeggen, binnen de context van een organisatie.
2. Onderzoeksfocus: Evaluatieonderzoek richt zich primair op het meten van de uitkomsten van een proces en niet zozeer op het proces zelf.
3. Onderzoeksresultaten: Evaluatieonderzoek wordt ingezet voor strategische besluitvorming in organisaties.
4. Onderzoeksdoel: Het doel van programma-evaluatie is te bepalen of een proces het gewenste resultaat (de gewenste resultaten) heeft opgeleverd.
5. Dit type onderzoek beschermt de belangen van belanghebbenden in de organisatie.
6. Het houdt vaak het midden tussen zuiver en toegepast onderzoek.
7. Evaluatieonderzoek is zowel gedetailleerd als continu. Het besteedt aandacht aan performatieve processen in plaats van aan beschrijvingen.
8. Onderzoeksproces: Dit onderzoeksontwerp maakt gebruik van kwalitatieve en kwantitatieve onderzoeksmethoden om relevante gegevens te verzamelen over een product of een op actie gebaseerde strategie. Deze methoden omvatten observatie, tests en enquêtes.

Types van evaluatieonderzoek

De Encyclopedia of Evaluation (Mathison, 2004) behandelt tweeënveertig verschillende evaluatiebenaderingen en -modellen, variërend van “waarderend onderzoek” tot “connoisseurship” tot “transformatieve evaluatie”. Veel voorkomende vormen van evaluatieonderzoek zijn onder meer de volgende:

• Formatieve evaluatie

Formatieve evaluatie of nulmeting is een vorm van evaluatieonderzoek waarbij de behoeften van de gebruikers of doelmarkt worden gepeild voordat aan een project wordt begonnen. Formatieve evaluatie is het startpunt van evaluatieonderzoek omdat het de toon zet voor het project van de organisatie en nuttige inzichten verschaft voor andere soorten evaluatie.

• Tussentijdse evaluatie

Tussentijdse evaluatie houdt in dat wordt beoordeeld hoe ver een project is gevorderd en of het in overeenstemming is met de gestelde doelen en doelstellingen. Tussentijdse evaluaties stellen de organisatie in staat te bepalen of een wijziging of aanpassing van de implementatiestrategie nodig is, en ze dienen ook voor het volgen van het project.

• Summatieve evaluatie

Dit type evaluatie wordt ook wel eindevaluatie of evaluatie van de voltooiing van een project genoemd en wordt uitgevoerd onmiddellijk na de voltooiing van een project. Hierbij onderzoekt de onderzoeker de waarde en de output van het programma in de context van de verwachte resultaten.

Summatieve evaluatie stelt de organisatie in staat de mate van succes van een project te meten. Dergelijke resultaten kunnen worden gedeeld met belanghebbenden, doelmarkten en potentiële investeerders.

• Uitkomstevaluatie

Uitkomstevaluatie is in de eerste plaats gericht op de doelgroep, omdat de effecten van het project, het programma of het product op de gebruikers worden gemeten. Dit type evaluatie bekijkt de uitkomsten van het project door de lens van de doelgroep en meet vaak veranderingen zoals kennisverbetering, verwerving van vaardigheden en verhoogde arbeidsefficiëntie.

• Appreciative Enquiry

Appreciative inquiry is een vorm van evaluatieonderzoek waarbij aandacht wordt besteed aan resultaatgerichte benaderingen. Het is gebaseerd op de overtuiging dat een organisatie zal groeien in de richting waar haar stakeholders primair aandacht aan besteden, zodat als alle aandacht gericht is op problemen, het identificeren daarvan gemakkelijk zou zijn.

In het uitvoeren van waarderend onderzoek, identificeert het onderzoek de factoren die direct verantwoordelijk zijn voor de positieve resultaten die in de loop van een project worden gerealiseerd, analyseert de redenen voor deze resultaten, en intensiveert de benutting van deze factoren.

Evaluatie-onderzoeksmethodologie

Er zijn vier belangrijke evaluatie-onderzoeksmethoden, namelijk: outputmeting, inputmeting, effectbeoordeling en kwaliteit van de dienstverlening

• Output/Performance Measurement

Outputmeting is een methode die wordt toegepast in evaluatief onderzoek en die de resultaten van een door een organisatie ondernomen activiteit laat zien. Met andere woorden, bij prestatiemeting wordt aandacht besteed aan de resultaten die zijn bereikt met de middelen die in een specifieke activiteit of een specifiek organisatieproces zijn geïnvesteerd.

Meer dan het investeren van middelen in een project, moeten organisaties in staat zijn om na te gaan in hoeverre deze middelen resultaten hebben opgeleverd, en dit is waar prestatiemeting om de hoek komt kijken. Outputmeting stelt organisaties in staat om aandacht te besteden aan de effectiviteit en impact van een proces in plaats van alleen aan het proces zelf.

Andere belangrijke indicatoren van prestatiemeting zijn de tevredenheid van de gebruiker, de capaciteit van de organisatie, de marktpenetratie en het gebruik van faciliteiten. Bij het uitvoeren van prestatiemeting, moeten organisaties de parameters identificeren die relevant zijn voor het proces in kwestie, hun industrie, en de doelmarkten.

5 Voorbeelden van onderzoeksvragen voor prestatie-evaluatie

1. Wat is de kosteneffectiviteit van dit project?
2. Wat is het totale bereik van dit project?
3. Hoe zou u de marktpenetratie van dit project beoordelen?
4. Hoe toegankelijk is het project?
5. Is dit project tijdsefficiënt?

• Inputmeting

In evaluatieonderzoek houdt inputmeting in dat wordt nagegaan hoeveel middelen in een organisatie aan een project of doel worden besteed. Dit is een van de meest gebruikte indicatoren in evaluatieonderzoek, omdat het organisaties in staat stelt hun investeringen te volgen.

De meest voorkomende indicator van inputmeting is het budget, waarmee organisaties de uitgaven voor een project kunnen evalueren en beperken. Het is ook belangrijk niet-monetaire investeringen te meten, zoals menselijk kapitaal; dat is het aantal personen dat nodig is voor een succesvolle projectuitvoering en productiekapitaal.

5 Input Evaluatie Onderzoeksvragen Voorbeelden

1. Wat is het budget voor dit project?
2. Wat is de tijdslijn van dit proces?
3. Hoeveel werknemers zijn toegewezen aan dit project?
4. Moeten we voor dit project nieuwe machines aanschaffen?
5. Hoeveel derde partijen werken mee aan dit project?

• Impact/Outcomes Assessment

Bij impact assessment richt de evaluatie-onderzoeker zich op de vraag hoe het product of project de doelmarkten beïnvloedt, zowel direct als indirect. Beoordeling van de uitkomsten is enigszins uitdagend, omdat het vaak moeilijk is de waarde en de voordelen van een project voor de gebruikers in real time te meten.

Bij de beoordeling van de effecten van een proces moet de evaluatie-onderzoeker aandacht besteden aan de verbetering die de gebruikers constateren als gevolg van het proces of project in kwestie. Het is dus zinvol de aandacht te richten op cognitieve en affectieve veranderingen, verwachting-tevredenheid, en soortgelijke prestaties van de gebruikers.

5 Voorbeelden van effectevaluatie-onderzoeksvragen

1. Hoe heeft dit project u beïnvloed?
2. Heeft dit proces u positief of negatief beïnvloed?
3. Welke rol heeft dit project gespeeld bij het verbeteren van uw verdienvermogen?
4. Op een schaal van 1-10, hoe enthousiast bent u over dit project?
5. Hoe heeft dit project uw geestelijke gezondheid verbeterd?

• Dienstkwaliteit

Dienstkwaliteit is de methode van evaluatieonderzoek die rekening houdt met eventuele verschillen tussen de verwachtingen van de doelmarkten en hun indruk van het ondernomen project. Er wordt dus aandacht besteed aan de algemene beoordeling van de kwaliteit van de dienst door de gebruikers.

Het is niet ongewoon voor organisaties om de verwachtingen van doelmarkten op te bouwen wanneer zij aan specifieke projecten beginnen. Evaluatie van de kwaliteit van de dienstverlening stelt deze organisaties in staat om bij te houden in hoeverre de feitelijke levering van het product of de dienst aan de verwachtingen voldoet.

5 Service Quality Evaluation Questions

1. Op een schaal van 1-10, hoe tevreden bent u met het product?
2. Hoe behulpzaam was onze medewerker van de klantenservice?
3. Hoe tevreden bent u met de kwaliteit van de dienstverlening?
4. Hoe lang duurde het om het probleem op te lossen?
5. Hoe waarschijnlijk is het dat u ons aan uw netwerk aanbeveelt?

Toepassingen van evaluatieonderzoek

• Evaluatieonderzoek wordt door organisaties gebruikt om de effectiviteit van activiteiten te meten en om gebieden te identificeren die verbetering behoeven. Bevindingen uit evaluatieonderzoek zijn van groot belang voor project- en productverbeteringen en zijn zeer invloedrijk om organisaties te helpen hun doelen efficiënt te realiseren.
• De uitkomsten van evaluatieonderzoek dienen als bewijs voor de impact van het project dat een organisatie is begonnen. Deze informatie kan worden gepresenteerd aan belanghebbenden, klanten, en kan ook helpen uw organisatie investeringen veilig te stellen voor toekomstige projecten.
• Evaluatieonderzoek helpt organisaties bij het rechtvaardigen van hun gebruik van beperkte middelen en bij het kiezen van de beste alternatieven.
• Het is ook nuttig bij pragmatische doelbepaling en -realisatie.
• Evaluatie-onderzoek geeft gedetailleerde inzichten in projecten die door een organisatie worden opgestart. In wezen stelt het alle belanghebbenden in staat om meerdere dimensies van een proces te begrijpen, en om sterke en zwakke punten te bepalen.
• Evaluatie-onderzoek speelt ook een belangrijke rol bij het helpen van organisaties om hun algehele praktijk en dienstverlening te verbeteren. Deze onderzoeksopzet stelt organisaties in staat om bestaande processen te wegen door middel van feedback van belanghebbenden, en dit informeert betere besluitvorming.
• Evaluatieonderzoek is ook van groot belang voor duurzame capaciteitsopbouw. Het helpt u om vraagpatronen te analyseren en te bepalen of uw organisatie meer fondsen, bijscholing of verbeterde operaties nodig heeft.

Gegevensverzamelingstechnieken gebruikt in evaluatieonderzoek

Bij het verzamelen van bruikbare gegevens voor evaluatieonderzoek combineert de onderzoeker vaak kwantitatieve en kwalitatieve onderzoeksmethoden. Kwalitatieve onderzoeksmethoden stellen de onderzoeker in staat informatie te verzamelen met betrekking tot immateriële waarden zoals markttevredenheid en perceptie.

Anderzijds worden kwantitatieve methoden door de evaluatieonderzoeker gebruikt om numerieke patronen, dat wil zeggen kwantificeerbare gegevens, te beoordelen. Deze methoden helpen bij het meten van effecten en resultaten; hoewel ze niet kunnen dienen om de context van het proces te begrijpen.

Quantitatieve methoden voor evaluatieonderzoek

• enquêtes

Een enquête is een kwantitatieve methode waarmee u informatie over een project kunt verzamelen bij een specifieke groep mensen. Enquêtes zijn grotendeels contextgebonden en beperkt tot doelgroepen aan wie een reeks gestructureerde vragen wordt gesteld die aansluiten bij de vooraf bepaalde context.

Surveys bestaan meestal uit gesloten vragen waarmee de evaluerende onderzoeker inzicht kan krijgen in verschillende variabelen, waaronder marktdekking en klantenvoorkeuren. Enquêtes kunnen fysiek worden uitgevoerd met behulp van papieren formulieren of online via gegevensverzamelingsplatforms zoals Formplus.

• Questionnaires

Een vragenlijst is een veelgebruikt kwantitatief onderzoeksinstrument dat wordt ingezet bij evaluatieonderzoek. Doorgaans gaat het om een bundeling van verschillende soorten vragen of aanwijzingen die de onderzoeker helpen waardevolle informatie van respondenten te verkrijgen.

• peilingen

Een peiling is een gangbare methode voor opiniepeiling waarmee u de perceptie van het publiek kunt peilen over kwesties die hen raken. De beste manier om nauwkeurigheid te bereiken bij opiniepeilingen is door ze online uit te voeren met platforms zoals Formplus.

Polls zijn vaak gestructureerd als Likert-vragen en de geboden opties houden altijd rekening met neutraliteit of besluiteloosheid. Door een peiling uit te voeren, krijgt de evaluatieonderzoeker inzicht in de mate waarin het product of de dienst aan de behoeften van de gebruikers voldoet.

Qualitative Methods for Evaluation Research

• One-on-One Interview

Een interview is een gestructureerd gesprek met twee deelnemers; meestal de onderzoeker en de gebruiker of een lid van de doelmarkt. Een-op-een-interviews kunnen fysiek worden gehouden, via de telefoon en via videoconferentie-apps zoals Zoom en Google Meet.

• Focusgroepen

Een focusgroep is een onderzoeksmethode waarbij interactie plaatsvindt met een beperkt aantal personen binnen uw doelmarkt, die inzichten kunnen verschaffen over marktpercepties en nieuwe producten.

• Qualitatieve observatie

Qualitatieve observatie is een onderzoeksmethode die de evaluatieonderzoeker in staat stelt nuttige informatie van het doelpubliek te verzamelen via een verscheidenheid aan subjectieve benaderingen. Deze methode is uitgebreider dan kwantitatieve observatie omdat het om een kleinere steekproefomvang gaat en er ook gebruik wordt gemaakt van inductieve analyse.

• Casestudies

Een casestudy is een onderzoeksmethode die de onderzoeker helpt om een beter inzicht te krijgen in een onderwerp of proces. Bij casestudies wordt diepgaand onderzoek verricht naar een bepaald onderwerp, om de functionaliteiten en successen ervan te begrijpen.

Hoe Formplus Online Form Builder voor evaluatie-enquête

• Teken in Formplus

In de Formplus builder kunt u eenvoudig uw evaluatie-enquête maken door de gewenste velden naar uw formulier te slepen. Om toegang te krijgen tot de Formplus-ontwikkelaar, moet u een account aanmaken op Formplus.

Als u dit hebt gedaan, meldt u zich aan bij uw account en klikt u op “Formulier maken” om te beginnen.

• Titel formulier bewerken

Klik op het daarvoor bestemde veld om de titel van uw formulier in te voeren, bijvoorbeeld “Enquête evaluatieonderzoek”.

• Edit Form

Klik op de knop bewerken om het formulier te bewerken.

Velden toevoegen: Sleep de gewenste formuliervelden naar uw formulier in de kolom Formplus builder inputs. Er zijn verschillende veldinvoermogelijkheden voor enquêtes in de Formplus builder.

Velden bewerken

Klik op “Opslaan”

Bekijk formulier.

• Vormaanpassing

Met de opties voor het aanpassen van formulieren in de Formplus-bouwer kunt u het uiterlijk van uw formulier eenvoudig veranderen en het uniek en persoonlijk maken. Met Formplus kunt u het thema van uw formulier wijzigen, achtergrondafbeeldingen toevoegen en zelfs het lettertype aanpassen aan uw behoeften.

• Meervoudige opties voor delen

Formplus biedt meerdere opties voor het delen van formulieren, zodat u uw evaluatie-enquête gemakkelijk kunt delen met respondenten. U kunt de directe knoppen voor het delen van sociale media gebruiken om de link naar uw formulier te delen op de sociale-mediapagina’s van uw organisatie.

U kunt uw enquêteformulier ook als e-mailuitnodiging naar uw onderzoekspersonen sturen. Als u wilt, kunt u de QR-code van uw formulier delen of insluiten op de website van uw organisatie voor gemakkelijke toegang.

Conclusie

Door het uitvoeren van evaluatieonderzoek kunnen organisaties de effectiviteit van hun activiteiten in verschillende fasen bepalen. Dit type onderzoek kan worden uitgevoerd met behulp van kwalitatieve en kwantitatieve methoden voor gegevensverzameling, waaronder focusgroepen, observatie, telefonische en een-op-een interviews, en enquêtes.

Online enquêtes die zijn gemaakt en worden beheerd via gegevensverzamelingsplatforms zoals Formplus maken het u gemakkelijker om informatie te verzamelen en te verwerken tijdens evaluatieonderzoek. Met Formplus opties voor het delen van formulieren is het voor u nog eenvoudiger om nuttige gegevens van doelmarkten te verzamelen.