Design af evalueringsundersøgelser: Eksempler, metoder og typer

Når du udfører opgaverne, er du nødt til at holde pauser med mellemrum for at afgøre, hvor store fremskridt du har gjort, og om der skal foretages ændringer undervejs. Dette svarer meget til det, som organisationer gør, når de gennemfører evalueringsundersøgelser.

Evalueringsforskningsmetodologien er blevet en af de vigtigste tilgange for organisationer, når de stræber efter at skabe produkter, tjenester og processer, der taler til målbrugernes behov. I denne artikel viser vi dig, hvordan din organisation kan gennemføre en vellykket evalueringsforskning ved hjælp af Formplus.

Hvad er evalueringsforskning?

Evalueringsforskning, også kendt som programevaluering, er et almindeligt forskningsdesign, der indebærer gennemførelse af en struktureret vurdering af værdien af de ressourcer, der er afsat til et projekt eller et specifikt mål. Den anvender ofte sociale forskningsmetoder til at indsamle og analysere nyttige oplysninger om organisatoriske processer og produkter.

Som en type anvendt forskning er evalueringsforskning typisk forbundet med virkelige scenarier inden for organisatoriske kontekster. Dette betyder, at forskeren skal udnytte almindelige arbejdspladsfærdigheder, herunder interpersonelle færdigheder og holdspil, for at nå frem til objektive forskningsresultater, der vil være nyttige for interessenterne.

Karakteristika ved evalueringsforskning

1. Forskningsmiljø: Evalueringsforskning udføres i den virkelige verden, dvs. inden for rammerne af en organisation.
2. Forskningsfokus: Evalueringsforskning beskæftiger sig primært med at måle resultaterne af en proces snarere end selve processen.
3. Research Outcome: Evalueringsforskning anvendes til strategisk beslutningstagning i organisationer.
4. Forskningsmål: Målet med programevaluering er at fastslå, om en proces har givet de(t) ønskede resultat(er).
5. Denne type forskning beskytter interessenterne i organisationen.
6. Den repræsenterer ofte en mellemting mellem ren og anvendt forskning.
7. Evalueringsforskning er både detaljeret og kontinuerlig. Den lægger vægt på performative processer snarere end beskrivelser.
8. Forskningsprocessen: Dette forskningsdesign anvender kvalitative og kvantitative forskningsmetoder til at indsamle relevante data om et produkt eller en handlingsbaseret strategi. Disse metoder omfatter observation, test og undersøgelser.

Types of Evaluation Research

The Encyclopedia of Evaluation (Mathison, 2004) behandler 42 forskellige evalueringstilgange og modeller, der spænder fra “appreciative inquiry” til “connoisseurship” til “transformative evaluation”. Almindelige typer af evalueringsforskning omfatter følgende:

• Formativ evaluering

Formativ evaluering eller baselineundersøgelse er en type evalueringsforskning, der indebærer en vurdering af brugernes eller målmarkedets behov, før man går i gang med et projekt. Formativ evaluering er udgangspunktet for evalueringsforskning, fordi den sætter tonen for organisationens projekt og giver nyttig indsigt for andre typer evaluering.

• Midtvejsevaluering

Midtvejsevaluering indebærer, at man vurderer, hvor langt et projekt er nået, og afgør, om det er i overensstemmelse med de fastsatte mål og målsætninger. Midtvejsevalueringer giver organisationen mulighed for at afgøre, om en ændring eller ændring af implementeringsstrategien er nødvendig, og det tjener også til at følge projektet.

• Summativ evaluering

Denne type evaluering er også kendt som evaluering ved projektets afslutning, og den gennemføres umiddelbart efter afslutningen af et projekt. Her unders{³}ger forskeren programmets v{³}rdi og output inden for rammerne af de forventede resultater.

Summativ evaluering giver organisationen mulighed for at måle graden af succes for et projekt. Sådanne resultater kan deles med interessenter, målmarkeder og potentielle investorer.

• Outcome Evaluation

Outcome Evaluation er primært målgruppeorienteret, fordi den måler virkningerne af projektet, programmet eller produktet på brugerne. Denne type evaluering ser projektets resultater gennem målgruppens briller, og den måler ofte ændringer som f.eks. forbedring af viden, erhvervelse af færdigheder og øget arbejdseffektivitet.

• Appreciative Enquiry

Appreciative inquiry er en type evalueringsforskning, der lægger vægt på resultatskabende tilgange. Den bygger på den overbevisning, at en organisation vil vokse i den retning, som dens interessenter er mest opmærksomme på, således at hvis al opmærksomheden er rettet mod problemer, vil det være let at identificere dem.

I forbindelse med udførelsen af den anerkendende undersøgelse identificerer forskningen de faktorer, der er direkte ansvarlige for de positive resultater, der er opnået i løbet af et projekt, analyserer årsagerne til disse resultater og intensiverer udnyttelsen af disse faktorer.

Evalueringsforskningsmetoder

Der findes fire vigtige evalueringsforskningsmetoder, nemlig; outputmåling, inputmåling, konsekvensvurdering og servicekvalitet

• Output/præstationsmåling

Outputmåling er en metode, der anvendes i evaluerende forskning, og som viser resultaterne af en aktivitet, der gennemføres af en organisation. Med andre ord er resultatmåling opmærksom på de resultater, der opnås ved hjælp af de ressourcer, der investeres i en bestemt aktivitet eller organisatorisk proces.

Mere end at investere ressourcer i et projekt skal organisationer være i stand til at spore, i hvilket omfang disse ressourcer har givet resultater, og det er her, resultatmåling kommer ind i billedet. Outputmåling gør det muligt for organisationer at være opmærksomme på effektiviteten og virkningen af en proces i stedet for blot at se på selve processen.

Andre nøgleindikatorer for resultatmåling omfatter brugertilfredshed, organisatorisk kapacitet, markedspenetration og facilitetsudnyttelse. Ved gennemførelse af performancemåling skal organisationer identificere de parametre, der er relevante for den pågældende proces, deres branche og målmarkederne.

5 Eksempler på forskningsspørgsmål om præstationsevaluering

1. Hvad er dette projekts omkostningseffektivitet?
2. Hvad er dette projekts samlede rækkevidde?
3. Hvordan vil du vurdere dette projekts markedspenetration?
4. Hvor tilgængelig er projektet?
5. Er dette projekt tidseffektivt?

• Inputmåling

I evalueringsforskning indebærer inputmåling en vurdering af det antal ressourcer, der er afsat til et projekt eller et mål i en organisation. Dette er en af de mest almindelige indikatorer i evalueringsforskning, fordi det gør det muligt for organisationer at spore deres investeringer.

Den mest almindelige indikator for inputmåling er budgettet, som giver organisationer mulighed for at vurdere og begrænse udgifterne til et projekt. Det er også vigtigt at måle ikke-monetære investeringer som f.eks. menneskelig kapital; dvs. det antal personer, der er nødvendige for en vellykket gennemførelse af et projekt, og produktionskapital.

5 forskningsspørgsmål om evaluering af input Eksempler

1. Hvad er budgettet for dette projekt?
2. Hvad er tidslinjen for denne proces?
3. Hvor mange medarbejdere er blevet tilknyttet dette projekt?
4. Er vi nødt til at købe nye maskiner til dette projekt?
5. Hvor mange tredjeparter er samarbejdspartnere i dette projekt?

• Indvirknings-/resultatvurdering

I forbindelse med konsekvensvurdering fokuserer evalueringsforskeren på, hvordan produktet eller projektet påvirker målmarkederne, både direkte og indirekte. Vurdering af resultater er en vis udfordring, fordi det mange gange er vanskeligt at måle et projekts realtidsværdi og fordele for brugerne.

I vurderingen af virkningerne af en proces skal evalueringsforskeren være opmærksom på den forbedring, som brugerne registrerer som følge af den pågældende proces eller det pågældende projekt. Derfor giver det mening at fokusere på kognitive og affektive ændringer, forventningstilfredsstillelse og lignende resultater hos brugerne.

5 Eksempler på forskningsspørgsmål om effektevaluering

1. Hvordan har dette projekt påvirket dig?
2. Har denne proces påvirket dig positivt eller negativt?
3. Hvilken rolle har dette projekt spillet for at forbedre din indtjeningsevne?
4. På en skala fra 1-10, hvor begejstret er du for dette projekt?
5. Hvordan har dette projekt forbedret dit mentale helbred?

• Servicekvalitet

Servicekvalitet er den evalueringsforskningsmetode, der tager højde for eventuelle forskelle mellem målmarkedernes forventninger og deres indtryk af det gennemførte projekt. Derfor er den opmærksom på den samlede vurdering af servicekvaliteten, som brugerne foretager.

Det er ikke ualmindeligt, at organisationer opbygger målmarkedernes forventninger i takt med, at de går i gang med specifikke projekter. Evaluering af servicekvalitet giver disse organisationer mulighed for at spore, i hvilket omfang den faktiske produkt- eller servicelevering opfylder forventningerne.

5 spørgsmål om evaluering af servicekvalitet

1. På en skala fra 1-10, hvor tilfreds er du med produktet?
2. Hvor hjælpsom var vores kundeservicemedarbejder?
3. Hvor tilfreds er du med kvaliteten af servicen?
4. Hvor lang tid tog det at løse det pågældende problem?
5. Hvor sandsynligt er det, at du vil anbefale os til dit netværk?

Anvendelser af evalueringsforskning

• Evalueringsforskning bruges af organisationer til at måle effektiviteten af aktiviteter og identificere områder, der har brug for forbedringer. Resultater fra evalueringsforskning er nøglen til projekt- og produktfremskridt og er meget indflydelsesrige til at hjælpe organisationer med at realisere deres mål effektivt.
• De resultater, der fremkommer ved evalueringsforskning, tjener som bevis for virkningen af det projekt, som en organisation har påbegyndt. Disse oplysninger kan præsenteres for interessenter og kunder og kan også hjælpe din organisation med at sikre investeringer i fremtidige projekter.
• Evalueringsforskning hjælper organisationer med at retfærdiggøre deres brug af begrænsede ressourcer og vælge de bedste alternativer.
• Den er også nyttig ved pragmatisk målfastsættelse og realisering af mål.
• Evalueringsforskning giver detaljeret indsigt i de projekter, som en organisation har påbegyndt. I det væsentlige giver den alle interessenter mulighed for at forstå flere dimensioner af en proces og for at bestemme styrker og svagheder.
• Evalueringsforskning spiller også en vigtig rolle for at hjælpe organisationer med at forbedre deres generelle praksis og levering af tjenester. Dette forskningsdesign giver organisationer mulighed for at vurdere eksisterende processer gennem feedback fra interessenterne, og dette informerer om bedre beslutningstagning.
• Evalueringsforskning er også afgørende for bæredygtig kapacitetsopbygning. Den hjælper dig med at analysere efterspørgselsmønstre og afgøre, om din organisation har brug for flere midler, opkvalificering eller forbedret drift.

Dataindsamlingsteknikker, der anvendes i evalueringsforskning

I forbindelse med indsamling af nyttige data til evalueringsforskning kombinerer forskeren ofte kvantitative og kvalitative forskningsmetoder. Kvalitative forskningsmetoder giver forskeren mulighed for at indsamle oplysninger vedrørende immaterielle værdier som f.eks. markedstilfredshed og opfattelse.

På den anden side anvendes kvantitative metoder af evalueringsforskeren til at vurdere numeriske mønstre, dvs. kvantificerbare data. Disse metoder hjælper dig med at måle effekt og resultater; selv om de måske ikke tjener til at forstå konteksten for processen.

Kvantitative metoder til evalueringsforskning

• Surveys

En survey er en kvantitativ metode, der giver dig mulighed for at indsamle oplysninger om et projekt fra en bestemt gruppe af mennesker. Undersøgelser er i vid udstrækning kontekstbaserede og begrænset til målgrupper, som får stillet et sæt strukturerede spørgsmål i overensstemmelse med den forudbestemte kontekst.

Surveys består normalt af nærgående spørgsmål, som giver den evaluerende forsker mulighed for at få indsigt i flere variabler, herunder markedsdækning og kundepræferencer. Undersøgelser kan gennemføres fysisk ved hjælp af papirformularer eller online via dataindsamlingsplatforme som Formplus.

• Spørgeskemaer

Et spørgeskema er et almindeligt kvantitativt forskningsinstrument, der anvendes i evalueringsforskning. Typisk er det en samling af forskellige typer spørgsmål eller opfordringer, som hjælper forskeren med at indhente værdifulde oplysninger fra respondenterne.

• Polls

En meningsmåling er en almindelig metode til meningsudvælgelse, der gør det muligt at veje offentlighedens opfattelse af spørgsmål, der berører dem. Den bedste måde at opnå nøjagtighed i meningsmålinger er ved at gennemføre dem online ved hjælp af platforme som Formplus.

Polls er ofte struktureret som Likert-spørgsmål, og de angivne valgmuligheder tager altid højde for neutralitet eller ubeslutsomhed. Ved at gennemføre en meningsmåling kan evalueringsforskeren forstå, i hvilket omfang produktet eller tjenesten opfylder brugernes behov.

Kvalitative metoder til evalueringsforskning

• Et enkeltstående interview

Et interview er en struktureret samtale med to deltagere; normalt forskeren og brugeren eller et medlem af målmarkedet. One-on-One-interviews kan gennemføres fysisk, via telefon og via videokonferenceapps som Zoom og Google Meet.

• Fokusgrupper

En fokusgruppe er en forskningsmetode, der indebærer interaktion med et begrænset antal personer inden for dit målmarked, som kan give indsigt i markedsopfattelser og nye produkter.

• Kvalitativ observation

Kvalitativ observation er en forskningsmetode, der giver evalueringsforskeren mulighed for at indsamle nyttige oplysninger fra målgruppen gennem en række subjektive tilgange. Denne metode er mere omfattende end kvantitativ observation, fordi den omhandler en mindre stikprøvestørrelse, og fordi den også anvender induktiv analyse.

• Casestudier

Et casestudie er en forskningsmetode, der hjælper forskeren til at opnå en bedre forståelse af et emne eller en proces. Casestudier indebærer dybdegående forskning i et givet emne for at forstå dets funktionaliteter og succeser.

Sådan gør du med Formplus Online Form Builder til evalueringsundersøgelse

• Indmeld dig i Formplus

I Formplus builder kan du nemt oprette din evalueringsundersøgelse ved at trække og slippe de foretrukne felter ind i din formular. For at få adgang til Formplus-byggeren skal du oprette en konto på Formplus.

Når du har gjort dette, skal du logge ind på din konto og klikke på “Opret formular ” for at begynde.

• Rediger formulartitel

Klik på det angivne felt for at indtaste din formulartitel, f.eks. “Evaluation Research Survey”.

• Rediger formular

Klik på redigeringsknappen for at redigere formularen.

Tilføj felter: Træk og slip foretrukne formularfelter ind i din formular i kolonnen Formplus builder inputs. Der er flere feltindtastningsmuligheder for undersøgelser i Formplus builderen.

Rediger felter

Klik på “Gem”

Se formularen.

• Formulartilpasning

Med formulartilpasningsmulighederne i formularbyggeren kan du nemt ændre udseendet af din formular og gøre den mere unik og personlig. Formplus giver dig mulighed for at ændre dit formular tema, tilføje baggrundsbilleder og endda ændre skrifttypen i henhold til dine behov.

• Flere delingsmuligheder

Formplus tilbyder flere muligheder for deling af formularer, som giver dig mulighed for nemt at dele din evalueringsundersøgelse med respondenterne i undersøgelsen. Du kan bruge de direkte delingsknapper til sociale medier til at dele dit formularlink til din organisations sider på sociale medier.

Du kan også sende din undersøgelsesformular som e-mailinvitationer til dine undersøgelsessubjekter. Hvis du ønsker det, kan du dele din blankets QR-kode eller indlejre den på din organisations websted for nem adgang.

Konklusion

Gennem at gennemføre evalueringsundersøgelser kan organisationer bestemme effektiviteten af deres aktiviteter i forskellige faser. Denne type forskning kan udføres ved hjælp af kvalitative og kvantitative dataindsamlingsmetoder, herunder fokusgrupper, observation, telefoninterviews og enkeltinterviews samt undersøgelser.

Onlineundersøgelser, der oprettes og administreres via dataindsamlingsplatforme som Formplus, gør det lettere for dig at indsamle og behandle oplysninger under evalueringsforskning. Med Formplus’ mange muligheder for deling af formularer er det endnu nemmere for dig at indsamle nyttige data fra målmarkederne.