Arviointitutkimuksen suunnittelu: Esimerkkejä, menetelmiä ja tyyppejä

Tehtäviä suorittaessasi sinun on pidettävä ajoittaisia taukoja määrittääksesi, kuinka paljon edistystä on tapahtunut ja onko matkan varrella tehtävä muutoksia. Tämä on hyvin samanlaista kuin mitä organisaatiot tekevät tehdessään arviointitutkimusta.

Arviointitutkimusmenetelmästä on tullut yksi organisaatioiden tärkeimmistä lähestymistavoista, kun ne pyrkivät luomaan tuotteita, palveluja ja prosesseja, jotka vastaavat kohdekäyttäjien tarpeisiin. Tässä artikkelissa näytämme, miten organisaatiosi voi tehdä menestyksekästä arviointitutkimusta Formplus-ohjelman avulla.

Mitä on arviointitutkimus?

Aikaisemmin tunnettu myös nimellä ohjelma-arviointi, arviointitutkimus on yleinen tutkimusasetelma, joka edellyttää strukturoidun arvioinnin suorittamista projektiin tai tiettyyn tavoitteeseen sidottujen resurssien arvosta. Siinä käytetään usein sosiaalisia tutkimusmenetelmiä organisaation prosesseja ja tuotteita koskevan hyödyllisen tiedon keräämiseksi ja analysoimiseksi.

Sovelletun tutkimuksen tyyppinä arviointitutkimus liittyy tyypillisesti tosielämän skenaarioihin organisaatiokonteksteissa. Tämä tarkoittaa, että tutkijan on hyödynnettävä yleisiä työelämätaitoja, kuten ihmissuhdetaitoja ja tiimipelaamista, jotta hän voi saada aikaan objektiivisia tutkimustuloksia, jotka ovat hyödyllisiä sidosryhmille.

Arviointitutkimuksen ominaispiirteet

1. Tutkimusympäristö: Arviointitutkimus tehdään reaalimaailmassa eli organisaation kontekstissa.
2. Tutkimuksen painopiste: Arviointitutkimus keskittyy ensisijaisesti prosessin tulosten mittaamiseen eikä itse prosessiin.
3. Tutkimuksen tulokset: Arviointitutkimusta käytetään strategiseen päätöksentekoon organisaatioissa.
4. Tutkimuksen tavoite: Ohjelman arvioinnin tavoitteena on selvittää, onko prosessi tuottanut halutun tuloksen (halutut tulokset).
5. Tässä tutkimustyypissä suojellaan organisaation sidosryhmien etuja.
6. Se edustaa usein puhtaan ja soveltavan tutkimuksen välimaastoa.
7. Arviointitutkimus on sekä yksityiskohtaista että jatkuvaa. Siinä kiinnitetään huomiota pikemminkin performatiivisiin prosesseihin kuin kuvauksiin.
8. Tutkimusprosessi: Tässä tutkimusasetelmassa hyödynnetään kvalitatiivisia ja kvantitatiivisia tutkimusmenetelmiä relevantin tiedon keräämiseksi tuotteesta tai toimintaan perustuvasta strategiasta. Näihin menetelmiin kuuluvat havainnointi, testit ja kyselyt.

Tyyppisiä arviointitutkimuksia

Encyclopedia of Evaluation (Mathison, 2004) käsittelee neljääkymmentäkaksi erilaista arviointitutkimuksen lähestymistapaa ja mallia ”arvostavasta tutkimuksesta” ”tuntijuuteen” ja ”transformatiiviseen arviointiin”. Yleisiä arviointitutkimuksen tyyppejä ovat muun muassa seuraavat:

• Formatiivinen arviointi

Formatiivinen arviointi eli lähtötilannekartoitus on arviointitutkimuksen tyyppi, jossa arvioidaan käyttäjien tai kohdemarkkinoiden tarpeita ennen hankkeen aloittamista. Formatiivinen arviointi on arviointitutkimuksen lähtökohta, koska se määrittää organisaation projektin sävyn ja tarjoaa hyödyllisiä havaintoja muita arviointityyppejä varten.

• Keskipitkän aikavälin arviointi

Keskipitkän aikavälin arvioinnissa arvioidaan, kuinka pitkälle hanke on edennyt, ja määritetään, onko se asetettujen päämäärien ja tavoitteiden mukainen. Puoliväliarvioinnin avulla organisaatio voi määrittää, onko toteutusstrategian muuttaminen tai muokkaaminen tarpeen, ja se palvelee myös hankkeen seurantaa.

• Summatiivinen arviointi

Tämä arviointityyppi tunnetaan myös nimellä loppuarviointi hankkeen loppuunsaattamisen arviointi, ja se suoritetaan välittömästi hankkeen päättymisen jälkeen. Tällöin tutkija tarkastelee ohjelman arvoa ja tuotoksia ennakoitujen tulosten puitteissa.

Summatiivisen arvioinnin avulla organisaatio voi mitata hankkeen onnistumisen astetta. Tällaiset tulokset voidaan jakaa sidosryhmien, kohdemarkkinoiden ja mahdollisten sijoittajien kanssa.

• Tulosarviointi

Tulosarviointi on ensisijaisesti kohderyhmäkeskeistä, koska se mittaa hankkeen, ohjelman tai tuotteen vaikutuksia käyttäjiin. Tämäntyyppisessä arvioinnissa hankkeen tuloksia tarkastellaan kohdeyleisön näkökulmasta, ja siinä mitataan usein muutoksia, kuten tietojen parantumista, taitojen hankkimista ja työn tehostumista.

• Appreciative Enquiry

Appreciative inquiry on arviointitutkimuksen tyyppi, jossa kiinnitetään huomiota tuloksia tuottaviin lähestymistapoihin. Se perustuu uskomukseen, että organisaatio kasvaa siihen suuntaan, johon sen sidosryhmät kiinnittävät ensisijaisesti huomiota siten, että jos kaikki huomio kohdistuu ongelmiin, niiden tunnistaminen olisi helppoa.

Toteuttaessaan arvostavaa tutkimusta tutkimus tunnistaa tekijät, jotka ovat suoraan vastuussa projektin aikana saavutetuista myönteisistä tuloksista, analysoi näiden tulosten syitä ja tehostaa näiden tekijöiden hyödyntämistä.

Arviointitutkimuksen metodologia

Arviointitutkimusmenetelmiä on neljä merkittävää: tuotoksen mittaaminen, panosten mittaaminen, vaikutusten arviointi ja palvelun laatu

• Tuotoksen/toiminnan mittaaminen

Tuotoksen mittaaminen on evaluoivassa tutkimuksessa käytetty menetelmä, jolla osoitetaan organisaation suorittaman toiminnan tulokset. Toisin sanoen tuloksellisuuden mittaamisessa kiinnitetään huomiota tiettyyn toimintaan tai organisaatioprosessiin sijoitetuilla resursseilla saavutettuihin tuloksiin.

Muutakin kuin resurssien sijoittamista johonkin projektiin, organisaatioiden on pystyttävä seuraamaan, missä määrin nämä resurssit ovat tuottaneet tuloksia, ja tässä kohtaa tuloksellisuuden mittaaminen astuu kuvaan. Tulosten mittaaminen antaa organisaatioille mahdollisuuden kiinnittää huomiota prosessin tehokkuuteen ja vaikutuksiin eikä vain itse prosessiin.

Muita suorituskyvyn mittaamisen keskeisiä indikaattoreita ovat muun muassa käyttäjätyytyväisyys, organisaatiokapasiteetti, markkinaosuus ja tilojen käyttö. Suorituskyvyn mittausta suorittaessaan organisaatioiden on tunnistettava kyseisen prosessin, toimialan ja kohdemarkkinoiden kannalta merkitykselliset muuttujat.

5 Esimerkkejä suorituskyvyn arvioinnin tutkimuskysymyksistä

1. Minkälainen on tämän hankkeen kustannustehokkuus?
2. Minkälainen on tämän hankkeen yleinen tavoittavuus?
3. Miten arvioisit tämän hankkeen levinneisyyttä markkinoille?
4. Miten helppokäyttöinen hanke on?
5. Onko tämä hanke ajallisesti tehokas?

• Panoksen mittaaminen

Arviointitutkimuksessa panoksen mittaaminen tarkoittaa minkä tahansa organisaation hankkeeseen tai tavoitteeseen sitoutuneiden resurssien määrän arviointia. Tämä on yksi yleisimmistä mittareista arviointitutkimuksessa, koska sen avulla organisaatiot voivat seurata investointejaan.

Yleisin panosten mittaamisen indikaattori on budjetti, jonka avulla organisaatiot voivat arvioida ja rajoittaa hankkeen menoja. On myös tärkeää mitata ei-monetaarisia investointeja, kuten inhimillistä pääomaa; eli henkilöiden määrää, joita tarvitaan hankkeen onnistuneeseen toteuttamiseen, ja tuotantopääomaa.

5 esimerkkiä panosten arvioinnin tutkimuskysymyksistä

1. Mikä on tämän projektin budjetti?
2. Mikä on tämän prosessin aikataulu?
3. Minkä verran työntekijöitä tähän projektiin on osoitettu?
4. Tarvitaanko tähän projektiin uusia koneita?
5. Miten monta kolmatta osapuolta tekee yhteistyötä tässä projektissa?

• Vaikutusten/tulosten arviointi

Vaikutusten arvioinnissa arviointitutkija keskittyy siihen, miten tuote tai hanke vaikuttaa kohdemarkkinoihin sekä suoraan että välillisesti. Tulosten arviointi on jossain määrin haastavaa, koska monesti on vaikea mitata hankkeen reaaliaikaista arvoa ja hyötyä käyttäjille.

Prosessin vaikutusten arvioinnissa arviointitutkijan on kiinnitettävä huomiota käyttäjien kirjaamaan parannukseen kyseisen prosessin tai projektin seurauksena. Näin ollen on järkevää keskittyä käyttäjien kognitiivisiin ja affektiivisiin muutoksiin, odotuksiin-tyytyväisyyteen ja vastaaviin saavutuksiin.

5 esimerkkiä vaikutusten arvioinnin tutkimuskysymyksistä

1. Miten tämä hanke on vaikuttanut sinuun?
2. Onko tämä prosessi vaikuttanut sinuun myönteisesti vai kielteisesti?
3. Millainen rooli tällä hankkeella oli ansiomahdollisuuksiesi parantamisessa?
4. Asteikolla 1-10, kuinka innostunut olet tästä hankkeesta?
5. Miten tämä hanke on parantanut mielenterveyttänne?

• Palvelun laatu

Palvelun laatu on arviointitutkimusmenetelmä, joka ottaa huomioon mahdolliset erot kohdemarkkinoiden odotusten ja niiden vaikutelman välillä toteutetusta hankkeesta. Näin ollen siinä kiinnitetään huomiota käyttäjien suorittamaan palvelun laadun kokonaisarviointiin.

Organisaatioille ei ole harvinaista, että ne rakentavat kohdemarkkinoiden odotuksia aloittaessaan tiettyjä hankkeita. Palvelun laadun arvioinnin avulla nämä organisaatiot voivat seurata, missä määrin todellinen tuote- tai palvelutoimitus täyttää odotukset.

5 palvelun laadun arviointikysymyksiä

1. Asteikolla 1-10, kuinka tyytyväinen olet tuotteeseen?
2. Miten avulias asiakaspalvelija oli?
3. Miten tyytyväinen olet palvelun laatuun?
4. Miten kauan kului aikaa kyseisen ongelman ratkaisemiseen?
5. Miten todennäköisesti suosittelisit meitä verkostollesi?

Arviointitutkimuksen käyttökohteet

• Organisaatiot käyttävät arviointitutkimusta mitatakseen toimintojen vaikuttavuutta ja tunnistaakseen parannusta kaipaavat alueet. Arviointitutkimuksen havainnot ovat avainasemassa projektien ja tuotteiden edistämisessä, ja niillä on suuri vaikutus siihen, että organisaatiot voivat toteuttaa tavoitteensa tehokkaasti.
• Arviointitutkimuksesta saadut havainnot toimivat todisteena organisaation aloittaman hankkeen vaikutuksista. Nämä tiedot voidaan esittää sidosryhmille ja asiakkaille, ja ne voivat myös auttaa organisaatiota varmistamaan investointeja tuleviin hankkeisiin.
• Arviointitutkimus auttaa organisaatioita perustelemaan rajallisten resurssien käyttöä ja valitsemaan parhaat vaihtoehdot.
• Siitä on hyötyä myös käytännönläheisessä tavoitteiden asettamisessa ja toteuttamisessa.
• Arviointitutkimus tarjoaa yksityiskohtaista tietoa organisaation aloittamista hankkeista. Pohjimmiltaan se antaa kaikille sidosryhmille mahdollisuuden ymmärtää prosessin useita ulottuvuuksia ja määrittää vahvuudet ja heikkoudet.
• Arviointitutkimuksella on myös merkittävä rooli siinä, että se auttaa organisaatioita parantamaan yleisiä toimintatapojaan ja palveluntarjontaansa. Tämän tutkimusasetelman avulla organisaatiot voivat punnita olemassa olevia prosesseja sidosryhmien antaman palautteen avulla, ja tämä antaa tietoa paremmasta päätöksenteosta.
• Arviointitutkimuksella on merkitystä myös kestävien valmiuksien kehittämisessä. Se auttaa analysoimaan kysyntämalleja ja määrittämään, tarvitseeko organisaatio lisää varoja, täydennyskoulutusta tai parempia toimintoja.

Arviointitutkimuksessa käytettävät tiedonkeruutekniikat

Kerätessään hyödyllistä tietoa arviointitutkimusta varten tutkija usein yhdistää kvantitatiivisia ja kvalitatiivisia tutkimusmenetelmiä. Kvalitatiivisten tutkimusmenetelmien avulla tutkija voi kerätä tietoa, joka liittyy aineettomiin arvoihin, kuten markkinoiden tyytyväisyyteen ja käsityksiin.

Kvantitatiivisia menetelmiä arviointitutkija sen sijaan käyttää numeeristen mallien eli mitattavissa olevien tietojen arviointiin. Näiden menetelmien avulla voidaan mitata vaikutuksia ja tuloksia; ne eivät kuitenkaan välttämättä palvele prosessin kontekstin ymmärtämistä.

Quantitative Methods for Evaluation Research

• Kyselyt

Kysely on kvantitatiivinen menetelmä, jonka avulla voit kerätä tietoa hankkeesta tietyltä ihmisryhmältä. Kyselyt ovat suurelta osin kontekstisidonnaisia ja rajoittuvat kohderyhmiin, joille esitetään joukko strukturoituja kysymyksiä ennalta määritellyn kontekstin mukaisesti.

Kyselyt koostuvat yleensä lähikysymyksistä, joiden avulla arvioiva tutkija voi saada tietoa useista muuttujista, kuten markkinoiden kattavuudesta ja asiakkaiden mieltymyksistä. Kyselyt voidaan toteuttaa fyysisesti paperilomakkeilla tai verkossa Formplusin kaltaisten tiedonkeruualustojen avulla.

• Kyselylomakkeet

Kyselylomake on yleinen kvantitatiivinen tutkimusväline, jota käytetään arviointitutkimuksessa. Tyypillisesti se on kokoelma erityyppisiä kysymyksiä tai kehotuksia, jotka auttavat tutkijaa saamaan arvokasta tietoa vastaajilta.

• Kyselyt

Kysely on yleinen mielipidetutkimusmenetelmä, jonka avulla voidaan punnita kansalaisten käsityksiä heitä koskevista asioista. Paras tapa saavuttaa tarkkuus kyselytutkimuksissa on toteuttaa ne verkossa Formplusin kaltaisten alustojen avulla.

Kyselyt ovat usein rakenteeltaan Likert-kysymyksiä, ja annetuissa vaihtoehdoissa otetaan aina huomioon neutraalius tai päättämättömyys. Kyselyn suorittamisen avulla arvioinnin tutkija voi ymmärtää, missä määrin tuote tai palvelu tyydyttää käyttäjien tarpeita.

Qualitative Methods for Evaluation Research

• One-on-One Interview

Haastattelu on strukturoitu keskustelu, johon osallistuu kaksi osallistujaa; yleensä tutkija ja käyttäjä tai kohdemarkkinoiden jäsen. Yksilöhaastattelut voidaan toteuttaa fyysisesti, puhelimitse ja videoneuvottelusovellusten, kuten Zoomin ja Google Meetin, avulla.

• Fokusryhmät

Fokusryhmä on tutkimusmenetelmä, jossa ollaan vuorovaikutuksessa rajallisen määrän kohdemarkkinoihin kuuluvien henkilöiden kanssa, jotka voivat antaa näkemyksiä markkinoiden käsityksistä ja uusista tuotteista.

• Kvalitatiivinen havainnointi

Kvalitatiivinen havainnointi on tutkimusmenetelmä, jonka avulla arviointitutkija voi kerätä hyödyllistä tietoa kohdeyleisöltä erilaisten subjektiivisten lähestymistapojen avulla. Menetelmä on laajempi kuin kvantitatiivinen havainnointi, koska siinä käsitellään pienempää otoskokoa, ja siinä hyödynnetään myös induktiivista analyysia.

• Tapaustutkimukset

Tapaustutkimus on tutkimusmenetelmä, joka auttaa tutkijaa ymmärtämään paremmin jotakin kohdetta tai prosessia. Tapaustutkimuksissa tutkitaan syvällisesti tiettyä kohdetta, jotta ymmärretään sen toimivuutta ja onnistumisia.

How to Formplus Online Form Builder for Evaluation Survey

• Sign into Formplus

Formplus-rakentajassa voit helposti luoda arviointikyselyn vetämällä ja pudottamalla haluamasi kentät lomakkeeseen. Jotta voit käyttää Formplus-rakentajaa, sinun on luotava tili Formplusiin.

Kun olet tehnyt tämän, kirjaudu sisään tilillesi ja klikkaa ”Create Form ” aloittaaksesi.

• Muokkaa lomakkeen otsikkoa

Klikkaa sille varattua kenttää syöttääksesi lomakkeen otsikon, esimerkiksi ”Arviointitutkimuskysely”.

• Muokkaa lomaketta

Klikkaa muokkauspainiketta muokataksesi lomaketta.

Lisää kenttiä: Vedä ja pudota haluamasi lomakekentät lomakkeeseen Formplus-rakentajan syötteet-sarakkeeseen. Formplus-rakentajassa on useita kenttien syöttövaihtoehtoja kyselyitä varten.

Muokkaa kenttiä

Klikkaa ”Tallenna”

Katsele lomaketta.

• Lomakkeen mukauttaminen

Lomakkeen muokkausvaihtoehtojen avulla lomakkeen rakentajassa voit helposti muuttaa lomakkeesi ulkoasua ja tehdä lomakkeestasi yksilöllisemmän ja henkilökohtaisemman. Formplusin avulla voit muuttaa lomakkeen teemaa, lisätä taustakuvia ja jopa muuttaa fonttia tarpeidesi mukaan.

• Multiple Sharing Options

Formplus tarjoaa useita lomakkeen jakamisvaihtoehtoja, joiden avulla voit helposti jakaa arviointikyselysi kyselyyn vastanneiden kanssa. Voit käyttää suoria sosiaalisen median jakopainikkeita, joilla voit jakaa lomakelinkin organisaatiosi sosiaalisen median sivuilla.

Voit lähettää kyselylomakkeesi myös sähköpostikutsuna tutkimuskohteillesi. Voit halutessasi jakaa lomakkeesi QR-koodin tai upottaa sen organisaatiosi verkkosivuille, jotta se on helposti saatavilla.

Johtopäätökset

Arviointitutkimuksen avulla organisaatiot voivat määrittää toimintansa tehokkuuden eri vaiheissa. Tämäntyyppinen tutkimus voidaan toteuttaa käyttämällä kvalitatiivisia ja kvantitatiivisia tiedonkeruumenetelmiä, kuten fokusryhmiä, havainnointia, puhelin- ja yksilöhaastatteluja sekä kyselyjä.

Formplusin kaltaisten tiedonkeruualustojen avulla luodut ja toteutetut verkkokyselyt helpottavat tietojen keräämistä ja käsittelyä arviointitutkimuksen aikana. Formplusin useiden lomakkeiden jakamisvaihtoehtojen avulla sinun on entistä helpompi kerätä hyödyllistä tietoa kohdemarkkinoilta.