Evaluierung Forschungsdesign: Beispiele, Methoden und Typen

Während Sie sich mit den Aufgaben befassen, müssen Sie zwischendurch Pausen einlegen, um festzustellen, wie weit Sie gekommen sind und ob Änderungen vorgenommen werden müssen. Das ist sehr ähnlich zu dem, was Organisationen tun, wenn sie Evaluierungsforschung betreiben.

Die Methodik der Evaluierungsforschung ist zu einem der wichtigsten Ansätze für Organisationen geworden, die danach streben, Produkte, Dienstleistungen und Prozesse zu entwickeln, die den Bedürfnissen der Zielnutzer entsprechen. In diesem Artikel zeigen wir Ihnen, wie Ihre Organisation mit Formplus eine erfolgreiche Evaluierungsforschung durchführen kann.

Was ist Evaluierungsforschung?

Auch als Programmevaluierung bekannt, ist die Evaluierungsforschung ein gängiges Forschungsdesign, bei dem eine strukturierte Bewertung des Wertes der für ein Projekt oder ein bestimmtes Ziel eingesetzten Ressourcen durchgeführt wird. Dabei werden häufig Methoden der Sozialforschung eingesetzt, um nützliche Informationen über organisatorische Prozesse und Produkte zu sammeln und zu analysieren.

Als eine Art der angewandten Forschung ist die Evaluierungsforschung typischerweise mit realen Szenarien innerhalb des organisatorischen Kontexts verbunden. Dies bedeutet, dass der Forscher die üblichen Fähigkeiten am Arbeitsplatz, einschließlich zwischenmenschlicher Fähigkeiten und Teamarbeit, nutzen muss, um zu objektiven Forschungsergebnissen zu gelangen, die für die Beteiligten von Nutzen sind.

Charakteristika der Evaluationsforschung

1. Forschungsumgebung: Evaluationsforschung wird in der realen Welt durchgeführt, d.h. im Kontext einer Organisation.
2. Forschungsschwerpunkt: Die Evaluationsforschung befasst sich in erster Linie mit der Messung der Ergebnisse eines Prozesses und nicht des Prozesses selbst.
3. Forschungsergebnis: Die Evaluationsforschung wird für die strategische Entscheidungsfindung in Organisationen eingesetzt.
4. Forschungsziel: Das Ziel der Programmevaluation ist es, festzustellen, ob ein Prozess die gewünschten Ergebnisse erzielt hat.
5. Diese Art der Forschung schützt die Interessen der Beteiligten in der Organisation.
6. Sie stellt oft einen Mittelweg zwischen reiner und angewandter Forschung dar.
7. Evaluationsforschung ist sowohl detailliert als auch kontinuierlich. Sie achtet eher auf performative Prozesse als auf Beschreibungen.
8. Forschungsprozess: Bei diesem Forschungsdesign werden qualitative und quantitative Forschungsmethoden eingesetzt, um relevante Daten über ein Produkt oder eine handlungsorientierte Strategie zu sammeln. Zu diesen Methoden gehören Beobachtung, Tests und Umfragen.

Typen der Evaluationsforschung

Die Enzyklopädie der Evaluation (Mathison, 2004) behandelt zweiundvierzig verschiedene Evaluationsansätze und -modelle, die von „appreciative inquiry“ über „connoisseurship“ bis hin zu „transformative evaluation“ reichen. Zu den gängigen Arten der Evaluationsforschung gehören die folgenden:

• Formative Evaluation

Die formative Evaluation oder Basiserhebung ist eine Art der Evaluationsforschung, bei der die Bedürfnisse der Nutzer oder des Zielmarktes vor Beginn eines Projekts ermittelt werden. Die formative Evaluation ist der Ausgangspunkt der Evaluationsforschung, weil sie den Ton des Projekts der Organisation angibt und nützliche Erkenntnisse für andere Arten der Evaluation liefert.

• Zwischenevaluierung

Bei der Zwischenevaluierung wird beurteilt, wie weit ein Projekt gediehen ist und ob es mit den gesetzten Zielen übereinstimmt. Die Halbzeitbewertung ermöglicht es der Organisation, festzustellen, ob eine Änderung oder Modifizierung der Umsetzungsstrategie erforderlich ist, und sie dient auch der Nachverfolgung des Projekts.

• Summative Evaluierung

Diese Art der Evaluierung ist auch als Endzeitevaluierung oder Projektabschlussbewertung bekannt und wird unmittelbar nach Abschluss eines Projekts durchgeführt. Hier untersucht der Forscher den Wert und die Ergebnisse des Programms im Kontext der prognostizierten Ergebnisse.

Die summative Evaluierung ermöglicht es der Organisation, den Grad des Erfolgs eines Projekts zu messen. Diese Ergebnisse können mit Interessengruppen, Zielmärkten und potenziellen Investoren geteilt werden.

• Ergebnisbewertung

Die Ergebnisbewertung ist in erster Linie zielgruppenorientiert, da sie die Auswirkungen des Projekts, Programms oder Produkts auf die Nutzer misst. Diese Art der Evaluation betrachtet die Ergebnisse des Projekts durch die Linse der Zielgruppe und misst oft Veränderungen wie Wissensverbesserung, Erwerb von Fähigkeiten und erhöhte Arbeitseffizienz.

• Appreciative Enquiry

Appreciative Inquiry ist eine Art der Evaluierungsforschung, die sich auf ergebnisorientierte Ansätze konzentriert. Sie basiert auf der Überzeugung, dass sich eine Organisation in die Richtung entwickeln wird, der ihre Interessenvertreter ihre primäre Aufmerksamkeit widmen, so dass es einfach wäre, Probleme zu identifizieren, wenn sich die gesamte Aufmerksamkeit auf sie richten würde.

Bei der Durchführung von Appreciative Inquiry werden die Faktoren identifiziert, die direkt für die positiven Ergebnisse im Verlauf eines Projekts verantwortlich sind, die Gründe für diese Ergebnisse analysiert und die Nutzung dieser Faktoren intensiviert.

Methodik der Evaluationsforschung

Es gibt vier Hauptmethoden der Evaluationsforschung, nämlich: Output-Messung, Input-Messung, Wirkungsanalyse und Dienstleistungsqualität

• Output-/Leistungsmessung

Die Output-Messung ist eine Methode, die in der Evaluationsforschung eingesetzt wird und die Ergebnisse einer von einer Organisation durchgeführten Aktivität aufzeigt. Mit anderen Worten, die Leistungsmessung befasst sich mit den Ergebnissen, die mit den in eine bestimmte Tätigkeit oder einen organisatorischen Prozess investierten Ressourcen erzielt werden.

Eine Organisation muss nicht nur Ressourcen in ein Projekt investieren, sondern auch in der Lage sein, das Ausmaß, in dem diese Ressourcen zu Ergebnissen geführt haben, nachzuvollziehen, und hier kommt die Leistungsmessung ins Spiel. Die Output-Messung ermöglicht es Organisationen, die Effektivität und die Auswirkungen eines Prozesses zu berücksichtigen und nicht nur den Prozess selbst.

Weitere Schlüsselindikatoren der Leistungsmessung sind Benutzerzufriedenheit, organisatorische Kapazität, Marktdurchdringung und Anlagenauslastung. Bei der Durchführung der Leistungsmessung müssen die Unternehmen die Parameter ermitteln, die für den betreffenden Prozess, ihre Branche und die Zielmärkte relevant sind.

5 Beispiele für Forschungsfragen zur Leistungsbewertung

1. Wie hoch ist die Kosteneffizienz dieses Projekts?
2. Wie hoch ist die Gesamtreichweite dieses Projekts?
3. Wie beurteilen Sie die Marktdurchdringung dieses Projekts?
4. Wie zugänglich ist das Projekt?
5. Ist dieses Projekt zeiteffizient?

• Inputmessung

In der Evaluationsforschung beinhaltet die Inputmessung die Bewertung der Anzahl der Ressourcen, die für ein Projekt oder ein Ziel in einer Organisation eingesetzt werden. Dies ist einer der gebräuchlichsten Indikatoren in der Evaluationsforschung, weil er es Organisationen ermöglicht, ihre Investitionen zu verfolgen.

Der gebräuchlichste Indikator für die Messung des Inputs ist das Budget, das es Organisationen ermöglicht, die Ausgaben für ein Projekt zu bewerten und zu begrenzen. Es ist auch wichtig, nicht-monetäre Investitionen wie das Humankapital zu messen, d.h. die Anzahl der Personen, die für eine erfolgreiche Projektdurchführung und das Produktionskapital benötigt werden.

5 Forschungsfragen zur Input-Evaluierung

1. Wie hoch ist das Budget für dieses Projekt?
2. Wie sieht der Zeitplan für diesen Prozess aus?
3. Wie viele Mitarbeiter wurden für dieses Projekt abgestellt?
4. Müssen wir für dieses Projekt neue Maschinen kaufen?
5. Wie viele Dritte sind an diesem Projekt beteiligt?

• Bewertung der Auswirkungen/Ergebnisse

Bei der Bewertung der Auswirkungen konzentriert sich der Evaluierungsforscher darauf, wie sich das Produkt oder Projekt sowohl direkt als auch indirekt auf die Zielmärkte auswirkt. Die Bewertung der Ergebnisse ist eine gewisse Herausforderung, da es oft schwierig ist, den Echtzeitwert und den Nutzen eines Projekts für die Nutzer zu messen.

Bei der Bewertung der Auswirkungen eines Prozesses muss der Evaluierungsforscher auf die Verbesserungen achten, die von den Nutzern als Ergebnis des betreffenden Prozesses oder Projekts festgestellt werden. Daher ist es sinnvoll, sich auf die kognitiven und affektiven Veränderungen, die Erwartungszufriedenheit und ähnliche Leistungen der Nutzer zu konzentrieren.

5 Beispiele für Forschungsfragen zur Wirkungsevaluation

1. Wie hat sich dieses Projekt auf Sie ausgewirkt?
2. Hat sich dieser Prozess positiv oder negativ auf Sie ausgewirkt?
3. Welche Rolle hat dieses Projekt bei der Verbesserung Ihrer Einkommensverhältnisse gespielt?
4. Auf einer Skala von 1-10, wie begeistert sind Sie von diesem Projekt?
5. Wie hat dieses Projekt Ihre psychische Gesundheit verbessert?

• Dienstleistungsqualität

Die Dienstleistungs-Qualität ist die Methode der Evaluationsforschung, die die Unterschiede zwischen den Erwartungen der Zielmärkte und ihrem Eindruck von dem durchgeführten Projekt berücksichtigt. Sie achtet also auf die Gesamtbewertung der Dienstleistungsqualität durch die Nutzer.

Es ist nicht ungewöhnlich, dass Organisationen die Erwartungen der Zielmärkte aufbauen, wenn sie bestimmte Projekte in Angriff nehmen. Die Bewertung der Servicequalität ermöglicht es diesen Organisationen, zu verfolgen, inwieweit das tatsächlich gelieferte Produkt oder die Dienstleistung die Erwartungen erfüllt.

5 Fragen zur Bewertung der Servicequalität

1. Wie zufrieden sind Sie auf einer Skala von 1-10 mit dem Produkt?
2. Wie hilfreich war unser Kundendienstmitarbeiter?
3. Wie zufrieden sind Sie mit der Servicequalität?
4. Wie lange hat es gedauert, das Problem zu lösen?
5. Wie wahrscheinlich ist es, dass Sie uns Ihrem Netzwerk empfehlen?

Verwendung der Evaluierungsforschung

• Evaluierungsforschung wird von Organisationen eingesetzt, um die Wirksamkeit von Aktivitäten zu messen und verbesserungsbedürftige Bereiche zu ermitteln. Die Erkenntnisse aus der Evaluationsforschung sind der Schlüssel für die Weiterentwicklung von Projekten und Produkten und tragen wesentlich dazu bei, dass Organisationen ihre Ziele effizient umsetzen können.
• Die aus der Evaluierungsforschung gewonnenen Erkenntnisse dienen als Nachweis für die Auswirkungen des von einer Organisation in Angriff genommenen Projekts. Diese Informationen können Stakeholdern und Kunden präsentiert werden und können der Organisation helfen, Investitionen für zukünftige Projekte zu sichern.
• Evaluationsforschung hilft Organisationen, den Einsatz begrenzter Ressourcen zu rechtfertigen und die besten Alternativen zu wählen.
• Sie ist auch nützlich bei der pragmatischen Zielsetzung und -verwirklichung.
• Evaluationsforschung liefert detaillierte Einblicke in Projekte, die von einer Organisation in Angriff genommen werden. Im Wesentlichen ermöglicht sie allen Beteiligten, mehrere Dimensionen eines Prozesses zu verstehen und Stärken und Schwächen zu ermitteln.
• Evaluationsforschung spielt auch eine wichtige Rolle, wenn es darum geht, Organisationen bei der Verbesserung ihrer gesamten Praxis und der Erbringung ihrer Dienstleistungen zu unterstützen. Dieses Forschungsdesign ermöglicht es Organisationen, bestehende Prozesse durch das Feedback der Beteiligten zu bewerten, was zu einer besseren Entscheidungsfindung führt.
• Evaluationsforschung ist auch für den nachhaltigen Aufbau von Kapazitäten von Bedeutung. Sie hilft Ihnen, Nachfragemuster zu analysieren und festzustellen, ob Ihre Organisation mehr Mittel, Fortbildung oder verbesserte Abläufe benötigt.

Datenerhebungstechniken in der Evaluierungsforschung

Beim Sammeln nützlicher Daten für die Evaluierungsforschung kombiniert der Forscher oft quantitative und qualitative Forschungsmethoden. Qualitative Forschungsmethoden ermöglichen es dem Forscher, Informationen über immaterielle Werte wie Marktzufriedenheit und Wahrnehmung zu sammeln.

Die quantitativen Methoden hingegen werden vom Evaluierungsforscher eingesetzt, um numerische Muster, d. h. quantifizierbare Daten, zu bewerten. Diese Methoden helfen bei der Messung von Wirkungen und Ergebnissen; sie dienen jedoch nicht unbedingt dazu, den Kontext des Prozesses zu verstehen.

Quantitative Methoden für die Evaluationsforschung

• Umfragen

Eine Umfrage ist eine quantitative Methode, die es ermöglicht, Informationen über ein Projekt von einer bestimmten Gruppe von Personen zu sammeln. Umfragen sind weitgehend kontextbezogen und auf Zielgruppen beschränkt, denen eine Reihe strukturierter Fragen in Übereinstimmung mit dem vorgegebenen Kontext gestellt werden.

Umfragen bestehen in der Regel aus geschlossenen Fragen, die es dem auswertenden Forscher ermöglichen, Einblicke in verschiedene Variablen zu gewinnen, einschließlich Marktabdeckung und Kundenpräferenzen. Umfragen können physisch mit Papierformularen oder online über Datenerhebungsplattformen wie Formplus durchgeführt werden.

• Fragebögen

Ein Fragebogen ist ein gängiges quantitatives Forschungsinstrument, das in der Evaluationsforschung eingesetzt wird. Typischerweise handelt es sich um eine Zusammenstellung verschiedener Arten von Fragen oder Aufforderungen, die dem Forscher helfen, wertvolle Informationen von den Befragten zu erhalten.

• Umfragen

Eine Umfrage ist eine gängige Methode der Meinungserhebung, die es ermöglicht, die Wahrnehmung der Öffentlichkeit zu Themen, die sie betreffen, zu ermitteln. Der beste Weg, um Genauigkeit bei Umfragen zu erreichen, ist die Durchführung von Online-Umfragen über Plattformen wie Formplus.

Umfragen sind oft als Likert-Fragen strukturiert, und die angebotenen Optionen berücksichtigen immer auch Neutralität oder Unentschlossenheit. Die Durchführung einer Umfrage ermöglicht es dem Evaluationsforscher zu verstehen, inwieweit das Produkt oder die Dienstleistung die Bedürfnisse der Nutzer befriedigt.

Qualitative Methoden für die Evaluationsforschung

• Einzelinterview

Ein Interview ist ein strukturiertes Gespräch mit zwei Teilnehmern, in der Regel dem Forscher und dem Nutzer oder einem Mitglied des Zielmarktes. One-on-One-Interviews können physisch, per Telefon und über Videokonferenz-Apps wie Zoom und Google Meet durchgeführt werden.

• Fokusgruppen

Eine Fokusgruppe ist eine Forschungsmethode, bei der mit einer begrenzten Anzahl von Personen innerhalb Ihres Zielmarktes interagiert wird, die Einblicke in die Marktwahrnehmung und neue Produkte geben können.

• Qualitative Beobachtung

Qualitative Beobachtung ist eine Forschungsmethode, die es dem Evaluationsforscher ermöglicht, nützliche Informationen von der Zielgruppe durch eine Vielzahl subjektiver Ansätze zu sammeln. Diese Methode ist umfangreicher als die quantitative Beobachtung, da sie mit einer kleineren Stichprobengröße arbeitet und außerdem eine induktive Analyse verwendet.

• Fallstudien

Eine Fallstudie ist eine Forschungsmethode, die dem Forscher hilft, ein besseres Verständnis eines Themas oder Prozesses zu gewinnen. Bei Fallstudien wird ein bestimmtes Thema eingehend untersucht, um dessen Funktionsweise und Erfolge zu verstehen.

Hinweise zum Formplus Online Form Builder für die Evaluierungsumfrage

• Anmelden bei Formplus

Im Formplus Builder können Sie Ihre Evaluierungsumfrage ganz einfach erstellen, indem Sie die gewünschten Felder per Drag & Drop in Ihr Formular ziehen. Um auf den Formplus-Builder zugreifen zu können, müssen Sie ein Konto bei Formplus erstellen.

Wenn Sie dies getan haben, melden Sie sich bei Ihrem Konto an und klicken Sie auf „Formular erstellen“, um zu beginnen.

• Titel des Formulars bearbeiten

Klicken Sie auf das vorgesehene Feld, um den Titel Ihres Formulars einzugeben, zum Beispiel „Umfrage zur Evaluationsforschung“.

• Formular bearbeiten

Klicken Sie auf die Schaltfläche „Bearbeiten“, um das Formular zu bearbeiten.

Felder hinzufügen: Ziehen Sie die gewünschten Formularfelder per Drag & Drop in Ihr Formular in der Eingabespalte des Formplus Builders. Im Formplus-Builder gibt es mehrere Feld-Eingabeoptionen für Umfragen.

Felder bearbeiten

Klicken Sie auf „Speichern“

Vorschau des Formulars.

• Formularanpassung

Mit den Optionen zur Formularanpassung im Formplus Builder können Sie das Aussehen Ihres Formulars leicht ändern und es einzigartiger und individueller gestalten. Formplus ermöglicht es Ihnen, das Design Ihres Formulars zu ändern, Hintergrundbilder hinzuzufügen und sogar die Schriftart nach Ihren Wünschen zu ändern.

• Mehrere Optionen zur gemeinsamen Nutzung

Formplus bietet mehrere Optionen zur gemeinsamen Nutzung von Formularen, die es Ihnen ermöglichen, Ihre Bewertungsumfrage auf einfache Weise mit den Umfrageteilnehmern zu teilen. Sie können die direkten Schaltflächen für die Weitergabe in sozialen Medien verwenden, um den Link zu Ihrem Formular auf den Seiten Ihrer Organisation in sozialen Medien zu teilen.

Sie können Ihr Umfrageformular auch als E-Mail-Einladung an Ihre Forschungsteilnehmer versenden. Wenn Sie möchten, können Sie den QR-Code Ihres Formulars weitergeben oder ihn auf der Website Ihrer Organisation einbetten, um den Zugang zu erleichtern.

Fazit

Die Durchführung von Evaluierungsstudien ermöglicht es Organisationen, die Wirksamkeit ihrer Aktivitäten in verschiedenen Phasen zu bestimmen. Diese Art von Forschung kann mit qualitativen und quantitativen Datenerhebungsmethoden durchgeführt werden, darunter Fokusgruppen, Beobachtung, Telefon- und Einzelinterviews sowie Umfragen.

Online-Umfragen, die über Datenerfassungsplattformen wie Formplus erstellt und verwaltet werden, erleichtern Ihnen die Erfassung und Verarbeitung von Informationen bei der Evaluierungsforschung. Mit den vielfältigen Optionen von Formplus zur gemeinsamen Nutzung von Formularen ist es für Sie noch einfacher, nützliche Daten von Zielmärkten zu sammeln.