作業に取り組む際には、進捗状況を判断し、途中で変更が必要な場合は、断続的に休憩を取る必要があります。 これは、組織が評価研究を行うときに行うことと非常によく似ています。
評価研究の手法は、ターゲットユーザーのニーズに応える製品、サービス、およびプロセスを生み出すために努力する組織にとって、最も重要なアプローチの1つになっています。 この記事では、Formplusを使って評価研究を成功させる方法を紹介します。
評価研究とは
プログラム評価としても知られている評価研究は、プロジェクトや特定の目標に投入したリソースの価値を構造的に評価することを含む、共通の研究計画です。 組織のプロセスや製品に関する有用な情報を収集し、分析するために、社会調査の手法を採用することがよくあります。
応用研究の一種である評価研究は、通常、組織のコンテキスト内の現実のシナリオに関連付けられます。 このため、研究者は、利害関係者に役立つ客観的な研究結果を得るために、対人関係スキルやチームプレイなど、一般的な職場のスキルを活用する必要があることを意味する。
評価研究の特徴
- 研究環境: 評価研究は、現実の世界、すなわち、組織の状況の中で実施される。
- 研究の焦点。 評価研究は、主にプロセスそのものではなく、プロセスの結果を測定することに関係している。
- 研究の成果。 評価研究は、組織における戦略的意思決定のために用いられる。
- 研究目標：プログラム評価の目標は、あるプロセスが望ましい結果をもたらしたかどうかを判断することである。
- この種の研究は、組織の利害関係者の利益を保護するものである。
- 純粋研究と応用研究の中間的な位置づけにあることが多い。
- 評価研究は、詳細かつ継続的である。 説明よりも実行的なプロセスに注意を払う。
- 研究プロセス。 この研究デザインでは、製品またはアクションベースの戦略に関する関連データを収集するために、定性的および定量的な研究方法を利用します。 これらの方法には、観察、テスト、調査などがあります。
評価研究の種類
The Encyclopedia of Evaluation (Mathison, 2004) では、「鑑賞的探求」から「目利き」、「変革的評価」までの42種類の評価アプローチおよびモデルが扱われています。 評価研究の一般的なタイプは以下の通りである。
- Formative Evaluation
Formative Evaluationまたはベースライン調査は、プロジェクトに着手する前にユーザーまたはターゲット市場のニーズを評価する評価調査の一種です。 形成的評価は、組織のプロジェクトの基調を整え、他のタイプの評価に有用な洞察を提供するため、評価研究の出発点です。
- Mid-term Evaluation
中期評価では、プロジェクトがどの程度進んだかを評価し、設定した目標や目的に沿っているかどうかを判断します。 中間評価により、組織は実施戦略の変更や修正が必要かどうかを判断することができ、また、プロジェクトを追跡する役割も果たす。
- Summative Evaluation
このタイプの評価は、プロジェクト完了評価の最終評価としても知られ、プロジェクトの完了直後に実施されます。 ここでは、研究者は、予測された結果との関連において、プログラムの価値とアウトプットを検証する。
総括評価では、組織はプロジェクトの成功の度合いを測定することができます。 このような結果は、利害関係者、対象市場、および見込み投資家と共有することができる。
- Outcome Evaluation
成果評価は、プロジェクト、プログラム、または製品の利用者に対する効果を測定するため、主にターゲットオーディエンス指向です。 このタイプの評価は、対象者のレンズを通してプロジェクトの成果を見るもので、知識の向上、スキルの習得、仕事の効率化などの変化を測定することがよくあります。
- Appreciative Enquiry
Appreciative inquiryは、結果を生むアプローチに注目した評価研究の一種です。 それは、組織はその利害関係者が主に注意を払う方向で成長するという信念に基づいており、もしすべての注意が問題に集中しているならば、それを特定することは簡単であろうということです。
評価的探求を行うにあたり、プロジェクトの過程で実現された肯定的な結果に直接関与する要因を特定し、その結果の理由を分析し、その要因の活用を強化する研究である。
評価研究の方法
評価研究の方法には、アウトプット測定、インプット測定、インパクト評価、サービス品質の4つがある
- アウトプット/パフォーマンス測定
アウトプット測定とは、評価研究で用いられる方法で、組織が実施した活動の結果を示すものである。 言い換えれば、パフォーマンス測定は、特定の活動や組織のプロセスに投入された資源によって達成された結果に注目するものである。
プロジェクトに資源を投入する以上に、組織は、これらの資源がどの程度まで成果を上げたかを追跡できなければならないが、そこで登場するのがパフォーマンス測定である。 成果測定により、組織はプロセスそのものではなく、プロセスの有効性と影響に注意を払うことができる。
パフォーマンス測定の他の主要な指標としては、ユーザー満足度、組織能力、市場浸透度、施設利用率などがある。 業績測定を行うにあたり、組織は当該プロセス、その業界、および対象市場に関連するパラメータを特定しなければならない。
5 Performance Evaluation Research Questions Examples
- このプロジェクトの費用対効果は？
- このプロジェクトの全体的な到達度は？
- このプロジェクトの市場への浸透度は？
- このプロジェクトは時間効率に優れていますか？
- Input Measurement
評価研究において、入力測定は、あらゆる組織でプロジェクトまたは目標に投入されたリソースの数を評価することを伴います。 これは、組織がその投資を追跡することができるため、評価研究において最も一般的な指標の1つである。
インプット測定の最も一般的な指標は、組織がプロジェクトのための支出を評価し制限することができる予算である。 また、プロジェクトの成功に必要な人員の数である人的資本や生産資本など、金銭以外の投資も測定することが重要である。
5 Input Evaluation Research Questions Examples
- このプロジェクトの予算はいくらですか？
- このプロセスのタイムラインはいくらですか？
- このプロジェクトに割り当てられた社員数は何人ですか？
- このプロジェクトでは、新しい機械を購入する必要がありますか。
- このプロジェクトの協力者は何人ですか。
- Impact/Outcomes Assessment
インパクト評価では、評価研究者は、製品やプロジェクトがターゲット市場に直接的、間接的にどのような影響を与えるかに焦点を当てます。 成果評価は、多くの場合、ユーザーにとってのプロジェクトのリアルタイムの価値や利益を測定することが困難であるため、やや困難です。
プロセスの影響を評価する場合、評価研究者は、問題のプロセスまたはプロジェクトの結果としてユーザーが記録した改善に注目する必要があります。 したがって、ユーザーの認知的・感情的変化、期待-満足、および同様の達成に注目することは理にかなっている。
5 Impact Evaluation Research Questions Examples
- このプロジェクトはあなたにどのような影響を及ぼしましたか?
- このプロセスはあなたにポジティブまたはネガティブな影響を与えましたか？
- このプロジェクトはあなたの収益力を向上させるのにどのような役割を果たしましたか？
- このプロジェクトにどの程度期待していますか？
- このプロジェクトはあなたの精神衛生をどのように向上させましたか？
- Service Quality
サービス品質とは、対象市場の期待値と実施したプロジェクトの印象の違いを考慮する評価研究方法である。 したがって、ユーザーによって行われる総合的なサービス品質評価に注目する。
組織が特定のプロジェクトに着手する際に、ターゲット市場の期待を構築することは珍しいことではありません。 サービス品質評価によって、これらの組織は実際の製品またはサービスの提供がどの程度期待を満たしているかを追跡することができる。
5 Service Quality Evaluation Questions
- 1～10のスケールで、製品にどの程度満足していますか？
- カスタマーサービス担当者はどの程度親切でしたか？
- 目の前の問題を解決するのにかかった時間はどれくらいですか？
- あなたのネットワークに当社を推薦する可能性はどれくらいですか？
評価研究の用途
- 評価研究は、組織が活動の効果を測定したり改善を要する領域を特定するのに使用されます。 評価研究から得られた知見は、プロジェクトや製品の進歩のカギとなり、組織が目標を効率的に実現するために非常に大きな影響力を持ちます。
- 評価研究から得られた知見は、組織が着手したプロジェクトの影響を示す証拠となる。 この情報は利害関係者や顧客に提示することができ、また、組織が将来のプロジェクトのための投資を確保するのに役立つ。
- 評価研究は、組織が限られた資源の使用を正当化し、最適な代替案を選択するのに役立つ。
- また、現実的な目標設定や実現にも役立つ。
- 評価研究は、組織が着手したプロジェクトに対する詳細な洞察を提供する。 基本的には、すべての利害関係者がプロセスの多次元を理解し、長所と短所を判断することができる。
- 評価研究はまた、組織が全体的な実践とサービス提供を改善する上で大きな役割を担っている。 この研究デザインにより、組織は利害関係者から提供されるフィードバックを通じて既存のプロセスを評価することができ、これはより良い意思決定に情報を提供する。
- 評価研究は、持続可能な能力開発にも役立っています。
評価研究で使用するデータ収集手法
評価研究のために有用なデータを収集する際、研究者はしばしば定量的および定性的研究方法を組み合わせます。 定性的な調査手法により、研究者は市場の満足度や認識といった無形の価値に関連する情報を収集することができます。
一方、定量的な方法は、評価研究者が数値パターン、つまり定量化可能なデータを評価するために使用されます。 これらの方法は、インパクトや結果を測定するのに役立ちますが、プロセスの文脈を理解するのには役立たないかもしれません。
Quantitative Methods for Evaluation Research
- Surveys
調査は、特定のグループからプロジェクトに関する情報を収集できる定量的な方法です。 調査は、主にコンテキストに基づいており、あらかじめ決められたコンテキストに沿って構造化された一連の質問を受けるターゲットグループに限定されます。
調査は通常、評価研究者が市場範囲や顧客の好みなどいくつかの変数への洞察を得ることができるクローズエンド型の質問で構成されています。 調査は、紙の用紙を使って物理的に行うことも、Formplusのようなデータ収集プラットフォームを使ってオンラインで行うこともできます。
- Questionnaires
A questionnaire is a common quantitative research instrument deployed in evaluation research. 一般的に、これは、研究者が回答者から貴重な情報を取得するのに役立つ質問やプロンプトの異なる種類の集合体です。
- Polls
世論調査は、彼らに影響を与える問題についての一般市民の認識を量ることができる、意見サンプリングの一般的な方法です。 世論調査の精度を高めるには、Formplusなどのプラットフォームを使用してオンラインで実施するのが最適です。
世論調査はしばしばリッカート尺度による質問で構成され、提供される選択肢は常に中立性や優柔不断を考慮しています。 投票を実施することで、評価研究者は、製品やサービスがユーザーのニーズをどの程度満たしているかを理解することができます。
Qualitative Methods for Evaluation Research
- One-on-One Interview
インタビューとは、2人の参加者（通常は研究者とユーザーまたはターゲット市場のメンバー）を含む構造的な会話である。 1対1のインタビューは、電話や、ZoomやGoogle Meetなどのビデオ会議アプリを通じて、物理的に実施することができます。
- Focus Groups
フォーカスグループは、市場の認識や新製品に関する洞察を提供できる、ターゲット市場内の限られた人たちと対話する調査方法です。
- Qualitative Observation
質的観察は、評価研究者がさまざまな主観的アプローチによって対象者から有用な情報を収集する研究方法です。 この方法は、より少ないサンプルサイズを扱うため、定量的観察よりも広範囲であり、また帰納的分析を利用する。
- Case Studies
ケーススタディは、研究者が対象やプロセスをより深く理解するのに役立つ研究方法です。 ケーススタディでは、ある対象について深く研究し、その機能性や成功事例を理解します。
評価アンケート用オンラインフォームビルダーFormplusの使い方
- Sign into Formplus
フォームビルダーでは、フォームにお好みの項目をドラッグ＆ドロップして、簡単に評価アンケートを作成することができます。 フォームプラスビルダーにアクセスするには、フォームプラスにアカウントを作成する必要があります。
アカウントを作成したら、サインインして「フォームを作成」をクリックします。
- フォームタイトルの編集
入力フィールドをクリックし、「評価研究調査」のようなフォームタイトルを入力します。
- フォームの編集
編集ボタンをクリックし、フォームを編集します。 Formplusビルダーの入力欄で、好みのフォームフィールドをドラッグ＆ドロップしてフォームに追加します。 フォームプラスビルダーには、アンケート用のフィールド入力オプションがいくつか用意されています。
フィールドの編集
「保存」をクリック
フォームのプレビュー
- フォームのカスタマイズ
フォームビルダのカスタマイズオプションで、簡単にフォームの外観を変更し、よりユニークでカスタマイズできるようにすることができます。 Formplus では、フォームのテーマを変更したり、背景画像を追加したり、必要に応じてフォントを変更したりすることができます。
- Multiple Sharing Options
Formplus には複数のフォーム共有オプションがあり、アンケート回答者と評価アンケートを簡単に共有することができます。 ソーシャル メディア共有ボタンを使用して、組織のソーシャル メディア ページにフォーム リンクを共有することができます。
調査対象者に招待メールとしてアンケートフォームを送信することもできます。 ご希望に応じて、フォームのQRコードを共有したり、組織のWebサイトに埋め込んで、簡単にアクセスできるようにすることができます。
まとめ
評価調査を実施することで、組織はさまざまな段階での活動の有効性を判断することができます。 この種の研究は、フォーカスグループ、観察、電話および1対1のインタビュー、調査など、定性的および定量的なデータ収集方法を使用して実施することができる。
フォームプラスのようなデータ収集プラットフォームで作成・実施するオンライン・アンケートは、評価調査の際の情報収集と処理を容易にします。 Formplusの複数のフォーム共有オプションにより、ターゲット市場から有用なデータをより簡単に収集することができます。