アンケートの設計とレビュー時に低品質なデータを特定する方法

UX Research における大きな課題は、データがサンプリングしようとしているユーザーを代表していることを確保することです。一定の時間をかけて相手と話すことで回答の品質を評価できるインタビューとは異なり、アンケートデータは通常匿名で、精査する個々の回答量も多いため、検証がより困難です。アンケートを実施する際の重要な目標は、アンケート結果により確信を持てるよう、低品質なデータ（例: 人間ではなくボットや AI が提供したデータ、人間が提供した虚偽または不正確なデータ）の量を制限することです。このハンドブックページでは、最終的なデータセット内のデータ品質により確信を持てるよう、アンケートの設計と分析を改善するさまざまな方法を扱います。

無効なアンケート回答を特定するためのアンケート設計方法

注意力チェック

注意力チェックの質問は、参加者が注意を払い、慎重に回答していることを確かめるために設計されています。クリーニングと分析の際により簡単に除外できるよう、注意力チェックの質問を含めることを検討してください。

• 例: 「注意を払っていることを確認するため、この質問では『同意する』を選択してください。」回答者が「同意する」を選択した場合、その回答者は質問を注意深く確認して回答していることを示すため、除外すべきではありません。
• 例: 「次の質問は、あなたが実在する人物であることを確認するためのものです。下のボックスに『Red』という単語を入力してください。」回答者が「Blue」と回答した場合、注意を払っていない可能性が高く、データセットから除外すべきです。

注意力チェックは戦略的に使用すべきです。複雑なアンケート、長いアンケート、複数選択の質問が多数あるアンケートに最も適しています。短いアンケート、自由回答が多数あるアンケート、スクリーナーアンケートには適していません。

ボット検出と不正検出

Qualtrics でボット検出と不正検出の設定を有効にすることを提案します。データ内の両方のアンケート設定のスコアを比較すると、参加者を除外するかどうかを判断できます。

• 例: 回答者のボット検出スコアが 0.2 で、不正検出スコアが 100 の場合、回答に問題があり、除外できることを示唆します。
• 例: 回答者のボット検出スコアが 0.9 で、不正検出スコアが 10 の場合、フィードバックが正当であることを示唆します。

アンケートデータをクリーニングする際の確認事項

未完了のアンケート回答

未完了の回答は、データの分析と解釈を歪める可能性があります。何が未完了の回答に当たるかを定義することが不可欠です。たとえば、アンケートに 10 問あり、参加者が 3 問しか回答していない場合、その回答を除外することを検討できます。

• 例: 参加者がアンケートを開始したものの、属性情報のセクションの後に離脱し、残りの質問を未回答のままにしています。この回答はおそらく除外すべきです。
• 例: アンケート回答者が NPS の質問を完了したものの、自由記述の回答を提供していません。この回答は除外する必要がない場合があります。

希望する基準に合わない参加者

基準を満たさない参加者を除外することで、収集するデータがアンケートの目的に沿うことを確保します。このプロセスを容易にするため、基準を明確に定義してください。

• 例: 有料ユーザーを対象にしたアンケートでは、無料プランのユーザーからの回答を除外する必要があります。
• 例: 最初は調査基準を満たさない回答者のスクリーナーアンケートデータは、後で基準を調整する必要がある場合に備えて保持すべきです。そうすれば、完全には適合しない可能性がある回答者も参加できます。

完了が早すぎる回答

急速な完了は、参加者が質問に慎重に取り組んでいないことを示している可能性があり、信頼できないデータにつながるおそれがあります。

• 例: 複雑な質問が複数あるアンケートが 30 秒未満で完了している場合、疑わしく、除外候補と見なすべきです。

同一回答の繰り返し、またはその他のパターンに基づく回答

同一回答の繰り返しは、回答者が質問を考慮せず、常に同じ回答の選択肢を選ぶ場合に生じます。これは不注意や真の関与の欠如を示す可能性があります。

• 例: 回答者がアンケートのすべての質問に「強く同意する」を選択します。同一回答の繰り返しやその他のパターンに基づく回答に対する完璧な解決策はありません。このような回答が 1 件または少数だけの場合、データが信頼できないため、その参加者を除外することがベストプラクティスです。データにこの種類の回答が多数ある場合は、選択肢が多すぎるマトリクス形式の質問を避ける、または 1 ページに 1 問を提示するようアンケートを調整できます。
• 例: アンケート全体を通じて「強く同意する」と「同意する」を混在して選ぶ回答者は、除外すべきではありません。

一貫性のない回答

不整合は、誤解、注意力の欠如、または意図的な虚偽を示す可能性があります。矛盾する情報を調査し、整合性を確認してください。

• 例: 回答者が GitLab しか使用していないと述べているにもかかわらず、役割においてマージリクエスト（GitLab の用語）ではなくプルリクエスト（GitHub の用語）を行っていると言及しています。このフィードバックは、その人が GitLab ユーザーではなく、データセットから除外できることを示唆します。
• 例: 回答者が GitLab を使用しており、グループやプロジェクトでマージリクエストを行った経験があると述べています（GitLab 固有の用語）。この回答は GitLab を使用したことがある人と整合するため、データに残すべきです。

意味をなさない、または疑わしい（すなわち AI 生成の）自由記述フィードバック

自由記述のフィードバックは、一貫性があり関連しているべきです。意味をなさない、または疑わしい回答は、自動化された送信または不正な送信を示している可能性があります。

• 例: 無作為な文字から成る、または尋ねられた質問に答えていない回答は、AI が残したフィードバックと見なされる可能性があります。これは除外候補であることを示唆します。
• 例: 質問に直接答え、人間が書いたように聞こえる回答は、AI 生成ではないフィードバックと見なされる可能性が高いため、回答者を除外すべきではありません。

不正または不誠実な回答を示唆しうる、よくある AI 生成の表現:

• “ご不便をおかけして申し訳ありません。残念ながら、現時点ではリアルタイムのデータを提供できません。”
  • この回答は、丁寧な謝罪をする一方で直接の回答を提供せず、リアルタイムデータに具体的に言及することで、典型的な AI の挙動を示しています。AI 生成の回答は、形式的な言葉に頼り、リアルタイムでのやり取りを約束することを避ける場合があり、曖昧または回避的な回答につながります。
• “前回の知識更新時点では…”
  • この回答は、AI が限定条件や事前にプログラムされた回答に頼る傾向を示しています。AI 生成コンテンツには、古い情報への依存を示す免責事項やフレーズが含まれることが多く、システムがリアルタイムの更新や微妙な理解を提供できないことを反映しています。
• “もちろん、以下にリクエストされた情報の要約を示します。”
  • この回答は、形式的な言葉を使用し、構造化された形式で情報を提供すると申し出ることで、AI 生成コンテンツに典型的な特徴を示しています。AI 生成の回答は、人間に本来備わる自発性と文脈的理解を欠き、率直な方法でデータや要約を届けることを優先する場合が多いです。「もちろん」という言葉の使用に続いてあらかじめ決められた行動（要約の提供）があることは、真の人間によるやり取りではなく、台本に沿った回答を示唆します。

ページのソースコードを見る - ページの編集 - please contribute.