アンケートのサンプルサイズ

完璧な世界であれば、母集団内のすべてのユーザーをサンプリングします。しかし、それはできません。なぜでしょうか？非効率で、高価で、時間がかかり、おそらく実現不可能だからです。代わりに、焦点を当てたい母集団から、母集団を代表するサンプルを得ようとします。そのために、その母集団の一部、すなわち「サンプル」を取得します。

さらに、サンプルから測定値を算出し、それを母集団全体の測定値の推定値として使用します。たとえば、真の SUS スコアは存在するものの、すべてのユーザーの SUS スコアを測定することはできません。代わりに、ユーザーのサンプルから SUS スコアを算出します。これは母集団の正確な SUS スコアにはなりませんが、ある程度の誤差（または誤差範囲）の範囲内で近い値になります。

アンケートのサンプルサイズを決定する際に考慮すべき要素

サンプリングに関して最もよくある質問の 1 つは、*「何人をサンプリングすべきですか？」です。正しい答えは、「場合によります」*です。サンプルの大きさを決定する際には、考慮すべき要素がいくつかあります。主に確認する要素は、信頼性／正確性、誰をサンプリングするか／何人をサンプリングするか、母集団、分析の種類です。さらに、すべての調査に高い精度が必要なわけではありませんが、それでも情報は非常に価値があり有用であり、情報に基づく意思決定を可能にします。具体的には次のとおりです。

• シナリオ 1: リサーチ質問が、詳細な測定値など高い精度を必要とする場合は、より多くの人をサンプリングします。例: SUS（n=200）
  • なぜでしょうか？SUS は、変化を捉えたいので、時間の経過とともに測定します。SUS スコアの変化を確認したとき、それがサンプリングで運が良かった、または悪かったためではなく、真の変化によるものだと確信したいと考えます。小さなサンプルはエラーの影響をより受けやすい場合があります。
  • SUS はユーザーの母集団全体で測定するため、サンプリングできる人のプールがはるかに大きくなります。サンプルの正確性を確保するため、より大きなサンプルサイズが必要です。
  • 会社全体の目標は SUS を中心に設定されます。そのため、高い精度が必要です。サンプルサイズが増えると、誤差（または誤差範囲）、言い換えると幸運または不運なサンプリングの可能性が下がり、データから得られる観測の精度が高まります。
• シナリオ 2: アンケートでより大きなサンプルが必要な場合、GitLab のユーザーまたはライセンス数が多い企業（すなわち大企業）を過剰にサンプリングするリスクがあります。例: CSAT（n=400）
  • なぜでしょうか？アンケートの結果に基づき、アンケートサンプルがより大きな母集団を代表していると言えるようにしたいと考えます。大規模サンプル（n > 500）の回答の 1% 超が単一の企業からのものである場合、ユーザーベース全体（すなわち母集団）をサンプリングした場合と比べて、その企業がサンプル内で過剰に代表されているため、結果への信頼性は低くなります。
    • 注: 非常に具体的な、または到達が難しいユーザーグループを対象とする場合、このガイドラインは適用されません。
  • 正確性とサンプリングのバランスを保とうとする際は、アンケートメールの配信を確認し、1 つの企業から対象にする個人の数を制限してください。1 つの企業のメールドメインからクエリする人数に制限を設けるか、Rally や Qualtrics などのツールを使用してメール配信の間に特定のメールドメインを除外することで実施できます。そうすれば、結果がこれらのユーザーグループの影響を受ける可能性が低くなります。
• シナリオ 3: リサーチで、一定のワークフローを通過する人の数や、特定の機能をどのように順位付けするかを理解しようとしている場合、上記のシナリオ 1 ほど多くの人をサンプリングする必要はおそらくありません。例: ユーザーが機能をどう順位付けするかを理解するためのアンケート（n=30）
  • なぜでしょうか？すべてのユーザーがすべてのワークフローを使用するわけではないため、母集団は GitLab ユーザーベース全体ではありません。むしろ、リサーチしているワークフローのすべてのユーザーです。母集団が小さいため、それほど大きなサンプルは必要ありません。
  • 時間の経過とともに比較する測定値を収集していません。言い換えると、その測定値はシナリオ 1 と比べて詳細ではありません。
  • 意思決定を行うために高い精度は必要ありません。30 人のユーザーが機能をどのように順位付けするかを知るだけで、自信を持って意思決定を行うのに十分です。
• シナリオ 4: リサーチで、ユーザーがワークフローにどのようなツールを取り入れているかを理解しようとしている場合、アンケートにはより多くの自由記述質問が含まれる可能性があります。例: ワークフロー内のツールを理解するためのアンケート（n=30）
  • なぜでしょうか？測定値を算出するのではないため、正確性のためにそれほど大きなサンプルは必要ありません。むしろ、ユーザーがどのような回答をするかを把握しようとしています。
  • ユーザーが挙げた特定のツールを対象にし、そのツールの使用方法を理解するためのフォローアップインタビューを実施したい場合があります。
  • 30 というサンプルサイズがよく使用されるのは、その数が分布に歪みがある母集団でも、スコアで正規分布を得るのに十分大きいためです。要するに、この数は結果のバイアスを防ぐ助けになります。

アンケートのサンプルサイズに関するガイドライン

サンプルサイズをより簡単に決定できるよう、次のガイドラインを示します。

• 順位付けアンケート
  • 目標サンプルサイズ: 30
• 定量的アンケート
  • 目標サンプルサイズ: 100
• 定性的アンケート
  • 目標サンプルサイズ: 30

これらは一般的なガイドラインですが、サイズは調査と必要な精度のレベルによって異なります。サンプルサイズ計算ツールを使用できますが、母集団サイズを知る必要があります。

すべての結果が統計的に有意である必要はありません。統計的有意性を達成していなくても、意味のある推論を得るのに十分な回答を収集できる場合があります。より重要なのは、関心のある母集団を代表するサンプルを持つことです。

アンケートのサンプルサイズを報告する

サンプルサイズを選んだ理由と、それが結果の文脈で何を意味するかを、他のチームメンバーが理解できるように、サンプルサイズの正当化がよく必要になります。アンケートのレポートを作成する際は、次の情報を関係者に伝えるため、デッキの Appendix セクション内にスライド（アクセスするには Google Drive で Survey Sample Size Overview Template を検索してください）を追加することを推奨します。

1. なぜその数の回答者をアンケート調査しましたか？
2. 調査結果は統計的に有意でしたか？
3. 母集団サイズはいくつでしたか？
4. 信頼水準と誤差範囲は何を意味しますか？

アンケートのサンプルサイズを報告する完成済みレポートスライドの例を次に示します。

ページのソースコードを見る - ページの編集 - please contribute.