アンケートのサンプルサイズ

完璧な世界では、母集団内の全ユーザーをサンプリングすることになります。しかし、それはできません。なぜでしょうか? 非効率的で、費用がかかり、時間がかかり、そしておそらく実現不可能だからです。代わりに私たちは、フォーカスしたい母集団から母集団を代表するサンプルを取得しようとします。これを行うために、その母集団のうちの一部、「サンプル」と呼ばれるものを取り出します。

さらに、サンプルから測定値を計算し、母集団全体の測定値の推定値として使用します。たとえば、すべてのユーザーの SUS スコアを測定することはできませんが、その真の SUS スコアは存在します。代わりに、ユーザーのサンプルから SUS スコアを計算します。母集団に対する正確な SUS スコアにはなりませんが、ある程度の誤差（または誤差範囲）の範囲内で近い値になります。

アンケートのサンプルサイズを決定する際に考慮すべき要素

サンプリングについて最もよくある質問の一つは、*「何人をサンプリングすべきか?」です。正しい答えは、「状況による」*です。サンプルサイズを決定する際に考慮すべきいくつかの要因があります。私たちが見る主な要因は、信頼度/精度、誰をサンプリングするか/何人サンプリングするか、母集団、および分析の種類です。さらに、すべての研究で高い精度が必要なわけではありませんが、情報は依然として非常に価値があり/有用で、情報に基づいた判断を下せます。これは次の意味です。

• シナリオ 1: リサーチクエスチョンに高い精度（たとえば、より細かい粒度の測定）が必要な場合、より多くの人をサンプリングしたくなるでしょう。例: SUS（n=200）
  • なぜ? SUS は時間の経過とともに測定されます。変化を捉えたいからです。SUS スコアの変化が見られる場合、それが運の良し悪しの結果ではなく真の変化によるものだと自信を持って言いたいのです。より小さなサンプルはエラーに敏感になりやすいです。
  • SUS はユーザー全体の母集団で測定されるため、サンプリング対象となるプールがはるかに大きくなります。サンプルの精度を確保するためには、より大きなサンプルサイズが必要です。
  • 全社的なゴールが SUS の周りに設定されています。したがって、高い精度が必要です。サンプルサイズが増えると、誤差（または誤差範囲）—つまり、運の良し悪しのサンプリングの可能性—が下がり、データで行う観察がより正確になります。
• シナリオ 2: アンケートにより大きなサンプルが必要な場合、GitLab のユーザー/ライセンスが多い企業（つまり、大企業）を過剰にサンプリングしてしまうリスクがあります。例: CSAT（n=400）
  • なぜ? アンケートの結果に基づいて、アンケートのサンプルが大きな母集団を代表していると言えるようになりたいのです。大規模なサンプル（n > 500）で 1 社からの回答が 1%を超える場合、その会社が、ユーザーベース全体（つまり母集団）をサンプリングした場合と比べて私たちのサンプルで過剰に表現されているため、結果に対するより低い信頼度しか持てません。
    • 注: これらのガイドラインは、非常に特定または到達が困難なユーザーグループをターゲットにしている場合は適用されません。
  • 精度とサンプリングのバランスを保とうとする際、1 社から何人をターゲットにするかを制限するためにアンケートメールの配信を確認してください。1 社のメールドメインから何人を照会するかに制限を置くか、Rally や Qualtrics のようなツールを通じてメール配信間で特定のメールドメインをフィルタリングすることでこれを行えます。これによって、結果がそれらのユーザーグループの影響を受けにくくなります。
• シナリオ 3: あなたのリサーチが、何人が特定のワークフローを通過しているか、または人々が特定の機能をどうランク付けするかを理解しようとしている場合、上記のシナリオ 1 ほど多くの人をサンプリングする必要はないでしょう。例: ユーザーが機能をどうランク付けしているかを理解するためのアンケート（n=30）
  • なぜ? すべてのユーザーがすべてのワークフローを使用しているわけではないので、母集団は GitLab のユーザーベース全体ではありません。むしろ、研究しているワークフローのすべてのユーザーです。母集団が小さいということは、サンプルもそれほど大きくする必要がないということです。
  • 時間の経過とともに比較される測定値を収集しているわけではありません。つまり、シナリオ 1 と比べて測定値がそれほど細かい粒度ではありません。
  • 判断を下すために高い精度は必要ありません。30 人のユーザーから機能をどうランク付けするかを知ることで、自信を持って判断するのに十分です。
• シナリオ 4: あなたのリサーチが、ユーザーがワークフローにどんな種類のツールを取り入れているかを理解しようとしている場合、アンケートには自由回答式の質問が多くなるでしょう。例: ワークフロー内のツールを理解するためのアンケート（n=30）
  • なぜ? 測定値を計算するわけではないので、精度のためにそれほど大きなサンプルは必要ありません。むしろ、ユーザーが提供する回答のアイデアを得ようとしています。
  • ユーザーがリストする特定のツールをターゲットにし、ツールをどう使っているかを理解するためにフォローアップインタビューを実施したいかもしれません。
  • 30 というサンプルサイズが一般的に使用されるのは、その数が偏った分布の母集団であってもスコアに正規分布が生じるのに十分大きいからです。つまり、この数は結果のバイアスを防ぐのに役立ちます。

アンケートサンプルサイズのガイドライン

サンプルサイズを決定しやすくするために、いくつかのガイドラインを以下に示します。

• ランキングアンケート
  • サンプルサイズの目標: 30
• 定量的アンケート
  • サンプルサイズの目標: 100
• 定性的アンケート
  • サンプルサイズの目標: 30

これらは一般的なガイドラインですが、サイズは研究と必要な精度のレベルによって異なります。サンプルサイズ計算機を使えますが、母集団のサイズを知る必要があります。

すべての結果が統計的に有意である必要はありません。統計的有意性を達成しなくても、意味のある推論を得るのに十分な回答を集められる場合があります。より重要なのは、関心のある母集団の代表的なサンプルを持つことです。

アンケートサンプルサイズを報告する

サンプルサイズの正当性は、他のチームメンバーがなぜそのサンプルサイズを選んだのか、結果の文脈で何を意味するのかを理解するのにしばしば必要です。アンケートのレポートを作成する際は、デッキの付録セクション内にスライド（Google Drive で「Survey Sample Size Overview Template」を検索してアクセス）を追加し、以下の情報をステークホルダーに伝えることを推奨します。

1. なぜその人数の回答者を調査したのか?
2. 発見は統計的に有意か?
3. 母集団のサイズは何か?
4. 信頼レベルと誤差範囲は何を意味するか?

以下はアンケート用のサンプルサイズ報告スライドの記入例です。

ページのソースコードを見る - ページの編集 - please contribute.