モデレーターなしのユーザビリティテスト

GitLab では、ソリューション検証における特定のモデレーターなしのテストに UserTesting.comを使用します。モデレーターなしのユーザビリティテストにより、ユーザーから評価に関するフィードバックを非常に迅速に得られ、必要なリソースを少なくして、より独立した方法で迅速にイテレーションできます。

モデレーターなしのユーザビリティテストとは？

モデレーターなしのユーザビリティテストは、モデレーターが立ち会わずにユーザビリティテストを実施する方法と定義されます。つまり、参加者はすべてのタスク、指示、質問を一人で進めます。通常、参加者パネルも提供するサービスを通じて実施します。モデレーターなしのユーザビリティ調査の成果物は動画であり、リサーチを開始した人が視聴して分析する必要があります。

GitLab と UserTesting.com

注意として、UserTesting.com で実施できる調査の数は無制限ではありません。そのため、UserTesting.com で調査を開始する際は考慮してください。

長所と短所

モデレーターなしのテストの使用には長所と短所があり、モデレーターなしとモデレーターありのどちらにするかを決める前に考慮することが重要です。例を示します。

モデレーターなし

• 長所:
  • 非常に短い所要時間（数時間）
  • スケジュールや謝礼の調整が不要
  • 大規模で多様な参加者パネル
• 短所:
  • 参加者に話しかけて軌道修正を促したり、タスクを理解しているか確認したりできない
  • 明確なタスク、指示、質問のセットが必要

モデレーターあり

• 長所:
  • 参加者と話し合い、観察された行動を深く掘り下げられる
  • 必要に応じて軌道修正できる
• 短所:
  • 時間がかかる（数週間）
  • スケジュールと謝礼の調整が必要

調査のベストプラクティス

• 必ず最初に 1〜2 名の参加者で調査を開始してください。 これらはパイロットとなり、参加者がタスクと質問を理解しているかどうかを、結果を使って判断します。最悪なのは、5〜8 名の参加者全員で調査を開始してから、タスクと質問を意図とは異なる方法で解釈していたことが分かることです。
• 評価に関する質問をする場合は、「なぜそのように評価したのですか？」と尋ねてください。 定性的データを扱うため、それらの評価の背景にある理由を理解したくなります。
• 注意深く賢明にスクリーニングしてください。 モデレーターなしのテスターは調査ごとに報酬を受け取るため、参加する調査が多いほど報酬も増えます。その結果、調査に参加するためだけにスクリーナーで虚偽の回答をする参加者が出ることがあります。その可能性を減らすため、効果的なスクリーナーの書き方に関するハンドブックページがあります。
• 調査を長くしすぎないでください。テストは 15〜20 分の範囲にするのがよい目安です。プレビューモードでテストを実施し、1〜2 名の少数サンプルで確認することで判断できます。より短いテストには、short test形式の使用を検討してください。

プロトタイプのベストプラクティス

プロトタイプに Figma を使用する場合は、テストにリンクを添付する前に覚えておくべきヒントがいくつかあります。

• プロトタイプを Fit to screen に設定し、参加者の画面を埋めるようにします。
• Show hotspot hints on click のチェックを外します。参加者はこれらを探すべきだと理解していることが多く、テスト結果にバイアスがかかる可能性があります。
• ホットスポットのヒントを無効にした後も、Figma ではクリック可能な領域にカーソルを合わせるとカーソルが変わります。主なクリック選択肢が参加者に明白にならないよう、プロトタイプ内のユーザーに追加の模擬クリック可能な選択肢を提供してみてください。
• Show Figma UI のチェックを外します。これにより、参加者は追加情報を見ることなくプロトタイプだけに集中できます。
• 共有設定で allow the participant to view the prototype, and only the prototype となっていることを確認します。
• 参加者はタブでプロトタイプの名前を確認できるため、ここにはプライミング情報を含めないでください。

よくある質問

• 自分の調査がモデレーターなしのテストに適した候補かどうかは、どうすれば分かりますか？ 調査で詳細を説明する必要がなく、参加者が道を外れるリスクが低い場合、その調査はモデレーターなしのテストに適した候補である可能性が高いです。モデレーターなしのテストに適しているかどうかに関して質問があれば、UX Researcher に尋ねてください。
• 問題検証に関する質問をしたい場合はどうすればよいですか？ UserTesting.com は最適な選択肢ではありません。代わりに、採用プロセスを通じて、別の方法で参加者を特定してください。
• 調査ごとに何人の参加者を依頼すべきですか？ 評価調査にはモデレーターなしの方法を使用するため、サンプルサイズは調査ごとに 5〜8 名の参加者にする必要があります。
• 既存の GitLab ユーザーのカスタムパネルを作成できますか？ カスタムパネルの作成は可能ですが、UserTesting パネルを使用し、特定のロールの GitLab ユーザーをスクリーニングするために既に保存されているスクリーナー質問を使用することを推奨します。
• 特定の条件でスクリーニングできますか？ もちろんです。希望する条件で行えます。スクリーナーの条件が厳しいほど、探している参加者を見つけられる可能性は低くなります。UserTesting.com には使用できる GitLab のスクリーニング質問が既にいくつかあります。UserTesting.com 内の「Saved Screener Questions」で見つけられます。
• あれらのすべてのチェックボックスを使う人口統計フィルターはどのように機能しますか？ 人口統計フィルターは次のように機能します。フィルターを選択しない場合、参加者プールには UserTesting.com パネルの誰でも含まれます。フィルターを選択し始めると、参加者プールは探しているフィルターに限定され、潜在的なテスターのプールは小さくなります。フィルターを選択しないことは、調査から誰かを除外することではありません。むしろこの方法ではより多くの参加者を対象にします。人口統計フィルターはできる限り一般的なものにし、スクリーナー質問を使って探している特定の種類の参加者を見つけることを推奨します。
• GitLab の要件を満たすために、特定のスクリーニング質問をする必要がありますか？ はい。少なくとも「Individual contributor license agreement」の質問をする必要があり、IP Assignment の質問も必要になる場合があります。どちらも、スクリーニング条件に追加するための「Saved Screener Question」として UserTesting.com 内に既に保存されています。
• あまり良くない参加者になってしまいました（例えば、スクリーニング条件を満たしていない、あまり発話しない、指示に従わないなど）。どうすればよいですか？ UserTesting.com では、参加者を 5 段階の星評価で評価できます。1 つ星と評価すると、UserTesting.com Support から連絡があり、代替の参加者を希望するか尋ねられます。希望することも、代わりにクレジットを求めることもできます。
• UserTesting.com を何回使用するかを心配する必要がありますか？ 年間で使用する「units」の数には限りがあることを認識しておく必要があります。units の数は無制限ではありません。ただし、必要なだけ UserTesting.com を活用することを推奨します。
• アカウントを取得するにはどうすればよいですか？ Okta 経由でアクセスできる Lumosからリクエストしてください。現時点で UserTesting.com のシートは、ソリューション検証テストに密接に関わる分野である Product Designer と UX Researcher にのみ割り当てられます。
• 採用と謝礼はどのように機能しますか？ UserTesting.com パネルを通じて採用する場合、謝礼は処理されます。その手順をまったく心配する必要はありません。
• UserTesting.com 調査の成果物は何ですか？ 動画クリップと、アンケート質問をした場合はデータの要約です。動画クリップは Dovetail で使用するためにダウンロードできます。
• UserTesting.com パネルで必要な種類の参加者が見つかりません。どうすればよいですか？ @asmolinski2 に連絡してください。ただし、謝礼は UX Researcher が処理する必要があります。
• 「short test」とは何ですか？調査を作成しているときに UserTesting でこのオプションが表示されます。 「short test」は、3〜5 問で構成される短い調査を実施できる UserTesting の機能です。回答が必要な軽量のリサーチ質問に答えるのに最適です。例えば、参加者がスクリーンショットやワークフロー内のどこをクリックするかを知りたいファーストクリック調査が該当します。調査の長さは 5 分を超えてはいけません。short test を使用する利点は、通常の UserTesting 調査で消費するクレジットの半分で済むことです。
• 質問がたくさんあります。誰に連絡できますか？ まず、UserTesting.com のトレーニング資料（UserTesting へのログインが必要）を確認してください。それで解決しない場合は、Slack チャンネル #ux_research_usertesting で尋ねてください。
• UserTesting.com で「Enable Participant View」を有効にする必要がありますか？ この設定を有効にすると、参加者が調査を進める際の表情が記録され、参加者の感情についての理解が深まります。ただし、この設定を有効にすることは必須ではありません。カメラで得たいデータが行動に対する確信度である場合は、それについて尋ねる単一選択の質問または口頭の質問を追加することを検討してください。
• 調査をすぐに開始するために使えるテンプレートはありますか？ はい。account templatesを確認し、そこから 1 つ選択してください。
• 調査で質問順序のバイアスをなくすにはどうすればよいですか？ プロトタイプ A とプロトタイプ B を評価する場合、balanced comparisonを使用して、参加者がバリアントを見る順序を交互にすることで、結果に対する順序バイアスのリスクを減らせます。

ページのソースコードを見る - ページの編集 - please contribute.