UX リサーチのためのプロダクト分析
このページは、ユーザー体験リサーチを実施または支援するために、GitLab の利用に関して収集したデータを活用したいチームメンバー向けのリソースです。GitLab の内部構造、利用可能なデータとその場所、チームメンバーが始めるためのベストプラクティスとヒントに関する背景情報を提供します。
ここにある情報は UX Research を行う人の近道となることを意図していますが、GitLab のデータ活用能力の表面をなぞるにすぎません。より詳細な情報については、Data チームのハンドブックを参照してください。
プロダクト分析の全体像を理解する
リサーチに必要な利用データへ効率的にたどり着くには、GitLab のデータと分析に関わるさまざまなツールとチームを理解することが重要です。
ツール
UX Researcher にとっての関連性が高い順:
- Tableau - Snowflake と Service Ping のデータを分析・可視化するための「フロントエンド」として使用するビジネスインテリジェンス分析ツール。
- Snowflake - 主に構造化データを保存・分析するために使用するクラウドベースのデータウェアハウスプラットフォーム(つまり、イベントデータを保存するもの)。
- Service Ping - GitLab が自己管理インスタンスでイベントトラッキングを行うために構築したイベントトラッキングツール(つまり、GitLab Self-Managed でイベントを追跡するもの)。
- Snowplow - さまざまなソースからイベントレベルのデータを収集、処理、拡充するために使用するオープンソースのイベントトラッキングプラットフォーム(つまり、GitLab.com のイベントを追跡するもの)。
便利なリンク
- Tableau ワークブック(UX Researcher が有用だと考えたワークブックの一覧)
- Tableau ハンドブックページ(Tableau に関する GitLab ハンドブックページ)
- 各プロダクトステージに関連する分析(プロダクトステージのリソースに関する GitLab ハンドブックページ)
- GitLab Metrics Dictionary(Service Ping と Snowplow から収集するすべてのメトリクスを一覧にした Web サイト)
- Data Catalog(よく使用されるデータモデルの例を含む内部ハンドブックページ)
- DBT(すべての GitLab データセットの基礎となるコードと列定義を説明)
上の図は、このドキュメント。に基づく、GitLab の利用データスタックを簡略化したものです。
アクセスを取得する
Tableau を使用するためのアクセスリクエストを完了してください。一部の UX Researcher には Explorer ロールが、一部には Viewer ロールが付与されています。2 つのロールの機能差を確認するには、このハンドブックページを確認してください。
一部のダッシュボードとデータを閲覧するには SAFE アクセスが必要ですが、必要ないものもあります。必要な情報にアクセスできない場合は、Tableau のために SAFE 関連のアクセスリクエストを完了してください。
注:ユーザーデータへの SAFE アクセスを取得すると、指定インサイダーリストに追加されます。そのため、保有する GitLab 株式を売却するには事前承認を得る必要があり、売却できる取引期間も制限されます。
連携するチーム
GitLab でデータを担うさまざまなグループについては、より完全な説明があります。ここでは、UX Research を実施する場合に知っておくべき 2 つのチームを紹介します。
Product Data Insights (PDI) – 名前が示すとおり、このチームは Product のメンバーがデータからインサイトを得ることを支援します。通常、プロダクトの担当領域にはチームメンバーが割り当てられます(Product Data Insights チームのパートナーはこちらで確認できます)。 Product Data Insights チームは、特定の種類の分析に関するリクエストを(Issueを通じて)受け付け、探しているデータを見つける支援をします。また、Office Hoursや Slackで質問する際にも優れたリソースです。Tableau に精通しています。
Analytics Instrumentation - このグループは、プロダクト全体でのインストルメンテーションのカバレッジ拡大や、より多くのユースケースを扱えるようインストルメンテーションシステムを拡張することを含め、GitLab とそのチームメンバーのインストルメンテーション能力を構築することに注力しています。現在利用できないことをしたい場合(または不明で、Product Data Insights チームにも分からない場合)に連絡するグループです。
Analytics Instrumentation チームのメンバーは、GitLab.com と Self-Managed の両方におけるデータ収集の DRI です。Service Ping と Snowplow を所有しています。次のような質問はこのチームに尋ねてください。
- 自己管理向けに新しい統計情報をインストルメントするにはどうすればよいですか?
- Service Ping に追加する際のベストプラクティスは何ですか?
- GitLab.com でフロントエンドの操作を追跡するために Snowplow を使用するにはどうすればよいですか?
- サーバー側のイベントを追跡するために Snowplow を利用できますか?
利用可能な情報の状況
GitLab はテレメトリーにサードパーティーソフトウェアを使用しないと約束しています。そのため、独自の Service Ping を構築しました。このこととプロダクトの急速な成長により、現在、利用分析とテレメトリーのためにインストルメントされているプロダクトの範囲には不足があります。
前述のとおり、Analytics Instrumentation チームは、より多くをカバーし、新機能がリリース前にインストルメントされるようにし、インストルメントされていない機能のバックログに取り組んでいます。
GitLab.com データのユーザーレベルの行動を Snowplow イベントに関連付けることはできますか(つまり、1 人のユーザーの行動を追跡できますか)?(出典)
できません。Snowplow のユーザー識別子は匿名化されていますが、GitLab.com のユーザー識別子は匿名化されていません。ただし、Snowplow と GitLab.com のデータはネームスペース(グループ/プロジェクト)レベルで結合できます(つまり、より広い単位で追跡できます)。
GitLab が追跡する一般的なメトリクスとセグメント
- 月間アクティブユーザー(MAU)
- 例:ステージ別、グループ別、セクション別の MAU
- パフォーマンス指標(PI)
- 例:MAU、コンバージョン率
- ユーザーセグメント
- 例:地域、シート数、業界区分
- プロダクトティア
- 例:Free、Premium、Ultimate
- プロダクトセクション:
- 例:Analytics、CD、CI、Dev、Sec
- デリバリー
- 例:SaaS、Paid SaaS、Self-Managed
Product Data Insights チームとの連携
PDI の連携方法は、プロダクトデータインサイトのリクエストを出す方法を知るための優れたリソースです。
次へのアクセスを取得します:
- 適切なツール(通常は Tableau Online で十分です)
- データ(SAFE アクセスが必要ですか)
答えようとしている質問のセットを、次を含めて決めます:
- どのユーザー条件/セグメントですか?
- どのメトリクスですか?
- どのコンポーネントまたは機能ですか(該当する場合)?
PM(および/または PDI の担当者)に確認し、次を判断します:
- 現在、これは追跡されていますか?
- これは判断が難しい場合があります。#data で質問するか、PM と PDI の担当者と協力してください。
- 追跡されていない場合は、Analytics Instrumentation チームに連絡するか、#data で質問することを検討してください。
- 既存のダッシュボードまたは分析がありますか、それとも新しいグラフやダッシュボードが必要ですか?
- リクエストを出す前に、分析が既に存在するかを簡単に検索してください。判断が難しい場合は、#data で質問できます。
- 新しい分析が必要な場合は、PDI リクエストを出してください。独自のグラフやダッシュボードを作成することもできますが、これまでの UXR の経験では、PDI と連携することは Tableau とプロダクト利用データにより慣れる優れた方法です。
- 現在、これは追跡されていますか?
どのように支援を受けられますか?
- 行き詰まったり質問があったりした場合は、#data Slack チャンネルで支援を求めてください。
- Product Data Insights チームの Office Hoursに参加してください。
- Tableau トレーニング動画
UXR-PDI ユースケースの例
- 定性的リサーチの発見を三角測量するための定量データを見つける(例:活発に、一般的に使われるフローを優先し、利用の規模と範囲を理解する)。
- ユーザー(またはその割合)のうち、X のアクションを行った人数はどれくらいですか(月間アクティブユーザー、MAU)?
- ユーザー(またはその割合)のうち、ポイント A からポイント B へ移行した人数はどれくらいですか(つまり、ファネル分析)?
- X のアクションの利用は時間とともにどのように変化しましたか?(例:機能の採用、変更導入後)
簡易メトリクス用語集
プロダクト分析ダッシュボードで使用される用語:
- AMAU - アクション月間アクティブユーザー(特定の機能を利用したユニーク MAU)
- CMAU - 推定合計月間アクティブユーザー(すべてのステージの SMAU の合計)
- GMAU - グループ月間アクティブユーザー(特定のグループ内の機能を使用するユニーク MAU)
- SMAU - ステージ月間アクティブユーザー(特定のステージ内の機能を使用したユニーク MAU)
- Section MAU - セクション月間アクティブユーザー
- UMAU - ユニーク月間アクティブユーザー
- DAU/WAU - 日次/週次アクティブユーザー
- PI - パフォーマンス指標
- PPI - 主要パフォーマンス指標(一部のステージ/グループは MAU とは異なるメトリクスを優先する場合があります)
- SpU - ユーザーあたりのステージ数
- SpO - 組織あたりのステージ数
詳細情報(または上記にないもの)については:
便利な Tableau ワークブック
Tableau では、検索すると多くのダッシュボードを利用できます。以下は UX チームメンバーが作成または見つけたものの一部です:
- Product Data Insights チームが作成したすべてのダッシュボードの一覧
- PDI Dashboards、Analysis、& Insights ハンドブックページ
- Firmographic Product Metric Usage Dashboard
- Centralized Product Usage Metrics Dashboard
- Customer Request Dashboard
- Subscription Feature Usage Trends
- UX KPI
- 直近 30 日間の Snowplow イベント探索
- Service Ping メトリクス探索ダッシュボード
- GitLab.com プログラミング言語
c955a93f)