データ品質

新しいデータ品質 Issue ランブック

1. 検出されたすべてのデータ品質 Issue は データ品質プロジェクトで開かれ、トリアージされる必要があります。データチームプロジェクトで開かれたスコープ内の Issue はデータ品質プロジェクトに移動できます。

2. トリアージ担当者は次のステップを決定するために以下のラベルを Issue に適用する必要があります:

   1. DQ: ウェイポイント: データ品質問題の根本原因を調査および/または解決する必要があるウェイポイントを選択します。選択肢は、ソースシステムオーナー・データプラットフォームチーム・アナリティクスエンジニアリング・またはデータコンシューマーです。

3. トリアージ担当者はデータ品質エピックを検索し、新しい Issue が既存のエピックに関連しているかどうかを確認する必要があります。Issue で特定された問題の根本原因に対処する既存のエピックがある場合、Issue はそのエピックにリンクされ、新しい Issue がリンクされたことを Issue の作成者と既存エピックの DRI にコメントで送信する必要があります。

4. エピックの DRI は新しくリンクされた Issue が関連していることを検証できます。

5. 問題に対処するエピックが開かれていない場合、Issue はガバナンス計画が必要かどうかを判断するためにさらなる検証が必要です。Issue が [データ品質スコアカード検出フレームワーク（将来導入予定）の検出ルール] の 1 つに関連している場合、トリアージ担当者は次のステップについて R&D データフュージョンチームマネージャーに Issue を参照できます。Issue が検出ルールの 1 つに関連していない場合、トリアージ担当者は通常のトリアージプロセスに従う必要があります。

ガバナンス計画ランブック

ガバナンス計画ランブックは、ガバナンス計画の実装と採用を促進することを目的としています。データ管理を容易にし、柔軟性と継続的な改善を提供するためのものです。計画を実装する際は、以下のステップを考慮してください:

1. ステップ #1 で問題文を記述し、データ品質プロジェクトでエピックを開き、残りのデータガバナンス計画のステップを通じてクロスファンクショナルチームをガイドする DRI を決定します。

2. このハンドブックページにデータ品質 Issue の新しいセクションを作成し、ガバナンス計画を提供します。データ品質プロジェクトのエピックへのリンクを提供します。

3. DRI はデータ品質ガバナンス計画の完了を促進する必要があります。これはビジネス・ファンクショナルアナリティクス・中央データチーム間の協力的な取り組みである必要があります。

データ品質プロジェクト。こちらから Issue を開いて、データ品質問題 Issue テンプレートを使用してください。

データ品質マネージャーがいないため、チームをガバナンス計画とプロセスを通じてガイドするために、計画ごとに DRI を割り当てる必要があります。

問題文はデータ品質問題が何であるか、そしてビジネス成果にどのような影響を与えるかを定義する必要があります。問題文はデータ品質エピックテンプレートを使用してデータ品質プロジェクトのエピックに追加する必要があります。

問題文で識別されたデータ品質 Issue の根本原因を特定する必要があります。これらの根本原因はビジネスプロセスに関連している場合もあれば、ソースシステムアプリケーションの技術的な設定に関連している場合もあります。同じ問題文と根本原因に関連するすべての Issue はデータ品質プロジェクトで開かれ、関連するエピックにリンクされる必要があります。多くの場合、同じ問題文に対して多くのデータ品質 Issue が開かれます。問題文を持つ高レベルのエピックを持ち、関連する Issue をリンクするこのアプローチは、データ品質問題を適切な根本原因エピックと相関付けるのに役立ちます。

問題文で識別された根本原因に従って、ソースシステム・ソースシステムデータベーステーブル・ソースシステムフィールド・ソースシステムフィールド定義を識別します。このステップは、データがデータパイプラインで発行される前のデータ生成時点でのソースシステムのエンティティと定義を文書化することを目的としています。

データ品質問題を解決するには、クロスファンクショナルチームが協力して問題を解決する必要があります。チームメンバーがデータパイプラインの特定の分野に詳しくない場合、さまざまなシステム・アプリケーション・データを整合させることが難しい場合があります。したがって、すべてのステークホルダーが理解しやすく、システム・アプリケーション・データの概要を提供するシンプルなデータフロー図を提供する必要があります。

問題文で定義された Issue に関連する品質標準を識別する必要があります。例えば、SaaS ネームスペースをサブスクリプションにマッピングする場合、品質標準は 95% または 100% のカバレッジにすべきか、あるいはその中間にすべきか？品質標準を監視するためのデータ検出ルール結果を提供する Tableau チャートを開発する必要があります。また、品質標準を満たさないことのビジネスへの影響を示すビジネス影響検出チャートも提供する必要があります。

すべての該当するデータテーブルとフィールドをリスト化する必要があります。集中すべき4つの主なテーブルは以下のとおりです:

1. ソースシステムテーブル
2. データソースのための Snowflake の RAW または PREP データベースのソーステーブル（重複排除またはクリーンアップが行われるかどうかによって異なります）
3. データが COMMON に最初にランドされる場所に応じた Snowflake の common_prep または common エンタープライズ次元モデルテーブル
4. Snowflake のマートまたはレポートテーブル

チームメンバーは、それぞれのテーブルとフィールドのデータ品質の DRI として各テーブルとカラムに割り当てられる必要があります。一般的に、バックエンドエンジニアおよび/またはプロダクトマネージャーはソースシステムテーブルの DRI であるべきで、データプラットフォームエンジニアは Snowflake のソーステーブルの DRI であるべきで、アナリティクスエンジニアは common_prep または common テーブルの DRI であるべきで、ファンクショナルアナリストはマートまたはレポートテーブルの DRI であるべきです。

ガバナンス計画で識別された根本原因の解決策はこのステップで文書化する必要があります。これらの解決策は一時的な回避策と永続的な解決策で構成できます。利用可能な場合は、解決策の推定リリース日を提供できます。

@jdbeaumont

CS Ops チームには、製品使用データが表示されない、または製品使用データが非常に古い顧客ネームスペースに関連する多くの Issue が提起されています。その結果、これらの問題を抱えている顧客のためにヘルス・採用・成熟スコアを生成できません。

データ品質プロジェクトのエピック

SaaS サブスクリプションがいくつかの潜在的な理由で Zuora のネームスペース/グループに割り当てられていない（頻度の降順）:

1. マルチイヤーのランプサブスクリプション（旧）: 各ランプセグメントが Zuora で別々のサブスクリプションとして作成されます。以前のランプサブスクリプションセグメントが期限切れになると、顧客がアクセスを失う可能性があります。
2. US 以外のエンティティを持つサブスクリプション: これは、サブスクリプションが別の Zuora アカウントで更新として作成され、以前のデータが移行されていないことを意味する可能性があります。顧客はアクセスできない可能性があります。
3. Zuora で人間によって作成されたサブスクリプション: ネームスペースの割り当ては新しいサブスクリプションに自動的に移行されません。これは #2 のサブセットである可能性があります。
4. CustomersDot の注文に NamespaceId が割り当てられているが、関連する Zuora サブスクリプションには割り当てられていない: この場合、顧客はアクセスできます。Issue。
5. リセラーを通じて購入されたサブスクリプション: 顧客は CDot にアクセスしてネームスペースの割り当てを行えないため、サポートがネームスペースの割り当てを支援する必要があります。顧客はアクセスできない可能性があります。
6. エラー修正のために de-book / rebook されたサブスクリプション: 見積もりは SFDC からプッシュされますが、顧客への通知を避けるために Zuora 通知プロファイルがサイレントになります。de-book されたサブスクリプションデータ（ネームスペースなど）は移行されません。^*これをさらに理解する必要があります。

品質標準

サブスクリプションのないインスタンスのデータ品質ダッシュボードの SaaS セクションは、以下のメトリクスを提供する必要があります:

1. ネームスペース ID が欠落している有料 SaaS サブスクリプションの割合
2. ネームスペース ID が欠落している有料 SaaS サブスクリプションの数
3. ネームスペース ID が欠落している SaaS ARR の割合
4. ネームスペース ID が欠落している SaaS ARR の合計
5. 製品ティア別のネームスペース ID が欠落している SaaS ARR の合計と有料 SaaS サブスクリプションの数

ドラフト: 上記のメトリクスの品質標準を検討・設定する必要があります。

ソースシステムテーブル

Snowflake ソーステーブル

Snowflake Common_Prep または Common テーブル

Snowflake マートまたはレポートテーブル

一時的な回避策

近日公開...

永続的な解決策

近日公開...