Snowflake ガイド

概要と目的

Snowflake は私たちの Enterprise Data Warehouse（EDW）であり、Enterprise Data Platformのコアテクノロジーです。

Snowflake には何が含まれますか？

Snowflake には私たちのすべての分析データが含まれており、Data Sources が利用可能なオリジナル／raw data のセットを定義します。

関連コンテンツ

• Access
• Support Portal Access
• Compute Resources
• Data Masking
• Backups
• AI Function Guide

現在のアクセスモデル

Snowflake アクセスは、アカウント履歴と必要なアクセスレベルに応じたハイブリッドモデルで運用されています。

現在のアクセスアーキテクチャ

GitLab における Snowflake アクセスは、複数のシステムが連携して機能する形で分割されています。

• Lumos は Snowflake アクセスのリクエストと承認のソリューションとして機能します。
• Okta SCIM は Lumos リクエストが承認されたときに Snowflake ユーザーを作成または更新し、（wrapper）ロールを割り当てます。
  • SNOWFLAKE_ANALYST_OKTA（基盤となる SNOWFLAKE_ANALYST ロールを継承）
  • SNOWFLAKE_ANALYST_SAFE_OKTA（基盤となる SNOWFLAKE_ANALYST_SAFE ロールを継承）
• Permifrost は、ベースラインの analyst ロールを超えるすべてのカスタム、チーム固有、および拡張 Snowflake 認可に関する信頼できる唯一の情報源であり続けます。これには functional roles（例: analyst_marketing）と dev database access が含まれます。これは Lumos（Customer User）経由、または Access Request 経由でリクエストできます。
• Snowflake SSO: ログインタイルと SSO アクセスを提供します。

Okta SCIM パスは、Analyst と Analyst SAFE という2 つのアクセスレベルのみを対象としています。この 2 つのロールを超えるものはすべて、Permifrost プロセスで管理されます。

Okta SCIM が対象外とする範囲

Okta SCIM プロビジョニングパスは、Analyst と Analyst SAFE という 2 つのベースラインアクセスレベルのみを対象に設計されています。

1. Pre-SCIM users: Okta SCIM の実装前から Snowflake アカウントが存在していた場合、Okta SCIM はそのアカウントをプロビジョニングしません。
2. Custom or extended roles: チーム固有のロール（例: analyst_marketing）、functional roles（例: analyst_core）、または dev database access が必要な場合、それらは Permifrost プロセスを通じて別途管理されます。
3. Mixed-role users: Lumos 管理のベースラインロールと Permifrost 管理のカスタムロールの両方を持つユーザーは、両方のシステムに存在します。Lumos と Permifrost は別々のレイヤーであり、相互に自動でミラーリングされることはありません。

ログイン

Okta から Snowflake にログインします。

UI のナビゲーション

Snowflake Quick Tour of the Web Interface には、UI に関する包括的なドキュメントがあります。

Snowflake アカウント設定

ABORT_DETACHED_QUERY

ABORT_DETACHED_QUERY パラメーターは account level で True に設定されています。

接続が失われたにもかかわらず、クエリが実行を試み続け、完了しないケースがよくあります。このような場合にクエリを実行し続けることには意味がなく、価値もありません。5 分間の猶予期間があります。5 分以内に接続が修復されない場合、warehouse が不要に実行され続けないよう、実行を停止します。

データ鮮度

データの鮮度を監視するため、MonteCarlo の自動 monitors を活用しています。

Snowflake Warehouse サイジングガイド

主要原則

1. すべての開発作業ではデフォルトで XS から始めます。これはすべての環境（Snowsight、Tableau、ローカル dbt 開発など）に適用されます。特定のクエリやワークフローで必要になった場合にのみサイズアップし、その後はサイズダウンします。

2. 過剰プロビジョニングの重要なシグナル: XS より大きい warehouse でクエリを実行しているにもかかわらず 30 秒未満で完了する場合、credits を無駄にしている可能性があります。

Warehouse サイジング早見表

注:

• 行数の範囲は、warehouse サイズを過大評価しがちな非常に大まかな目安です。3B 行のテーブルでも 1 週間にフィルターすれば、M ではなく XS で十分な場合があります。これらは手早い出発点としてのみ提供しています。
• より正確なサイジングには、Snowflake Solutions Architects が提供する範囲に基づく partitions_scanned を使用してください。これは explain command で確認できます。つまり explain select * from my_table where my_filter; です。

判断フレームワーク: サイズアップするタイミング

より正確な warehouse 選択のために、次の 3 つの変数を検討してください。

1. テーブルサイズ（出発点）

SELECT COUNT(*) FROM your_table;

2. フィルター選択性（より小さいままでいられるか？）

3. クエリ複雑性（より多くのパワーが必要か？）

実例: mart_behavior_structured_event

これらの例は、私たちの最大級のテーブルの 1 つであっても、XS で十分な場合があることを示しています。

-- 51 seconds on DEV_XS
-- No LIMIT, but highly filtered time range (3 days)
SELECT *
FROM PROD.COMMON_MART.MART_BEHAVIOR_STRUCTURED_EVENT
WHERE BEHAVIOR_AT BETWEEN '2025-01-01' AND '2025-01-03'
  AND event_action = 'check_policy_scope_for_security_policy'
  AND app_id = 'gitlab';

-- 49 seconds on DEV_XS
-- Aggregation with moderate time range
SELECT
    event_action,
    COUNT(*) AS ct
FROM PROD.COMMON_MART.MART_BEHAVIOR_STRUCTURED_EVENT
WHERE BEHAVIOR_AT BETWEEN '2025-02-01' AND '2025-02-15'
GROUP BY ALL
HAVING ct > 50
ORDER BY ct DESC;

-- 71 seconds on DEV_M
-- Joins 2TB fact table (filtered) with 260GB dimension (unfiltered)
SELECT *
FROM prod.common.fct_behavior_website_page_view fct
JOIN prod.common.dim_behavior_website_page dim
  ON fct.dim_behavior_website_page_sk = dim.dim_behavior_website_page_sk
WHERE behavior_at >= CURRENT_DATE - 7
  AND dim.app_id = 'docs'
LIMIT 10000;

VS Code Snowflake extension

VS Code から Snowflake を使用するには、Extensions pane から Snowflake Extension for Visual Studio Code をインストールします。

セットアップ:

1. まず、ブラウザーで Okta 経由で Snowflake UI にログインできることを確認します。
2. VS Code 左サイドバーの Snowflake アイコンをクリックし、次の内容でサインインします。
   • Account Identifier: gitlab
   • Auth Method: Single sign-on
   • Username: GitLab の完全なメールアドレス
3. Sign in をクリックします。Okta ウィンドウが開きます。SSO を完了し、VS Code に戻ります。

接続したら、Snowflake パネルの dropdowns を使用して role と warehouse を設定します。

そこから、VS Code で任意の .sql ファイルを開き、web UI に触れずに直接クエリを実行できます。

ページのソースコードを見る - ページの編集 - please contribute.