ClickHouse ワーキンググループ

属性

背景

ClickHouse はオープンソースの列指向データベース管理システムです。大量の行に対するフィルタリング、集計、合計を効率的に処理できます。

FY23 に ClickHouse は、大規模データおよび挿入多発の要件を持つ機能（例：オブザーバビリティ、アナリティクスなど）に対する GitLab の標準データストアとして選定されました。ClickHouse は GitLab のスタックにおける Postgres や Redis を置き換えることを意図していません。

FY23 Q2 に Monitor:Observability チームがエラートラッキングおよびその他のオブザーバビリティ機能のデータを保存・クエリするための ClickHouse データプラットフォームを開発・提供しました。他のチームも現在または計画中のアーキテクチャに ClickHouse を組み込み始めています。

新機能開発時にチームが ClickHouse データプラットフォームを効率的に活用できるようにし、SaaS およびセルフマネージドのお客様に対してこの機能を効果的に維持・サポートできるようにすることが目標です。

WG の終了

2024年4月に ClickHouse ワーキンググループはクローズされました。このグループは GitLab のアナリティクスおよびモニタリング機能をサポートするために、ClickHouse を GitLab のアーキテクチャに導入するという大きな進歩を遂げました。

• 顧客の RED データの保存に関するセキュリティおよび法務の承認、本番準備レビューを含め、ClickHouse Cloud と GitLab の使用を可能にしました。
• 複数の ClickHouse ホスティング設定を ClickHouse Cloud に統合し、チームの運用負荷を削減し信頼性を向上させました。
• ClickHouse の機能なしには実現できなかった複数の機能をリリースしました。
• GitLab.com でパフォーマンスが低下していた Contributor Analytics などの機能を修正しました。
• GitLab の開発プロセスにおける ClickHouse 使用に関するドキュメントとツールを開発しました。

最近設立された Product Usage Data Architecture Working Group との重複から、ClickHouse グループを解散し、分析機能のアーキテクチャを定義するそのグループの作業に統合することが決定されました。

終了条件

このワーキンググループには以下の目標があります：

1. 現在の使用状況・機能と将来のユースケースを文書化・レビューする。
2. ClickHouse 使用に関するアーキテクチャ戦略を開発・普及させる。
   1. GitLab における ClickHouse 使用のアーキテクチャ設計書。
   2. GitLab における ClickHouse のスケーラブルなデータインジェストパイプラインのアーキテクチャ設計書。
   3. スケーリングおよびクエリ設計・デバッグ・ガードレールなどに関する期待値を設定するガイダンスを提供する。
   4. 適切でセキュアなデフォルト設定を定義する。セキュリティに関する推奨事項とガードレールを提供する。
3. ロールアウト戦略と計画を策定する（例：フィーチャーフラグ、顧客が無効化・削除を希望するケースがあるか、など）。
   1. 特定のユースケースに対する SaaS ロールアウト戦略。
   2. セルフマネージドサポートを通じて ClickHouse をリファレンスアーキテクチャに追加するための基盤を整える。
      • セルフマネージドインストール用の ClickHouse パッケージング。
      • ClickHouse インスタンス運用のコンポーネントコストとメンテナンス要件の調査・理解。
      • ClickHouse の追加が意味をなすスケールおよびデプロイ対象の決定。
      • ClickHouse とのインタラクションや代替手段に対する抽象化レイヤーの検討。
4. ワーキンググループの成果に関するコミュニケーション計画を策定・実施する。

終了条件の進捗

現在および計画中のユースケース

• ClickHouse と GitLab の実装の現状
• ClickHouse ユースケース

ロールと責任

ページのソースコードを見る - ページの編集 - please contribute.