CI データパーティショニング - 週次プロジェクト計画

CI データパーティショニング - 週次プロジェクト計画

マイルストーン目標

• 16.6: ci_builds および ci_builds_metadata テーブルのパーティション化完了
• 16.7: ci_builds および ci_builds_metadata の 2 つ目のパーティションが使用中
• 16.9: ci_pipeline_variables テーブルのパーティション化完了
• 17.0: ci_job_artifacts、ci_stages テーブルのパーティション化完了
• 17.2: ci_pipelines テーブルのパーティション化完了
• 17.3: ci_pipelines、ci_job_artifacts、ci_stages、ci_pipeline_variables の 2 つ目のパーティションが使用中
• 17.6:（大まかな見積もり）パーティション化されたテーブルのリバランシング開始
• 17.9:（大まかな見積もり）パーティション化されたテーブルのリバランシング完了

関連 Epic

マイルストーン 16.7（2023年11月13日 - 2023年12月15日）

チーム容量

• BE 4名

目標

このマイルストーンでは、クエリの更新を完了し、ci_builds と ci_builds_metadata の 2 番目のパーティションへの書き込みを開始します。チームが拡大したため、ci_job_artifacts、ci_stages、ci_pipeline_variables のパーティション化作業も開始します。ci_builds と ci_builds_metadata の 2 番目のパーティションへの書き込みを開始します。セルフマネージド向けに ci_builds と ci_builds_metadata のパーティション間での ID の一意性を確保するためのマイグレーションを再導入します。

アップデート

ci_builds と ci_builds_metadata の 2 番目のパーティションへの書き込みを開始するために必要な重要なクエリ更新を完了しました。実際に ci_builds と ci_builds_metadata の 2 番目のパーティションへの書き込みを開始しました！ci_pipeline_variables のパーティション化でも大きな進捗がありました。ci_job_artifacts と ci_stages の作業も開始しました。

マイルストーン 16.8（2023年12月18日 - 2024年1月12日）

チーム容量

• BE 4.5名

目標

ci_pipeline_variables、ci_job_artifacts、ci_stages の 3 テーブルすべてのパーティション化に向けて段階的な進捗を続ける予定です。年末の PTO のため、このマイルストーンは軽めです。

2023年12月18日の週

チーム容量

• BE 4名

アップデート

このマイルストーン中に ci_pipelines の作業を開始できるかもしれません。パーティション化の取り組みを開始する前に、テーブルの主キーを交換する必要があります。元々は ci_builds の外部キーのバックフィルが完了するまで PK の交換を待つ予定でした。データベースチームに相談した後、完了前に交換を進める計画です。

2023年12月25日の週

チーム容量

• BE 0名

目標

休暇 - チームメンバーは十分に休んでください。

2024年1月1日の週

チーム容量

• BE 0名

目標

休暇 - チームメンバーは十分に休んでください。

2024年1月8日の週

チーム容量

• BE 4名

アップデート

バックフィルが完了に近かったため、完了を待ってから先に進むことにしました。

マイルストーン 16.9（2024年1月15日 - 2024年2月9日）

チーム容量

• BE 5名

目標

このマイルストーンでは ci_pipeline_variables のパーティション化を完了します。ci_pipelines のパーティション化を開始します。ci_job_artifacts と ci_stages テーブルのパーティション化の段階的な作業を続けます。partition_id を含める必要がある SQL クエリの特定と更新を続けます。タイムデケイメカニズムとパーティションマネージャーがパーティションを動的に作成するために必要な作業を明確にします。

2024年1月15日の週

チーム容量

• BE 4名

アップデート

ci_pipelines の主キーを交換する前に再構築が必要なインデックスがさらにあることがわかりました。その結果、現在計画されている以上に ci_pipelines パーティション化のタイムラインを前倒しできないと考えています。また、既存の大きなパーティションをより小さなものに再分配するための潜在的な障害も見つかりました。PG15 アップグレードが完了するまで待つ必要があるかもしれません。その他の計画された作業は継続中です。一部のチーム容量はこのマイルストーンで通常の Pipeline Execution タスクを手伝っています。

2024年1月22日の週

チーム容量

• BE 4名

アップデート

2024年1月29日の週

チーム容量

• BE 5名

アップデート

タスクリスト

2024年2月5日の週

チーム容量

• BE 5名

アップデート

マイルストーン 16.10（2024年2月12日 - 2024年3月8日）

チーム容量

• BE 6名

目標

このマイルストーンでは、タイムデケイメカニズムとパーティションマネージャーの作業を開始します。ci_job_artifacts、ci_stages、ci_pipelines のパーティション化に向けた段階的な作業を続けます。partition_id を含める必要がある SQL クエリの特定と更新を続けます。

マイルストーン 16.11（2024年3月11日 - 2024年4月12日）

チーム容量

• BE 6名

目標

ci_job_artifacts、ci_stages、ci_pipelines のパーティション化に向けた段階的な作業を続けます。タイムデケイメカニズムとパーティションマネージャーの作業を続けます。partition_id を含める必要がある SQL クエリの特定と更新を続けます。

マイルストーン 17.0（2024年4月15日 - 2024年5月10日）

チーム容量

• BE 6名

目標

このマイルストーンでは、ci_job_artifacts と ci_stages のパーティション化を完了します。partition_id を含める必要がある SQL クエリの特定と更新を続けます。

マイルストーン 17.1（2024年5月13日 - 2024年6月14日）

チーム容量

• BE 6名

目標

ci_pipelines のパーティション化に向けた段階的な作業を続けます。作成してきた残りの技術的負債のクリーンアップに取り組みます（進捗を追跡しています）。

マイルストーン 17.2（2024年6月17日 - 2024年7月12日）

チーム容量

• BE 3名

目標

このマイルストーンでは、ci_pipelines のパーティション化を完了します。partition_id を含める必要がある SQL クエリの特定と更新を続けます。作成してきた残りの技術的負債のクリーンアップに取り組みます（進捗を追跡しています）。

マイルストーン 17.3（2024年7月15日 - 2024年8月9日）

チーム容量

• BE 3名

目標

ci_pipelines、ci_pipeline_variables、ci_job_artifacts、ci_stages の 2 番目のパーティションを使用開始します。6 つのターゲットテーブルがパーティション化されたため、既存のパーティションのリバランシングを開始します。リバランシングにどれくらいかかるかはまだ不明ですが、近づくにつれて計画を詳細な情報で更新します。作成してきた残りの技術的負債のクリーンアップに取り組みます（進捗を追跡しています）。

マイルストーン 17.4（2024年8月12日 - 2024年9月13日）

チーム容量

• BE 1名

目標

マイルストーン 17.5（2024年9月16日 - 2024年10月11日）

チーム容量

• BE 1名

目標

マイルストーン 17.6（2024年10月14日 - 2024年11月15日）

チーム容量

• BE 1名

目標

マイルストーン 17.6（2024年11月18日 - 2024年12月13日）

チーム容量

• BE 1名

目標

PG15 の機能を使用して古いパーティションのリバランシングを開始できます - Issue。GitLab Postgres アップグレードケイデンス

ページのソースコードを見る - ページの編集 - please contribute.