デモシステムインフラ — Kubernetes

Kubernetes クラスター設計

私たちは GKE のデフォルトクラスター設定を、さまざまなユースケースに適したサイズに縮小しました。

スモールクラスター（予約/ユーザーサンドボックス）

スモールクラスターを /23 CIDR 範囲に収めることを前提とします。経験上、/24 以下の範囲を使用するとポッド IP がすぐに枯渇します。

ノードあたりのポッド数を 16 に削減します。これによりノードごとのポッドに /27 CIDR 範囲が使用されます。経験上、新規の Kubernetes クラスターは Kubernetes 管理関連のコンテナに約 15 ポッドを使用するため、新規クラスターがノード 1 つだけを使用するよう設計しています。

ドキュメントの目的上、IP アドレスと CIDR 範囲の第 2 オクテットを x（未知の変数）、r（クラスターに割り当てられた /23 の範囲）に置き換えます。/23 は 2 つの /24 範囲（偶数と奇数）を消費するため、r の値は常に偶数（0・2・4・6、252 まで）になります。

この設計により、/16 CIDR 範囲ごとに 127 クラスターを収容できます。

詳細は Terraform 設定モジュールをご参照ください。

ミディアムクラスター（特定サービス向け）

特定サービス用の各 Kubernetes クラスターを /20 CIDR 範囲に収めることを前提とします。

ノードあたりのポッド数を 55 に削減します。目安として、1 vCPU または 1GB メモリ（いずれか小さい方）あたり最大 4 つとします。これは選択した gcp_machine_type に応じて調整が必要です。ミディアムクラスターの /20 CIDR 範囲では、ポッドに /21（1,022 アドレス）が利用可能です。このクラスターの最大 30 ノードで、適切なマシンタイプを使用した場合、ノードあたり最大 34 ポッドが利用できます。8 vCPU・7.2GB メモリの n1-highcpu-8 では、32 を推奨します。

この設計により、/16 CIDR 範囲ごとに 16 クラスターを収容できます。

ドキュメントの目的上、第 3 オクテットの 16 通りの値を表すために、/20 CIDR 範囲に応じて変動する文字として a から p を使用します。

詳細は Terraform 設定モジュールをご参照ください。

ラージクラスター（マルチテナント/本番）

各マルチテナント Kubernetes クラスターを /16 CIDR 範囲に収めることを前提とします。

ノードあたりのポッド数を 55 に削減します。目安として、1 vCPU または 1GB メモリ（いずれか小さい方）あたり最大 4 つとします。これは選択した gcp_machine_type に応じて調整が必要です。ラージクラスターの /16 CIDR 範囲では、ポッドに /17（14,080 アドレス）が利用可能です。このクラスターの最大 255 ノードで、適切なマシンタイプを使用した場合、ノードあたり最大 55 ポッドが利用できます。16 vCPU・14.4GB メモリの n1-highcpu-16 では、55（57.6 を切り捨て）を推奨します。

ドキュメントの目的上、/16 クラスターを表すために IP アドレスと CIDR 範囲の第 2 オクテットを c に置き換えます。

詳細は Terraform 設定モジュールをご参照ください。

Kubernetes スケーラビリティの考慮事項

Google Kubernetes Engine の IP 割り当て

以下は Google Kubernetes Engine ドキュメントからの抜粋です。

• 各ノードにはクラスターの Virtual Private Cloud（VPC）ネットワークから IP アドレスが割り当てられます。このノード IP は、kube-proxy や kubelet などのコントロールコンポーネントから Kubernetes API サーバーへの接続を提供します。この IP がノードとクラスターの他の部分との接続点となります。
• 各 Service にはクラスターの VPC ネットワークから ClusterIP と呼ばれる IP アドレスが割り当てられます。クラスター作成時に VPC ネットワークをオプションでカスタマイズできます。
• 各ノードには GKE がそのノード上で動作するポッドに割り当てる IP アドレスのプールがあります（デフォルトでは /24 CIDR ブロック）。クラスター作成時にオプションで IP の範囲を指定できます。Flexible Pod CIDR 範囲機能により、指定したノードプール内のノードのポッド IP 範囲のサイズを縮小できます。
• /24 範囲のノードで実行できるポッドは最大 110 で、256 ではありません。これにより、ノードのポッド IP 範囲の一時的な IP 不足によってポッドがスケジュール不能にならないようにバッファが設けられています。/24 より小さい範囲では、範囲内の IP アドレス数のほぼ半分のポッドしかスケジュールできません。各ポッドにはそのノードのポッド CIDR 範囲から単一の IP アドレスが割り当てられます。この IP アドレスはポッド内で動作するすべてのコンテナで共有され、クラスター内の他のポッドとの接続に使用されます。

:::tip GitLab の教訓 最大の IP 割り当ての課題は、大量の IP アドレスブロックを消費する Kubernetes クラスターとノードに関連しています。数十人から数百人のユーザーが Kubernetes を使用する場合、必要な IP アドレスブロックだけを割り当てるように注意が必要な設計上の考慮事項がいくつかあります（例：デフォルトのノードサブネットは /20 で、ノードは /24 サブネットを消費します）。

各ユーザーが 3 ノードのプールを持つ独自のクラスターを持つと、大規模では IP がすぐに枯渇します。これは私たちが苦労して学んだ教訓です。 :::

Kubernetes と GKE の制限事項

単一 Kubernetes クラスターには私たちのニーズを超えているように見える既知の制限がありますが、適切な設計と将来の成長のために考慮が必要です。

Kubernetes の制限の詳細はこちら

GKE 設計制限の詳細はこちら

Kubernetes の制限

ポッド CIDR 範囲

ノード CIDR 範囲

Service CIDR 範囲

Kubernetes リソースの多次元制限

IP 割り当て最適化のための Google ベストプラクティス

Flexible Pod CIDR の詳細はこちら

デフォルトでは、GKE はノードで最大 110 ポッドを実行するよう設定します。Kubernetes は各ノードに IP アドレスの範囲（CIDR ブロック）を割り当て、各ポッドが一意の IP アドレスを持てるようにします。CIDR ブロックのサイズはノードあたりの最大ポッド数に対応します。

デフォルトの最大 110 ポッド/ノードでは、Kubernetes は各ノードに /24 CIDR ブロック（256 アドレス）を割り当てます。ノードで作成できるポッド数の約 2 倍の利用可能な IP アドレスを確保することで、Kubernetes はノードのポッドの追加・削除時の IP アドレスの再利用を緩和します。

ノードあたり 110 ポッドがハードリミットですが、ノードあたりのポッド数を減らすことができます。デフォルト値から減らすと、Kubernetes はそれに応じて小さな CIDR ブロックをノードに割り当てます。このブロックには常に、ノードあたりの最大ポッド数の少なくとも 2 倍のアドレスが含まれます。以下の表は、Google Kubernetes Engine がノードあたりの最大ポッド数に基づいて各ノードに割り当てる CIDR ブロックのサイズを示しています。

ノードあたりの最大ポッド数を設定する際、間接的に各クラスターノードが必要とする IP アドレス空間を設定しています。例えば、ノードあたりの最大ポッド数を 30 に設定すると、上記の表に従って /26 CIDR 範囲が使用され、各ノードには 64 IP アドレスが割り当てられます。ノードあたりの最大ポッド数を設定しない場合、/24 CIDR 範囲が使用され、各ノードには 256 IP アドレスが割り当てられます。

ノードあたりの最大ポッド数を減らすことで、各ノードが必要とする IP アドレス空間が小さくなるため、クラスターのノード数を増やすことができます。また、クラスター作成時にポッド用の IP アドレス空間を小さく指定することで、同じノード数をサポートすることもできます。

ノードあたりの最大ポッド数を減らすと、より少ない IP アドレスで済む小規模なクラスターも作成できます。例えば、ノードあたり 8 ポッドの場合、各ノードには /28 CIDR が付与されます。これらのポッド IP アドレス範囲とユーザーが定義したサブネットおよびセカンダリ範囲により、クラスターを正常に作成するために必要な IP アドレス数が決まります。

ノードあたりの最大ポッド数は、クラスター作成時とノードプール作成時に設定できます。

ノードあたりの最大ポッド数は、クラスターまたはノードプールの作成時に設定できます。クラスターまたはノードプールの作成後にこの設定を変更することはできません。

ポッドアドレス範囲のサイズは、gcloud または Google Cloud Console でクラスターを作成する際に設定できます。

また、既存のクラスターにノードプールを作成する際に、ノードあたりの最大ポッド数を指定することもできます。新しいノードプールの作成により、クラスターレベルで default-max-pods-per-node が設定されていない既存のクラスターでも IP アドレス割り当てを最適化できます。

この値は、クラスターレベルで適用される default-max-pods-per-node オプションを上書きします。ノードプール作成時に max-pods-per-node オプションを省略した場合、クラスターレベルのデフォルト設定が使用されます。

ページのソースコードを見る - ページの編集 - please contribute.