GKE Standard ノードプールで GPU を実行する

gcloud

GPU を搭載したノードプールをクラスタ内に作成するには、次のコマンドを実行します。

gcloud container node-pools create POOL_NAME \
  --accelerator type=GPU_TYPE,count=AMOUNT,gpu-driver-version=DRIVER_VERSION \
  --machine-type MACHINE_TYPE \
  --region COMPUTE_REGION --cluster CLUSTER_NAME \
  --node-locations COMPUTE_ZONE1[,COMPUTE_ZONE2] \
  [--enable-autoscaling \
   --min-nodes MIN_NODES \
   --max-nodes MAX_NODES] \
  [--ephemeral-storage-local-ssd=count=SSD_COUNT] \
  [--scopes=SCOPES] \
  [--service-account=SERVICE_ACCOUNT]

以下を置き換えます。

• POOL_NAME: ノードプールに付ける名前。
• GPU_TYPE: 使用する GPU アクセラレータのタイプ。例: nvidia-tesla-t4。

• DRIVER_VERSION: インストールする NVIDIA ドライバのバージョン。次のいずれかになります。

  • default: ノードの GKE バージョンのデフォルト ドライバ バージョンをインストールします。GKE バージョン 1.30.1-gke.1156000 以降では、gpu-driver-version フラグを省略すると、これがデフォルトのオプションになります。以前のバージョンでは、このフラグを省略すると、GKE はドライバをインストールしません。
  • latest: お使いの GKE バージョン向けの最新のドライバ バージョンをインストールします。Container-Optimized OS を使用するノードでのみ使用できます。
  • disabled: ドライバの自動インストールをスキップします。ノードプールを作成した後に、手動でドライバをインストールする必要があります。1.30.1-gke.1156000 より前の GKE バージョンでは、これがデフォルトのオプションです。

  gpu-driver-version オプションは、GKE バージョン 1.27.2-gke.1200 以降に限り使用できます。それより前のバージョンでは、このフラグを省略して、ノードプールの作成後に手動でドライバをインストールします。既存のクラスタまたはノードプールをこのバージョン以降にアップグレードすると、アップグレードを開始する際に別のバージョンを指定した場合を除き、GKE バージョンに対応するデフォルトのドライバ バージョンが自動的にインストールされます。

• AMOUNT: ノードプール内のノードに割り当てる GPU の数。

• MACHINE_TYPE: ノードの Compute Engine マシンタイプ。次の GPU タイプの場合は必須です。

  • NVIDIA H100 80 GB GPU（nvidia-h100-80gb アクセラレータ タイプと A3 High マシンタイプに対応）または NVIDIA H100 80 GB Mega GPU（nvidia-h100-mega-80gb アクセラレータ タイプと A3 Mega マシンタイプに対応）。詳細については、Compute Engine ドキュメントの A3 マシンシリーズをご覧ください。
  • NVIDIA A100 40 GB GPU（nvidia-tesla-a100 アクセラレータ タイプと A2 Standard マシンタイプに対応）または NVIDIA A100 80 GB GPU（nvidia-a100-80gb アクセラレータ タイプと A2 Ultra マシンタイプに対応）。詳細については、Compute Engine ドキュメントの A2 マシンシリーズをご覧ください。
  • NVIDIA L4 GPU（nvidia-l4 アクセラレータ タイプと G2 マシンシリーズに対応）。

  その他の GPU の場合、このフラグは省略可能です。

• COMPUTE_REGION: クラスタの Compute Engine リージョン（us-central1 など）。リクエストされた GPU を使用できるゾーンが 1 つ以上あるリージョンを選択します。

• CLUSTER_NAME: ノードプールを作成するクラスタの名前。

• COMPUTE_ZONE1,COMPUTE_ZONE2,[...]: GKE が GPU ノードを作成する特定のゾーン。ゾーンは、--region フラグで指定したクラスタと同じリージョンに存在する必要があります。定義する GPU タイプは、選択した各ゾーンで使用可能である必要があります。ノードプールを作成するときに、常に --node-locations フラグを使用して、リクエストされた GPU を含むゾーンを指定することをおすすめします。

• MIN_NODES: 任意の時点でのノードプール内の各ゾーンの最小ノード数。この値は、--enable-autoscaling フラグが使用されている場合にのみ関連します。

• MAX_NODES: 任意の時点でのノードプール内の各ゾーンの最大ノード数。この値は、--enable-autoscaling フラグが使用されている場合にのみ関連します。

• SSD_COUNT: エフェメラル ストレージに接続するローカル SSD の数。このフラグは、H100 GPU を搭載した A3 マシンタイプでローカル SSD を使用する場合に必要です。

  必要に応じて、次のフラグを追加して、カスタム サービス アカウントを使用して GPU ノードプールを作成できます。省略した場合、ノードプールは Compute Engine のデフォルトのサービス アカウントを使用します。

  • SERVICE_ACCOUNT: ノードが使用する IAM サービス アカウントの名前。
  • SCOPES: 付与するアクセス スコープのカンマ区切りリスト。いずれかのスコープが storage-ro または https://www.googleapis.com/auth/devstorage.read_only であることを確認します。スコープの詳細については、アクセス スコープを設定するをご覧ください。scope フラグを省略すると、GPU ノードプールの作成が失敗し、GCS バケットから gpu_driver_versions.bin のダウンロードに失敗しましたという AccessDenied エラーが発生します。

たとえば、次のコマンドは、リージョン クラスタ p100-cluster 内に、ノードごとに 2 つの P100 GPU を持つ高可用性自動スケーリング ノードプール p100 を作成します。GKE は、これらのノードにデフォルトのドライバを自動的にインストールします。

gcloud container node-pools create p100 \
  --accelerator type=nvidia-tesla-p100,count=2,gpu-driver-version=default \
  --region us-central1 --cluster p100-cluster \
  --node-locations us-central1-c \
  --min-nodes 0 --max-nodes 5 --enable-autoscaling

コンソール

GPU を使用するノードプールを作成するには:

1. Google Cloud コンソールで [Google Kubernetes Engine] ページに移動します。

   Google Kubernetes Engine に移動

2. クラスタのリストで、変更するクラスタの名前をクリックします。

3. [add_box ノードプールを追加] をクリックします。

4. 必要に応じて、[ノードプールの詳細] ページで [自動スケーリングを有効にする] チェックボックスをオンにします。

5. 必要に応じてノードプールを構成します。

6. ナビゲーション パネルで [ノード] を選択します。

7. [マシンの構成] で [GPU] をクリックします。

8. 各ノードで実行する [GPU のタイプ] と [GPU の数] を選択します。

9. 警告を読み、[制限について理解しています] を選択します。

10. [GPU Driver installation] セクションで、次のいずれかの方法を選択します。

    • Google が管理: GKE はドライバを自動的にインストールします。このオプションを選択した場合は、[バージョン] プルダウンから次のいずれかを選択します。
      • デフォルト: デフォルトのドライバ バージョンをインストールします。
      • 最新: 使用可能な最新のドライバ バージョンをインストールします。
    • お客様が管理: GKE はドライバをインストールしません。NVIDIA GPU デバイス ドライバのインストールの手順に沿って、互換性のあるドライバを手動でインストールする必要があります。

11. [作成] をクリックします。

Terraform

GPU を搭載した Terraform でリージョン クラスタを作成するには、Terraform モジュールを使用します。

1. variables.tf ファイルに次のブロックを追加して、Terraform 変数を設定します。

   variable "project_id" {
     default     = PROJECT_ID
     description = "the gcp_name_short project where GKE creates the cluster"
   }
   
   variable "region" {
     default     = CLUSTER_REGION
     description = "the gcp_name_short region where GKE creates the cluster"
   }
   
   variable "zone" {
     default     = "COMPUTE_ZONE1,COMPUTE_ZONE2"
     description = "the GPU nodes zone"
   }
   
   variable "cluster_name" {
     default     = "CLUSTER_NAME"
     description = "the name of the cluster"
   }
   
   variable "gpu_type" {
     default     = "GPU_TYPE"
     description = "the GPU accelerator type"
   }
   
   variable "gpu_driver_version" {
     default = "DRIVER_VERSION"
     description = "the NVIDIA driver version to install"
   }
   
   variable "machine_type" {
     default = "MACHINE_TYPE"
     description = "The Compute Engine machine type for the VM"
   }
   

   以下を置き換えます。

   • PROJECT_ID: プロジェクト ID。
   • CLUSTER_NAME: GKE クラスタの名前。
   • CLUSTER_REGION: クラスタの Compute Engine のリージョン。
   • COMPUTE_ZONE1,COMPUTE_ZONE2,[...]: GKE が GPU ノードを作成する特定のゾーン。これらのゾーンは、region 変数で指定した同じリージョンに存在する必要があります。これらのゾーンには、利用可能な GPU タイプが定義されている必要があります。どのゾーンに GPU があるか調べるには、提供状況をご覧ください。GPU ノードプールを作成するときに、node_locations 変数を使用して、リクエストされた GPU を含むゾーン（1 つまたは複数）を指定する必要があります。
   • GPU_TYPE: 使用する GPU アクセラレータのタイプ。例: nvidia-tesla-t4。

   • DRIVER_VERSION: GKE が自動的にインストールする GPU ドライバのバージョン。このフィールドは省略可能です。次の値を使用できます。

     • INSTALLATION_DISABLED: GPU ドライバの自動インストールを無効にします。GPU を実行するには、ドライバを手動でインストールする必要があります。1.30.1-gke.1156000 より前の GKE バージョンでは、このフィールドを省略した場合、これがデフォルトのオプションになります。
     • DEFAULT: ノードのオペレーティング システムのバージョンに対応するデフォルトのドライバ バージョンを自動的にインストールします。GKE バージョン 1.30.1-gke.1156000 以降では、このフィールドを省略すると、これがデフォルトのオプションになります。以前のバージョンでは、このフィールドを省略すると、GKE はドライバをインストールしません。
     • LATEST: ノードの OS バージョンで利用可能な最新のドライバ バージョンを自動的にインストールします。Container-Optimized OS を使用するノードでのみ指定できます。

     このフィールドを省略すると、GKE によるドライバの自動インストールが行われません。このフィールドは、ノードの自動プロビジョニングを使用するノードプールではサポートされていません。ドライバを手動でインストールするには、このドキュメントの NVIDIA GPU ドライバを手動でインストールするをご覧ください。

   • MACHINE_TYPE: ノードの Compute Engine マシンタイプ。次の GPU タイプの場合は必須です。

     • NVIDIA H100 80 GB GPU（nvidia-h100-80gb アクセラレータ タイプと A3 High マシンタイプに対応）または NVIDIA H100 80 GB Mega GPU（nvidia-h100-mega-80gb アクセラレータ タイプと A3 Mega マシンタイプに対応）。詳細については、Compute Engine ドキュメントの A3 マシンシリーズをご覧ください。
     • NVIDIA A100 40 GB GPU（nvidia-tesla-a100 アクセラレータ タイプと A2 Standard マシンタイプに対応）または NVIDIA A100 80 GB GPU（nvidia-a100-80gb アクセラレータ タイプと A2 Ultra マシンタイプに対応）。詳細については、Compute Engine ドキュメントの A2 マシンシリーズをご覧ください。
     • NVIDIA L4 GPU（nvidia-l4 アクセラレータ タイプと G2 マシンシリーズに対応）。

     その他の GPU の場合、このフラグは省略可能です。

2. Terraform 構成に次のブロックを追加します。

   provider "google" {
     project = var.project_id
     region  = var.region
   }
   
   resource "google_container_cluster" "ml_cluster" {
     name     = var.cluster_name
     location = var.region
     node_locations = [var.zone]
   }
   
   resource "google_container_node_pool" "gpu_pool" {
     name       = google_container_cluster.ml_cluster.name
     location   = var.region
     cluster    = google_container_cluster.ml_cluster.name
     node_count = 3
   
     autoscaling {
       total_min_node_count = "1"
       total_max_node_count = "5"
     }
   
     management {
       auto_repair  = "true"
       auto_upgrade = "true"
     }
   
     node_config {
       oauth_scopes = [
         "https://www.googleapis.com/auth/logging.write",
         "https://www.googleapis.com/auth/monitoring",
         "https://www.googleapis.com/auth/devstorage.read_only",
         "https://www.googleapis.com/auth/trace.append",
         "https://www.googleapis.com/auth/service.management.readonly",
         "https://www.googleapis.com/auth/servicecontrol",
       ]
   
       labels = {
         env = var.project_id
       }
   
       guest_accelerator {
         type  = var.gpu_type
         count = 1
         gpu_driver_installation_config {
           gpu_driver_version = var.gpu_driver_version
         }
       }
   
       image_type   = "cos_containerd"
       machine_type = var.machine_type
       tags         = ["gke-node", "${var.project_id}-gke"]
   
       disk_size_gb = "30"
       disk_type    = "pd-standard"
   
       metadata = {
         disable-legacy-endpoints = "true"
       }
     }
   }
   

Terraform は Google Cloud APIs を呼び出して、GPU を使用するノードプールで新しいクラスタを設定します。ノードプールには最初に 3 つのノードがあり、自動スケーリングが有効になっています。Terraform の詳細については、terraform.io の google_container_node_pool リソースの仕様をご覧ください。

COS

インストール用の DaemonSet をデプロイして、デフォルトの GPU ドライバのバージョンをインストールするには、次のコマンドを実行します。

kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded.yaml

代わりに、より新しいバージョンの GPU ドライバ（下の表を参照）をインストールするには、次のコマンドを実行します。

kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded-latest.yaml

インストールには数秒かかります。インストールが完了すると、NVIDIA GPU デバイス プラグインは Kubernetes API を使用して NVIDIA GPU の容量を利用可能にします。

Container-Optimized OS イメージの各バージョンには、サポートされている NVIDIA GPU ドライバのバージョンが少なくとも 1 つあります。デフォルトでサポートされているバージョンについては、主要な Container-Optimized OS LTS マイルストーンのリリースノートをご覧ください。

次の表に、各 GKE バージョンで利用可能なドライバ バージョンを示します。

Ubuntu

デプロイするインストール DaemonSet は、次のように GPU タイプと GKE ノード バージョンによって異なります。

• NVIDIA L4 GPU と NVIDIA H100 GPU を除くすべての GPU で、次のコマンドを実行します。

  kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/ubuntu/daemonset-preloaded.yaml
  

• 2024-R05 リリース以降のノード バージョンを実行している NVIDIA L4 GPU または H100 GPU の場合は、R535 ドライバをインストールします。

  kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/ubuntu/daemonset-preloaded-R535.yaml
  

• 2024-R05 リリースより前のリリース、またはこのリリースよりも後のリリースのノード バージョンを実行している NVIDIA L4 GPU または H100 GPU の場合は、R525 ドライバをインストールします。

  kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/ubuntu/daemonset-preloaded-R525.yaml
  

インストールには数秒かかります。インストールが完了すると、NVIDIA GPU デバイス プラグインは Kubernetes API を使用して NVIDIA GPU の容量を利用可能にします。

次の表に、各 GKE バージョンで利用可能なドライバ バージョンを示します。

Terraform

Terraform を使用すると、ノードのタイプに応じてデフォルトの GPU ドライバのバージョンをインストールできます。どちらの場合も、kubectl_manifest Terraform リソースタイプを構成する必要があります。

• COS に DaemonSet をインストールするには、Terraform 構成に次のブロックを追加します。

    data "http" "nvidia_driver_installer_manifest" {
      url = "https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded.yaml"
    }
  
    resource "kubectl_manifest" "nvidia_driver_installer" {
      yaml_body = data.http.nvidia_driver_installer_manifest.body
    }
  

• Ubuntu に DaemonSet をインストールするには、Terraform 構成に次のブロックを追加します。

    data "http" "nvidia_driver_installer_manifest" {
      url = "https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/ubuntu/daemonset-preloaded.yaml"
    }
  
    resource "kubectl_manifest" "nvidia_driver_installer" {
      yaml_body = data.http.nvidia_driver_installer_manifest.body
    }