可用的 GPU

GPU 可用來加快工作負載的速度，而 Cloud Workstations 支援將 GPU 附加至工作站。Cloud Workstations 支援許多可附加至 Compute Engine VM 的各種 GPU 模型。要附加至每個工作站的 GPU 型號和數量，是在工作站設定中指定。Cloud Workstations 會處理 GPU 的附加作業，並安裝裝置驅動程式。

將 GPU 附加至工作站會影響費用，詳情請參閱 Cloud Workstations 定價總覽。

限制

工作站設定可以指定 GPU，但須遵守下列限制：

  • Cloud Workstations 僅支援指定 N1 機器系列、A2 機器系列或 A3 機器系列中機器類型的設定。詳情請參閱支援的 GPU 型號。
  • 設定必須指定副本區域，所選GPU 模型必須適用於這些區域。
  • 工作站一次只能附加一個 GPU 模型。

  • 指定 A2 Ultra 機型或 A3 系列機器的設定不得指定永久儲存空間。如需永久檔案儲存空間，請考慮使用以 NFS 為基礎的解決方案，例如 Filestore 或 Cloud Storage FUSE。請注意，A2 Standard 機型支援永久儲存空間。如要建立不含永久儲存空間的設定，請使用下列 gcloud CLI 指令：

      gcloud workstations configs create CONFIG_NAME \
    --project=PROJECT_ID \
    --cluster=CLUSTER_NAME \
    --region=LOCATION \
    --machine-type=A2_MACHINE_TYPE \
    --no-persistent-storage

    更改下列內容：

    • PROJECT_ID：含有工作站設定的專案 ID。
    • LOCATION：工作站叢集的區域。
    • CLUSTER_NAME：包含工作站設定的工作站叢集名稱。
    • CONFIG_NAME：工作站設定的名稱。
    • A2_MACHINE_TYPE：A2 機型類型。

支援的 GPU 型號

Cloud Workstations 支援 Compute Engine 提供的許多 GPU 模型。支援的型號取決於工作站設定所選的機器系列，如下表所示。

N1 機器系列

N1 一般用途機器系列支援多種 GPU 型號，指定任何 N1 機器類型的工作站設定，也可以指定下列其中一種 GPU 型號。針對所選 GPU 型號，設定可能會指定要附加到每個工作站的 GPU 卡數量。

GPU 模型 GPU 數量
NVIDIA T4 (nvidia-tesla-t4) 1、2 或 4 個 GPU
NVIDIA P4 (nvidia-tesla-p4) 1、2 或 4 個 GPU
NVIDIA V100 (nvidia-tesla-v100) 1、2、4 或 8 個 GPU
NVIDIA P100 (nvidia-tesla-p100) 1、2 或 4 個 GPU

A2 機器系列

A2 標準加速器最佳化機器系列會根據所選機型，連接固定數量的 NVIDIA A100 GPU。

下表顯示機器類型與附加卡片數量的對應關係。

GPU 模型 機器類型 GPU 數量
NVIDIA A100 40GB (nvidia-tesla-a100) a2-highgpu-1g 1 個 GPU
a2-highgpu-2g 2 個 GPU
a2-highgpu-4g 4 個 GPU
a2-highgpu-8g 8 個 GPU
a2-megagpu-16g 16 個 GPU

Cloud Workstations 不支援 A2 Ultra 機型。

A3 系列機器

A3 Mega 和 A3 High 加速器最佳化機器系列連接固定數量的 NVIDIA H100 GPU，完全取決於所選的機器類型。

下表顯示機器類型與附加卡片數量的對應關係。

GPU 模型 機器類型 GPU 數量
NVIDIA H100 80GB (nvidia-tesla-h100) a3-highgpu-1g 1 個 GPU
a3-highgpu-2g 2 個 GPU
a3-highgpu-4g 4 個 GPU
a3-highgpu-8g 8 個 GPU
a3-megagpu-8g 8 個 GPU

為現有的工作站設定新增 GPU

如要將 GPU 新增至工作站設定，請完成下列任一分頁中的步驟。

事前準備

Select the tab for how you plan to use the samples on this page:

Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

gcloud

    After installing the Google Cloud CLI, initialize it by running the following command: 

    gcloud init

    If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    請參閱 Cloud Workstations 定價總覽，瞭解設定 GPU 對費用的影響。請注意，GPU 會附加至設定快速啟動集區大小指定的預先啟動虛擬機器 (VM)。

    更新現有設定

    主控台

    如要透過Google Cloud 控制台在現有工作站設定中設定 GPU，請按照下列步驟操作：

    1. 前往 Google Cloud 控制台的「工作站設定」頁面。

      前往工作站設定頁面

    2. 在「工作站設定」清單中，按一下要新增 GPU 的設定「名稱」。

    3. 在「工作站設定詳細資料」頁面中，按一下「編輯」。

    4. 在「編輯工作站設定」頁面中，按一下導覽選單中的「機器設定」。

    5. 按一下切換鈕，選取 GPU，而非一般用途機器系列。

      在「GPU type」(GPU 類型) 欄位中，選取要使用的 GPU 型號。

      在「Number of GPUs」(GPU 數量) 欄位中，選取要附加到每個工作站的 GPU 卡數量。

      在「Machine type」(機器類型) 欄位中，選取要使用的機器類型。

    6. 按一下「儲存」，更新設定。

    gcloud

    如要在現有工作站設定中設定 GPU，請執行 gcloud workstations configs update 指令。

    不過，請先收集一些資訊，瞭解可用的 GPU 模型，並為設定選擇一個：

    1. 執行下列 gcloud CLI 指令，檢查設定指定的副本區域：

      gcloud workstations configs describe \
  --format="table(name.scope(workstationConfigs),replicaZones.list())" \
  --project=PROJECT_ID \
  --region=LOCATION \
  --cluster=CLUSTER_NAME \
  CONFIG_NAME

      更改下列內容：

      • PROJECT_ID：含有工作站設定的專案 ID。
      • LOCATION：工作站叢集的位置。
      • CLUSTER_NAME：包含工作站設定的工作站叢集名稱。
      • CONFIG_NAME：工作站設定的名稱。

    2. 執行 gcloud compute accelerator-types list 指令，選擇兩個設定副本區域中可用的支援 GPU 型號：

      gcloud compute accelerator-types list \
  --format="table(name:sort=1,zone,description,maximumCardsPerInstance)" \
  --filter='zone.basename()=(ZONES) AND name~"nvidia-tesla-(a100|p100|p4|t4|v100)$"' \
  --project=PROJECT_ID

      將 ZONES 替換為以半形逗號分隔的副本區域清單 (在上一步中判斷)，例如 us-central1-a,us-central1-c。

      選擇在表格中列出兩次的 GPU 模型，表示兩個副本區域都提供該模型。

      請注意所選 GPU 模型可附加的資訊卡數量上限。

    3. 使用 gcloud compute machine-types list 指令，判斷設定的兩個副本區域中，有哪些支援的機器類型可用。

      1. 如果您在上一個步驟中選擇 NVIDIA A100 40GB GPU 模型，則設定必須使用 A2 系列機器：

        gcloud compute machine-types list \
  --format="table(name,zone,guestCpus:sort=1)" \
  --filter="name:a2-highgpu- OR name:a2-megagpu-" \
  --zones=ZONES \
  --project=PROJECT_ID

      2. 如果您在上一個步驟中選擇任何其他 GPU 模型，設定必須使用 N1 系列機器：

        gcloud compute machine-types list \
  --format="table(name,zone,guestCpus:sort=1)" \
  --filter="name:n1-standard-" \
  --zones=ZONES \
  --project=PROJECT_ID

      在表格中選擇列出兩次的機器類型，表示該類型在兩個副本區域中都適用。

    4. 選取 GPU 型號和相容的機器類型後，請更新設定：

      1. 如要使用 NVIDIA A100 40GB GPU，請執行下列指令來更新設定：

        gcloud beta workstations configs update \
  --project=PROJECT_ID \
  --region=LOCATION \
  --cluster=CLUSTER_NAME \
  CONFIG_NAME \
  --machine-type=A2_MACHINE_TYPE

        將 A2_MACHINE_TYPE 換成上一步判定的所選 A2 機型 (例如 a2-highgpu-1g)。

      2. 如為其他 GPU 型號，請執行下列指令：

        gcloud beta workstations configs update \
  --project=PROJECT_ID \
  --region=LOCATION \
  --cluster=CLUSTER_NAME \
  CONFIG_NAME \
  --machine-type=N1_MACHINE_TYPE \
  --accelerator-type=ACCELERATOR_TYPE \
  --accelerator-count=ACCELERATOR_COUNT

        更改下列內容：

        • N1_MACHINE_TYPE：從 N1 系列中選擇的機器類型 (例如 n1-standard-2)。
        • ACCELERATOR_TYPE：所選 GPU 模型的名稱 (例如 nvidia-tesla-t4)。
        • ACCELERATOR_COUNT：要附加至每個工作站的 GPU 數量 (例如 1、2、4)。必須是 2 的次方，且小於 GPU 型號的最大值。

    建立具有 GPU 的新工作站設定

    如要建立新的工作站設定，將 GPU 附加至以該設定為基礎的工作站，請完成下列任一分頁中的步驟。

    事前準備

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

      After installing the Google Cloud CLI, initialize it by running the following command: 

      gcloud init

      If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

      REST

      如要在本機開發環境中使用本頁的 REST API 範例，請使用您提供給 gcloud CLI 的憑證。

        After installing the Google Cloud CLI, initialize it by running the following command: 

        gcloud init

        If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

      詳情請參閱 Google Cloud 驗證說明文件中的「Authenticate for using REST」。

      選擇 GPU 模型，並參閱 GPU 供應情形表，選取至少有兩個可用區提供所選 GPU 模型的區域。

      如果您在所選區域中沒有叢集，無法建立新設定，請按照步驟在該區域建立工作站叢集。

      請參閱 Cloud Workstations 定價總覽，瞭解設定 GPU 對費用的影響。請注意，GPU 會附加至設定快速啟動集區大小指定的預先啟動虛擬機器 (VM)。

      建立新設定

      主控台

      從Google Cloud 控制台建立具有 GPU 的新工作站設定，方法如下：

      1. 前往 Google Cloud 控制台的「工作站設定」頁面。

        前往工作站設定頁面

      2. 在「工作站設定」頁面中，按一下 add_box「建立」。

      3. 在「建立工作站設定」頁面的「基本資訊」步驟中，於「名稱」欄位指定設定名稱。

        在「工作站叢集」欄位中，選取所選區域中的叢集。

        按一下「繼續」，前往「機器設定」步驟。

      4. 在「Create workstation configuration」(建立工作站設定) 頁面的「Machine settings」(機器設定) 步驟中，首先按一下切換按鈕，選取 GPU，而非「General purpose」(一般用途) 機器系列。

        1. 然後在「區域」欄位中，勾選所選 GPU 型號適用的兩個區域 (請參閱 GPU 供應情形表)。

        2. 在「GPU type」(GPU 類型) 欄位中，選取要使用的 GPU 型號。

        3. 在「Number of GPUs」(GPU 數量) 欄位中，選取要附加到每個工作站的 GPU 卡數量。

        4. 在「Machine type」(機器類型) 欄位中，選取相容的機器類型。

      5. 按一下「繼續」，設定環境和 IAM 政策，然後按一下「建立」，佈建新的工作站設定。

      gcloud

      使用 gcloud CLI 執行 gcloud workstations configs create 指令，建立含有 GPU 的新工作站設定。

      • 如要使用 NVIDIA A100 40GB GPU，請執行下列指令來建立設定：

        gcloud beta workstations configs create \
  --project=PROJECT_ID \
  --region=LOCATION \
  --cluster=CLUSTER_NAME \
  CONFIG_NAME \
  --replica-zones=REPLICA_ZONES \
  --machine-type=A2_MACHINE_TYPE

        更改下列內容：

        • PROJECT_ID：將包含新工作站設定的專案 ID。
        • LOCATION：工作站叢集的位置，其中包含設定。
        • CLUSTER_NAME：要包含新工作站設定的工作站叢集名稱。
        • CONFIG_NAME：新工作站設定的名稱。
        • REPLICA_ZONES：叢集所在區域中，所選 GPU 模型可用的兩個可用區 (例如 us-central1-a,us-central1-c)。
        • A2_MACHINE_TYPE：所選的 A2 系列機型 (例如 a2-highgpu-1g)。

      • 如要使用其他 GPU 型號，請執行下列指令來建立設定：

        gcloud beta workstations configs create \
  --project=PROJECT_ID \
  --region=LOCATION \
  --cluster=CLUSTER_NAME \
  CONFIG_NAME \
  --replica-zones=REPLICA_ZONES \
  --machine-type=N1_MACHINE_TYPE \
  --accelerator-type=ACCELERATOR_TYPE \
  --accelerator-count=ACCELERATOR_COUNT

        更改下列內容：

        • PROJECT_ID：將包含新工作站設定的專案 ID。
        • LOCATION：工作站叢集的位置，其中包含設定。
        • CLUSTER_NAME：要包含新工作站設定的工作站叢集名稱。
        • CONFIG_NAME：新工作站設定的名稱。
        • REPLICA_ZONES：叢集所在區域中，所選 GPU 模型可用的兩個可用區 (例如 us-central1-a,us-central1-c)。
        • N1_MACHINE_TYPE：所選的 N1 系列機器類型 (例如 n1-standard-2)。
        • ACCELERATOR_TYPE：所選 GPU 模型的名稱 (例如 nvidia-tesla-t4)。
        • ACCELERATOR_COUNT：要附加至每個工作站的 GPU 數量 (例如 1、2、4)。

      NVIDIA GPU 裝置驅動程式

      Cloud Workstations 會在 VM 啟動期間，在工作站的主機 VM 上安裝 NVIDIA 裝置驅動程式。

      如要判斷工作站上安裝的裝置驅動程式版本，請執行下列指令：

      nvidia-smi --query-gpu=name,driver_version --format=csv

      各區域和可用區的 GPU 可用性

      您可以依位置或 GPU 型號搜尋，也可以同時依這兩項條件搜尋。

      可用區 位置 GPU 平台
      asia-east1-a 亞太地區臺灣彰化縣 T4、P100
      asia-east1-b 亞太地區臺灣彰化縣
      asia-east1-c 亞太地區臺灣彰化縣 T4、V100、P100、H100
      asia-east2-a 亞太地區 - 香港 T4
      asia-east2-b 亞太地區 - 香港
      asia-east2-c 亞太地區 - 香港 T4
      asia-northeast1-a 日本東京 (亞太地區) A100 40GB、T4
      asia-northeast1-b 日本東京 (亞太地區) H100
      asia-northeast1-c 日本東京 (亞太地區) A100 40GB、T4
      asia-northeast3-a 韓國首爾 (亞太地區) A100 40GB、H100
      asia-northeast3-b 韓國首爾 (亞太地區) A100 40GB、T4
      asia-northeast3-c 韓國首爾 (亞太地區) T4、H100
      asia-south1-a 印度孟買 (亞太地區) T4
      asia-south1-b 印度孟買 (亞太地區) T4
      asia-south1-c 印度孟買 (亞太地區) H100
      asia-southeast1-a 新加坡裕廊西 (亞太地區) T4
      asia-southeast1-b 新加坡裕廊西 (亞太地區) A100 40GB、T4、P4、H100
      asia-southeast1-c 新加坡裕廊西 (亞太地區) A100 40GB、A100 80GB、T4、P4、H100
      australia-southeast1-a 澳洲雪梨 (亞太地區) T4、P4
      australia-southeast1-b 澳洲雪梨 (亞太地區) P4、P100
      australia-southeast1-c 澳洲雪梨 (亞太地區) T4、H100
      europe-central2-b
      europe-central2-c      		 波蘭華沙 (歐洲) T4
      europe-north1-a
      europe-north1-b      		 歐洲芬蘭哈米納
      europe-north1-c 歐洲芬蘭哈米納 H100
      europe-southwest1-a
      europe-southwest1-b
      europe-southwest1-c      		 西班牙馬德里 (歐洲)
      europe-west1-b 歐洲比利時聖吉斯蘭 H100、T4、P100
      europe-west1-c 歐洲比利時聖吉斯蘭 H100、T4
      europe-west1-d 歐洲比利時聖吉斯蘭 T4、P100
      europe-west2-a 英國倫敦 (歐洲) T4
      europe-west2-b 英國倫敦 (歐洲) T4、H100
      europe-west2-c 英國倫敦 (歐洲)
      europe-west3-a 德國法蘭克福 (歐洲) H100
      europe-west3-b 德國法蘭克福 (歐洲) T4
      europe-west3-c 德國法蘭克福 (歐洲) H100
      europe-west4-a 歐洲荷蘭埃姆斯港 A100 40GB、A100 80GB、T4、V100、P100
      europe-west4-b 歐洲荷蘭埃姆斯港 A100 40GB、T4、P4、V100、H100
      europe-west4-c 歐洲荷蘭埃姆斯港 T4、P4、V100、H100
      europe-west6-a
      europe-west6-b
      europe-west6-c      		 瑞士蘇黎世 (歐洲)
      europe-west8-a
      europe-west8-b
      europe-west8-c      		 義大利米蘭 (歐洲)
      europe-west9-a
      europe-west9-b
      europe-west9-c      		 法國巴黎 (歐洲)
      europe-west12-a
      europe-west12-b
      europe-west12-c      		 義大利杜林 (歐洲)
      me-west1-a 以色列特拉維夫 (中東) A100 40GB
      me-west1-b 以色列特拉維夫 (中東) A100 40GB、T4
      me-west1-c 以色列特拉維夫 (中東) A100 40GB、T4
      northamerica-northeast1-a 蒙特婁、魁北克、北美洲 P4
      northamerica-northeast1-b 蒙特婁、魁北克、北美洲 P4
      northamerica-northeast1-c 蒙特婁、魁北克、北美洲 T4、P4
      southamerica-east1-a 巴西聖保羅奧薩斯庫 (南美洲) T4
      southamerica-east1-c 巴西聖保羅奧薩斯庫 (南美洲) T4
      southamerica-west1-a
      southamerica-west1-b
      southamerica-west1-c      		 智利聖地牙哥 (南美洲)
      us-central1-a 美國愛荷華州康索布魯夫 A100 40GB、A100 80GB、T4、P4、V100、H100
      us-central1-b 美國愛荷華州康索布魯夫 A100 40GB、T4、V100、H100
      us-central1-c 美國愛荷華州康索布魯夫 A100 40GB、A100 80GB、T4、P4、V100、P100、H100
      us-central1-f 美國愛荷華州康索布魯夫 A100 40GB、T4、V100、P100
      us-east1-b 美國南卡羅來納州蒙克斯科納 A100 40GB、P100
      us-east1-c 美國南卡羅來納州蒙克斯科納 T4、V100、P100
      us-east1-d 美國南卡羅來納州蒙克斯科納 T4
      us-east4-a
      us-east4-b      		 北美洲維吉尼亞州阿什本 T4、P4、H100
      us-east4-c 北美洲維吉尼亞州阿什本 A100 80GB、T4、P4、H100
      us-east5-a 美國俄亥俄州哥倫布 H100
      us-east5-b 美國俄亥俄州哥倫布 A100 80GB
      us-east5-c 美國俄亥俄州哥倫布
      us-west1-a 美國奧勒岡州達勒斯 T4、V100、P100、H100
      us-west1-b 美國奧勒岡州達勒斯 A100 40GB、T4、V100、P100、H100
      us-west1-c 美國奧勒岡州達勒斯
      us-west4-a 美國內華達州拉斯維加斯 T4、H100
      us-west4-b 美國內華達州拉斯維加斯 A100 40GB、T4
      us-west4-c 美國內華達州拉斯維加斯

      後續步驟