建立含有 GPU VM 的 MIG

透過集合功能整理內容 你可以依據偏好儲存及分類內容。

主控台

1. 前往「Instance templates」(執行個體範本) 頁面。

   前往「Instance templates」(執行個體範本) 頁面

2. 點選「建立執行個體範本」。

3. 在「Name」欄位中，輸入執行個體範本的名稱。

4. 在「機器設定」專區中，執行下列操作：

   1. 按一下「GPU」分頁標籤。
   2. 在「GPU type」清單中選取 GPU 類型。
   3. 在「Number of GPUs」(GPU 數量) 清單中，選取 GPU 數量。
   4. 在「Machine type」(機器類型) 清單中選取機器類型。

5. 選用步驟：如要變更預設值開機磁碟類型或映像檔，請在「Boot disk」(開機磁碟) 部分中按一下「Change」(變更)。然後按照提示變更開機磁碟。

6. 展開「進階選項」部分，然後執行下列操作：

   1. 展開「管理」部分。
   2. 在「Reservations」清單中，選取「Don't use」。

7. 按一下 [建立]。

gcloud

使用 instance-templates create 指令建立執行個體範本。

下列指令會根據深度學習 VM 映像檔建立全球執行個體範本。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-project=deeplearning-platform-release \
    --image-family=common-cu121 \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=none

更改下列內容：

• INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
• MACHINE_TYPE：支援 GPU 的機器類型。如果您指定 N1 機器類型，請加入 --accelerator 標記，指定要附加至 VM 的 GPU 數量和類型。

REST

對 instanceTemplates.insert 方法發出 POST 要求，建立執行個體範本。

以下要求會根據深度學習 VM 映像檔建立全球執行個體範本。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates

{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "mode": "READ_WRITE",
        "type": "PERSISTENT",
        "initializeParams": {
          "sourceImage": "projects/deeplearning-platform-release/global/images/family/common-cu121"
        }
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-IP",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "global/networks/default"
      }
    ],
    "reservationAffinity": {
      "consumeReservationType": "NO_RESERVATION"
    },
    "scheduling": {
      "onHostMaintenance": "TERMINATE"
    }
  }
}

更改下列內容：

• PROJECT_ID：您要在其中建立 MIG 的專案 ID。
• INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
• MACHINE_TYPE：支援 GPU 的機器類型。如果您指定 N1 機器類型，請加入 guestAccelerators 欄位，指定要附加至 VM 的 GPU 數量和類型。

主控台

1. 前往「Instance groups」(執行個體群組) 頁面。

   前往「Instance groups」(執行個體群組)

2. 點選「建立執行個體群組」。

3. 輸入下列欄位：

   1. 名稱：輸入群組名稱。
   2. Instance template：選取您在上一節中設定的執行個體範本。
   3. 在「地區」部分中：
      1. 選取「單一可用區」。
      2. 在「Region」和「Zone」清單中，選取要建立群組的位置。

   刪除自動調度資源設定並在後續步驟中關閉修復功能後，系統會啟用「執行個體數量」欄位，供您進行編輯。

4. 刪除自動調度資源設定的方式如下：

   1. 在「Autoscaling」部分，按一下「Autoscaling mode」清單，然後點選「Delete autoscaling configuration」。
   2. 在「Delete autoscaling configuration?」對話方塊中，按一下「Delete」。

5. 按照下列步驟在 MIG 中關閉修復功能：

   在「VM 執行個體生命週期」部分，將「失敗時的預設動作」欄位設為「沒有動作」。

6. 指定建立調整大小要求的 GPU VM 數量和執行時間：

   1. 在「Number of instances」(執行個體數量) 欄位中，輸入要一次建立的 GPU VM 數量。

      

   2. 勾選「透過大小調整要求一次建立多個 VM」核取方塊。系統會顯示輸入放送時間長度的欄位。

   3. 在「Requested run duration」欄位和「Unit」清單中，指定 GPU VM 的執行時間長度。時長必須介於 1 小時至 7 天之間。

7. 按一下 [建立]。

gcloud

1. 使用 instance-groups managed create 指令建立可用區 MIG。

   gcloud compute instance-groups managed create INSTANCE_GROUP_NAME \
      --template=INSTANCE_TEMPLATE_NAME \
      --size=0 \
      --zone=ZONE \
      --default-action-on-vm-failure=do_nothing
   

2. 在 MIG 中，使用 instance-groups managed resize-requests create 指令建立調整大小要求。指定所需的 GPU VM 數量，以及要執行這些 VM 的時間長度。

   gcloud compute instance-groups managed resize-requests create INSTANCE_GROUP_NAME \
      --resize-request=RESIZE_REQUEST_NAME \
      --resize-by=COUNT \
      --requested-run-duration=RUN_DURATION\
      --zone=ZONE
   

更改下列內容：

• INSTANCE_GROUP_NAME：MIG 名稱。
• INSTANCE_TEMPLATE_NAME：GPU VM 的執行個體範本名稱。
• ZONE：可用於 Compute Engine 的其中一個區域。
• RESIZE_REQUEST_NAME：重新調整大小要求的名稱。
• COUNT：在群組中一次新增的 VM 數量。
• RUN_DURATION：您希望要求的 VM 執行多久。值的格式必須是天數、小時、分鐘或秒數，後面分別接上 d、h、m 和 s。例如，指定 30m 為 30 分鐘，或 1d2h3m4s 為 1 天、2 小時、3 分鐘和 4 秒。這個值必須介於 10 分鐘至 7 天之間。

REST

1. 對 instanceGroupManagers.insert 方法發出 POST 要求，建立區域 MIG。

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
   
   {
    "versions": [
      {
        "instanceTemplate": "global/instanceTemplates/INSTANCE_TEMPLATE_NAME"
      }
    ],
    "name": "INSTANCE_GROUP_NAME",
    "targetSize": 0,
    "instanceLifecyclePolicy": {
      "defaultActionOnFailure": "DO_NOTHING"
    }
   }
   

2. 在 MIG 中，對 instanceGroupManagerResizeRequests.insert 方法發出 POST 要求，即可建立大小調整要求。在要求主體中，指定要一次建立的 GPU VM 數量，以及要執行這些 VM 的時間長度。

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/INSTANCE_GROUP_NAME/resizeRequests
   
   {
    "name": "RESIZE_REQUEST_NAME",
    "resizeBy": COUNT,
    "requestedRunDuration": {
      "seconds": "RUN_DURATION"
    }
   }
   

更改下列內容：

• PROJECT_ID：您要在其中建立 MIG 的專案 ID。
• INSTANCE_GROUP_NAME：MIG 名稱。
• INSTANCE_TEMPLATE_NAME：GPU VM 的執行個體範本名稱。
• ZONE：可用於 Compute Engine 的其中一個區域。
• RESIZE_REQUEST_NAME：重新調整大小要求的名稱。
• COUNT：在群組中一次新增的 VM 數量。
• RUN_DURATION：您希望要求的 VM 在 MIG 自動刪除前執行的時間長度 (以秒為單位)。這個值必須介於 600 (600 秒，即 10 分鐘) 和 604800 (604,800 秒，即 7 天) 之間。