GPU VM 그룹 일괄 생성

gcloud

VM 그룹을 만들려면 gcloud compute instances bulk create 명령어를 사용합니다. 매개변수와 이 명령어를 사용하는 방법에 대한 자세한 내용은 VM 일괄 생성을 참조하세요.

예시 명령어에 다음과 같은 선택적 플래그가 표시됩니다.

• --provisioning-model=SPOT은 VM을 스팟 VM으로 구성하는 선택적 플래그입니다. 워크로드가 내결함성이 있고 잠재적인 VM 선점을 견딜 수 있는 경우 스팟 VM을 사용하여 VM 및 연결된 GPU의 비용을 줄이는 것이 좋습니다. 자세한 내용은 스팟 VM의 GPU를 참조하세요. 스팟 VM의 경우 자동 재시작 및 호스트 유지보수 옵션 플래그가 사용 중지됩니다.

• --accelerator 플래그를 사용하여 가상 워크스테이션을 지정합니다. NVIDIA RTX 가상 워크스테이션(vWS)은 G2 VM에서만 지원됩니다.

예시

이 예시에서는 다음 사양을 사용하여 GPU가 연결된 2개의 VM을 만듭니다.

• VM 이름: my-test-vm-1, my-test-vm-2
• 각 VM에는 적절한 가속기 최적화 머신 유형을 사용하여 지정된 2개의 GPU가 연결되어 있습니다.

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --region=REGION \
    --count=2 \
    --machine-type=MACHINE_TYPE \
    --boot-disk-size=200 \
    --image=IMAGE \
    --image-project=IMAGE_PROJECT \
    --on-host-maintenance=TERMINATE \
    [--provisioning-model=SPOT] \
    [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

다음을 바꿉니다.

• REGION: VM의 리전입니다. 이 리전은 선택한 GPU 모델을 지원해야 합니다.

• MACHINE_TYPE: 선택한 머신 유형입니다. 다음 중 하나를 선택하세요.

  • A3 머신 유형
  • A2 머신 유형
  • G2 머신 유형. G2 머신 유형은 커스텀 메모리도 지원합니다. 메모리는 1,024MB의 배수여야 하고 지원되는 메모리 범위 내에 있어야 합니다. 예를 들어 vCPU 4개와 메모리 19GB를 사용하는 VM을 만들려면 --machine-type=g2-custom-4-19456을 지정합니다.

• IMAGE: GPU를 지원하는 운영체제 이미지입니다.

  이미지 계열에서 최신 이미지를 사용하려면 --image 플래그를 --image-family 플래그로 바꾸고 GPU를 지원하는 이미지 계열로 값을 설정합니다. 예를 들면 다음과 같습니다. --image-family=rocky-linux-8-optimized-gcp.

  커스텀 이미지 또는 Deep Learning VM Image를 지정할 수도 있습니다.

• IMAGE_PROJECT: OS 이미지가 속한 Compute Engine 이미지 프로젝트입니다. 커스텀 이미지 또는 Deep Learning VM Image를 사용하는 경우 해당 이미지가 속하는 프로젝트를 지정합니다.

• VWS_ACCELERATOR_COUNT: 필요한 가상 GPU 수

성공하면 출력은 다음과 비슷합니다.

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

한 영역에 여러 VM을 만들려면 필수 매개변수와 함께 instances.bulkInsert 메서드를 사용하세요. 매개변수와 이 명령어를 사용하는 방법에 대한 자세한 내용은 VM 일괄 생성을 참조하세요.

예시

이 예시에서는 다음 사양을 사용하여 GPU가 연결된 2개의 VM을 만듭니다.

• VM 이름: my-test-vm-1, my-test-vm-2

• 각 VM에는 적절한 가속기 최적화 머신 유형을 사용하여 지정된 2개의 GPU가 연결되어 있습니다.

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instances/bulkInsert
  {
  "namePattern":"my-test-vm-#",
  "count":"2",
  "instanceProperties": {
    "machineType":MACHINE_TYPE,
    "disks":[
      {
        "type":"PERSISTENT",
        "initializeParams":{
          "diskSizeGb":"200",
          "sourceImage":SOURCE_IMAGE_URI
        },
        "boot":true
      }
    ],
    "name": "default",
    "networkInterfaces":
    [
      {
        "network": "projects/PROJECT_ID/global/networks/default"
      }
    ],
    "scheduling":{
      "onHostMaintenance":"TERMINATE",
      ["automaticRestart":true]
    }
  }
  }
  

다음을 바꿉니다.

• PROJECT_ID: 프로젝트 ID입니다.
• REGION: VM의 리전입니다. 이 리전은 선택한 GPU 모델을 지원해야 합니다.

• MACHINE_TYPE: 선택한 머신 유형입니다. 다음 중 하나를 선택하세요.

  • A2 머신 유형
  • G2 머신 유형. G2 머신 유형은 커스텀 메모리도 지원합니다. 메모리는 1,024MB의 배수여야 하고 지원되는 메모리 범위 내에 있어야 합니다. 예를 들어 vCPU 4개와 메모리 19GB를 사용하는 VM을 만들려면 --machine-type=g2-custom-4-19456을 지정합니다.

• SOURCE_IMAGE_URI: 사용할 특정 이미지나 이미지 계열의 URI입니다.

  예를 들면 다음과 같습니다.

  • 특정 이미지: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
  • 이미지 계열: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"

  이미지 계열을 지정하면 Compute Engine이 해당 계열의 지원 중단되지 않은 최신 OS 이미지에서 VM을 만듭니다. 이미지 계열을 사용할 시기에 대한 자세한 내용은 이미지 계열 권장사항을 참조하세요.

추가 설정:

• 워크로드가 내결함성이 있고 잠재적인 VM 선점을 견딜 수 있는 경우 스팟 VM을 사용하여 VM 및 연결된 GPU의 비용을 줄이는 것이 좋습니다. 자세한 내용은 스팟 VM의 GPU를 참조하세요. 스팟 VM을 사용하려면 요청에 "provisioningModel": "SPOT 옵션을 추가합니다. 스팟 VM의 경우 자동 재시작 및 호스트 유지보수 옵션 플래그가 사용 중지됩니다.

  "scheduling":
    {
      "provisioningModel": "SPOT"
    }
  

• G2 VM에서는 NVIDIA RTX 가상 워크스테이션(vWS)이 지원됩니다. 가상 워크스테이션을 지정하려면 요청에 guestAccelerators 옵션을 추가하세요. VWS_ACCELERATOR_COUNT를 필요한 가상 GPU 수로 바꿉니다.

  "guestAccelerators":
   [
     {
       "acceleratorCount": VWS_ACCELERATOR_COUNT,
       "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
     }
   ]
  

A3 VM

A3 High 및 A3 Maga 머신 유형을 사용하는 VM에는 다음 제한사항이 적용됩니다.

• A3 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
• 특정 리전과 영역에서만 A3 머신 유형을 사용할 수 있습니다.
• A3 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
• Sapphire Rapids 플랫폼에서만 A3 머신 유형을 사용할 수 있습니다.
• VM에서 A3 머신 유형을 사용하는 경우에는 머신 유형을 변경할 수 없습니다. 머신 유형을 변경해야 하는 경우에는 새 VM을 만들어야 합니다.
• VM 머신 유형을 A3 머신 유형으로 변경할 수 없습니다. A3 머신 유형을 사용하는 VM이 필요하면 새 VM을 만들어야 합니다.
• A3 머신 유형은 단독 테넌시를 지원하지 않습니다.
• A3 머신 유형에서는 Windows 운영체제를 실행할 수 없습니다.
• 특정 예약을 통해서만 A3 머신 유형을 예약할 수 있습니다.

A2 표준 VM

• A2 표준 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
• 특정 리전과 영역에서만 A2 표준 머신 유형을 사용할 수 있습니다.
• A2 표준 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
• Cascade Lake 플랫폼에서만 A2 표준 머신 유형을 사용할 수 있습니다.
• VM에서 A2 표준 머신 유형을 사용하는 경우 한 A2 표준 머신 유형에서 다른 A2 표준 머신 유형으로만 전환할 수 있습니다. 그 밖의 다른 머신 유형으로는 변경할 수 없습니다. 자세한 내용은 가속기 최적화 VM 수정을 참조하세요.
• <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 표준 머신 유형에서는 Windows 운영체제를 사용할 수 없습니다. Windows 운영체제를 사용하는 경우 다른 A2 표준 머신 유형을 선택합니다.</codea2-megagpu-16g<>
• A2 표준 머신 유형을 사용하는 Windows VM에서는 연결된 로컬 SSD를 빠르게 포맷할 수 없습니다. 이러한 로컬 SSD를 포맷하려면 diskpart 유틸리티를 사용하고 format fs=ntfs label=tmpfs를 지정하여 전체 포맷을 수행해야 합니다.
• A2 표준 머신 유형은 단독 테넌시를 지원하지 않습니다.

A2 울트라 VM

• A2 울트라 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
• 특정 리전과 영역에서만 A2 울트라 머신 유형을 사용할 수 있습니다.
• A2 울트라 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
• Cascade Lake 플랫폼에서만 A2 울트라 머신 유형을 사용할 수 있습니다.
• VM에서 A2 울트라 머신 유형을 사용하는 경우에는 머신 유형을 변경할 수 없습니다. 다른 A2 울트라 머신 유형이나 그 밖의 다른 머신 유형을 사용해야 하는 경우에는 새 VM을 만들어야 합니다.
• 다른 머신 유형을 A2 울트라 머신 유형으로 변경할 수 없습니다. A2 울트라 머신 유형을 사용하는 VM이 필요하면 새 VM을 만들어야 합니다.
• A2 울트라 머신 유형을 사용하는 Windows VM에서는 연결된 로컬 SSD를 빠르게 포맷할 수 없습니다. 이러한 로컬 SSD를 포맷하려면 diskpart 유틸리티를 사용하고 format fs=ntfs label=tmpfs를 지정하여 전체 포맷을 수행해야 합니다.

G2 VM

• G2 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
• 특정 리전과 영역에서만 G2 머신 유형을 사용할 수 있습니다.
• G2 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
• Cascade Lake 플랫폼에서만 G2 머신 유형을 사용할 수 있습니다.
• G2 표준 머신 유형을 사용하는 VM에서는 표준 영구 디스크(pd-standard)가 지원되지 않습니다. 지원되는 디스크 유형은 G2에 지원되는 디스크 유형을 참조하세요.
• G2 머신 유형에서 멀티 인스턴스 GPU를 만들 수 없습니다.
• G2 VM 머신 유형을 변경해야 하는 경우 가속기 최적화 VM 수정을 참조하세요.
• Deep Learning VM Image를 G2 머신 유형을 사용하는 VM의 부팅 디스크로 사용할 수 없습니다.
• 현재 Container-Optimized OS의 기본 드라이버는 G2 머신 유형에서 실행되는 L4 GPU를 지원하지 않습니다. Container-Optimized OS는 선택한 드라이버 세트만 지원합니다. G2 머신 유형에서 Container-Optimized OS를 사용하려면 다음 참고를 검토하세요.
  • 권장되는 최소 NVIDIA 드라이버 버전 525.60.13 이상을 지원하는 Container-Optimized OS 버전을 사용합니다. 자세한 내용은 Container-Optimized OS 출시 노트를 참조하세요.
  • 드라이버 설치 시 L4 GPU에서 작동하는 최신 버전을 지정합니다. 예를 들면 sudo cos-extensions install gpu -- -version=525.60.13입니다.
• 다음 시나리오의 경우 G2 VM을 만들려면 Google Cloud CLI 또는 REST를 사용해야 합니다.
  • 커스텀 메모리 값을 지정하려고 하는 경우
  • 표시되는 CPU 코어 수를 맞춤설정하려고 하는 경우

gcloud

VM 그룹을 만들려면 gcloud compute instances bulk create 명령어를 사용합니다. 매개변수와 이 명령어를 사용하는 방법에 대한 자세한 내용은 VM 일괄 생성을 참조하세요.

예시

다음 예시에서는 다음 사양을 사용하여 GPU가 연결된 2개의 VM을 만듭니다.

• VM 이름: my-test-vm-1, my-test-vm-2
• GPU를 지원하는 us-central1의 모든 영역에 생성된 VM
• 각 VM에는 가속기 유형 및 가속기 수 플래그를 사용하여 지정된 2개의 T4 GPU가 연결되어 있습니다.
• 각 VM에는 GPU 드라이버가 설치되어 있습니다.
• 각 VM에는 Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10가 사용됩니다.

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --count=2 \
    --region=us-central1 \
    --machine-type=n1-standard-2 \
    --accelerator type=nvidia-tesla-t4,count=2 \
    --boot-disk-size=200 \
    --metadata="install-nvidia-driver=True" \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --image=pytorch-latest-gpu-v20211028-debian-10 \
    --image-project=deeplearning-platform-release \
    --on-host-maintenance=TERMINATE --restart-on-failure

성공하면 출력은 다음과 비슷합니다.

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

한 영역에 여러 VM을 만들려면 필수 매개변수와 함께 instances.bulkInsert 메서드를 사용하세요. 매개변수와 이 명령어를 사용하는 방법에 대한 자세한 내용은 VM 일괄 생성을 참조하세요.

예시

다음 예시에서는 다음 사양을 사용하여 GPU가 연결된 2개의 VM을 만듭니다.

• VM 이름: my-test-vm-1, my-test-vm-2
• GPU를 지원하는 us-central1의 모든 영역에 생성된 VM
• 각 VM에는 가속기 유형 및 가속기 수 플래그를 사용하여 지정된 2개의 T4 GPU가 연결되어 있습니다.
• 각 VM에는 GPU 드라이버가 설치되어 있습니다.
• 각 VM에는 Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10가 사용됩니다.

PROJECT_ID를 프로젝트 ID로 바꿉니다.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/region/us-central1/instances/bulkInsert

{
    "namePattern":"my-test-vm-#",
    "count":"2",
    "instanceProperties": {
      "machineType":"n1-standard-2",
      "disks":[
        {
          "type":"PERSISTENT",
          "initializeParams":{
            "diskSizeGb":"200",
            "sourceImage":"projects/deeplearning-platform-release/global/images/pytorch-latest-gpu-v20211028-debian-10"
          },
          "boot":true
        }
      ],
      "name": "default",
      "networkInterfaces":
      [
        {
          "network": "projects/PROJECT_ID/global/networks/default"
        }
      ],
      "guestAccelerators":
      [
        {
          "acceleratorCount": 2,
          "acceleratorType": "nvidia-tesla-t4"
        }
      ],
      "scheduling":{
        "onHostMaintenance":"TERMINATE",
        "automaticRestart":true
      },
      "metadata":{
        "items":[
          {
            "key":"install-nvidia-driver",
            "value":"True"
          }
        ]
      }
  }
 }