TPU 스팟 VM 관리

스팟 VM은 미사용 용량을 대폭 할인된 가격으로 제공합니다. 스팟 VM은 언제든지 선점(종료)할 수 있지만 선점형 TPU와 달리 런타임 기간에는 제한이 없습니다. TPU 스팟 VM을 다시 시작할 수 없으며 선점 후 다시 만들어야 합니다. 스팟 VM에 대한 일반적인 내용은 스팟 VM에 대한 Compute Engine 문서를 참조하세요.

TPU 스팟 VM 만들기

큐에 추가된 리소스를 사용하여 TPU 스팟 VM을 만들 수 있습니다. 그러면 만들기 요청이 큐에 추가되어 TPU 스팟 VM이 사용 가능해지는 대로 용량을 받을 수 있습니다. TPU를 큐에 추가된 리소스로 만드는 것이 가장 좋습니다. 자세한 내용은 큐에 추가된 리소스 사용자 가이드를 참조하세요.

다음 예시는 큐에 추가된 리소스를 사용하여 TPU 스팟 VM을 만드는 방법을 보여줍니다.

gcloud

gcloud compute tpus queued-resources 명령어에 --spot 플래그를 추가합니다.

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --node-id=NODE_ID \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --runtime-version=tpu-vm-tf-2.17.1-pod-pjrt \
    --spot

curl

요청 본문에 spot: {}을 추가합니다.

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        tpu: {
        node_spec: {
            parent: "projects/PROJECT_ID/locations/europe-west4-a",
            node_id: "NODE_ID",
            node: {
            accelerator_type: "v3-8",
            runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt"
            }
        }
        },
        spot: {}
    }'

콘솔

Google Cloud 콘솔에서 TPU 페이지로 이동합니다.

TPU로 이동
TPU 만들기를 클릭합니다.
이름 필드에 TPU의 이름을 입력합니다.
영역 상자에서 TPU를 만들 영역을 선택합니다.
TPU 유형 상자에서 가속기 유형을 선택합니다. 가속기 유형은 만들려는 Cloud TPU의 버전과 크기를 지정합니다. 각 TPU 버전에서 지원되는 가속기 유형에 대한 자세한 내용은 TPU 버전을 참조하세요.
TPU 소프트웨어 버전 상자에서 소프트웨어 버전을 선택합니다. Cloud TPU VM을 만들 때 TPU 소프트웨어 버전은 설치할 TPU 런타임 버전을 지정합니다. 자세한 내용은 TPU 소프트웨어 버전을 참조하세요.
큐 사용 설정 전환 버튼을 클릭합니다.
큐에 추가된 리소스 이름 필드에 큐에 추가된 리소스 요청의 이름을 입력합니다.
관리 섹션을 펼칩니다.
TPU 스팟 VM으로 만들기 체크박스를 선택합니다.
만들기를 클릭합니다.

큐에 추가된 리소스를 사용하지 않고 TPU 스팟 VM을 만들 수도 있습니다.

gcloud

gcloud compute tpus tpu-vm 명령어에 --spot 플래그를 추가합니다.

gcloud compute tpus tpu-vm create TPU_NAME \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=tpu-vm-tf-2.17.1-pod-pjrt \
    --spot

curl

요청 본문에 scheduling_config: {spot: true}을 추가합니다.

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        accelerator_type: "v3-8",
        runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt",
        network_config: {enable_external_ips: true},
        scheduling_config: {spot: true}
    }'

콘솔

Google Cloud 콘솔에서 TPU 페이지로 이동합니다.

TPU로 이동
TPU 만들기를 클릭합니다.
이름 필드에 TPU의 이름을 입력합니다.
영역 상자에서 TPU를 만들 영역을 선택합니다.
TPU 유형 상자에서 가속기 유형을 선택합니다. 가속기 유형은 만들려는 Cloud TPU의 버전과 크기를 지정합니다. 각 TPU 버전에서 지원되는 가속기 유형에 대한 자세한 내용은 TPU 버전을 참조하세요.
TPU 소프트웨어 버전 상자에서 소프트웨어 버전을 선택합니다. Cloud TPU VM을 만들 때 TPU 소프트웨어 버전은 설치할 TPU 런타임 버전을 지정합니다. 자세한 내용은 TPU 소프트웨어 버전을 참조하세요.
관리 섹션을 펼칩니다.
TPU 스팟 VM으로 만들기 체크박스를 선택합니다.
만들기를 클릭합니다.

TPU VM이 스팟 VM인지 확인

gcloud

TPU VM이 스팟 VM인지 확인하려면 describe 명령어를 사용합니다.

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

TPU VM이 스팟 VM이면 출력에는 다음과 비슷하게 true로 설정된 spot 필드가 포함됩니다.

...
schedulingConfig:
spot: true
...

콘솔

Google Cloud 콘솔에서 TPU 페이지로 이동합니다.

TPU로 이동
Cloud TPU 이름을 클릭합니다.

TPU VM이 스팟 VM인 경우 등급은 스팟 VM입니다.

가격 책정 및 할당량

TPU 스팟 VM의 가격 책정은 주문형 및 예약 TPU에 비해 훨씬 저렴합니다. 가격 책정에 대한 자세한 내용은 Cloud TPU 가격 책정을 참조하세요.

TPU 스팟 VM을 사용하려면 선점형 할당량이 필요합니다. 자세한 내용은 할당량을 참조하세요.