이 페이지는 Cloud Translation API를 통해 번역되었습니다.

v6e TPU에서 MaxDiffusion 추론

이 튜토리얼에서는 TPU v6e에서 MaxDiffusion 모델을 제공하는 방법을 보여줍니다. 이 튜토리얼에서는 Stable Diffusion XL 모델을 사용하여 이미지를 생성합니다.

시작하기 전에

칩 4개가 있는 TPU v6e를 프로비저닝할 준비를 합니다.

Cloud TPU 환경 설정 가이드를 따라 Cloud TPU를 사용할 수 있는 적절한 액세스 권한이 있는지 확인합니다.

TPU VM의 서비스 ID를 만듭니다.

gcloud alpha compute tpus tpu-vm service-identity create --zone=zone

TPU 서비스 계정을 만들고 Google Cloud 서비스에 대한 액세스 권한을 부여합니다.

서비스 계정은 Google Cloud TPU 서비스가 다른 Google Cloud서비스에 액세스하도록 허용합니다. 사용자 관리형 서비스 계정이 권장됩니다. Google Cloud 콘솔 또는 gcloud 명령어를 통해 서비스 계정을 만들 수 있습니다.

gcloud 명령줄 도구를 사용하여 서비스 계정을 만듭니다.
```
gcloud iam service-accounts create your-service-account-name \
--description="your-sa-description" \
--display-name="your-sa-display-name"
export SERVICE_ACCOUNT_NAME=your-service-account-name
```
Google Cloud 콘솔에서 서비스 계정을 만듭니다.
1. Google Cloud Console의 서비스 계정 페이지로 이동합니다.
2. 서비스 계정 만들기를 클릭합니다.
3. 서비스 계정 이름을 입력합니다.
4. (선택사항) 서비스 계정에 대한 설명을 입력합니다.
5. 만들기를 클릭하고 계속 진행합니다.
6. 서비스 계정에 부여할 역할을 선택합니다.
7. 계속을 클릭합니다.
8. (선택사항) 서비스 계정을 관리할 수 있는 사용자 또는 그룹을 지정합니다.
9. 완료를 클릭하여 서비스 계정 만들기를 마칩니다.
서비스 계정을 만든 후 다음 단계에 따라 서비스 계정 역할을 부여합니다.

다음 역할이 필요합니다.
- TPU 관리자: TPU를 만드는 데 필요합니다.
- 스토리지 관리자: Cloud Storage에 액세스하는 데 필요합니다.
- 로그 작성자
- 모니터링 측정항목 작성자: Cloud Monitoring에 측정항목을 쓰는 데 필요합니다.
사용자에게 IAM 역할을 할당하려면 관리자가 나에게 roles/resourcemanager.projectIamAdmin 역할을 부여해야 합니다. 프로젝트 IAM 관리자 roles/resourcemanager.projectIamAdmin 역할이 있는 사용자도 이 역할을 부여할 수 있습니다.

다음 gcloud 명령어를 사용하여 서비스 계정 역할을 추가합니다.
```
gcloud projects add-iam-policy-binding ${PROJECT_ID} \
   --member serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com \
   --role roles/tpu.admin
gcloud projects add-iam-policy-binding ${PROJECT_ID} \
   --member serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com \
   --role roles/storage.admin
gcloud projects add-iam-policy-binding ${PROJECT_ID} \
   --member serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com \
   --role roles/logging.logWriter
gcloud projects add-iam-policy-binding ${PROJECT_ID} \
   --member serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com \
   --role roles/monitoring.metricWriter
```
Google Cloud 콘솔을 사용하여 역할을 할당할 수도 있습니다.

Google Cloud 콘솔에서 다음 역할을 선택합니다.
1. 서비스 계정을 선택하고 주 구성원 추가를 클릭합니다.
2. 새 주 구성원 필드에 서비스 계정의 이메일 주소를 입력합니다.
3. 역할 선택 드롭다운에서 역할을 검색하여 (예: 스토리지 관리자) 선택합니다.
4. 저장을 클릭합니다.

Google Cloud 로 인증하고 Google Cloud CLI의 기본 프로젝트 및 ZONE을 구성합니다.

gcloud auth login
gcloud config set project PROJECT_ID
gcloud config set compute/zone ZONE

용량 확보

TPU 용량을 확보할 준비가 되면 할당량 페이지에서 Cloud Quotas 시스템에 관해 알아보세요. 용량 확보에 관해 추가 질문이 있는 경우 Cloud TPU 영업팀 또는 계정팀에 문의하세요.

Cloud TPU 환경 프로비저닝

TPU VM은 GKE, GKE 및 XPK 또는 대기열에 추가된 리소스로 프로비저닝할 수 있습니다.

기본 요건

이 튜토리얼은 Python 3.10 이상으로 테스트되었습니다.
프로젝트에Google Cloud 프로젝트 내에서 액세스할 수 있는 최대 칩 수를 지정하는 TPUS_PER_TPU_FAMILY 할당량이 충분한지 확인합니다.
프로젝트에 다음에 충분한 TPU 할당량이 있는지 확인합니다.
- TPU VM 할당량
- IP 주소 할당량
- 하이퍼디스크 균형 할당량
사용자 프로젝트 권한
- XPK와 함께 GKE를 사용하는 경우 XPK를 실행하는 데 필요한 권한은 사용자 또는 서비스 계정의 Cloud 콘솔 권한을 참고하세요.

TPU v6e 프로비저닝

   gcloud alpha compute tpus queued-resources create QUEUED_RESOURCE_ID \
        --node-id TPU_NAME \
        --project PROJECT_ID \
        --zone ZONE \
        --accelerator-type v6e-4 \
        --runtime-version v2-alpha-tpuv6e \
        --service-account SERVICE_ACCOUNT

list 또는 describe 명령어를 사용하여 큐에 추가된 리소스의 상태를 쿼리합니다.

   gcloud alpha compute tpus queued-resources describe ${QUEUED_RESOURCE_ID}  \
      --project ${PROJECT_ID} --zone ${ZONE}

대기열에 추가된 리소스 요청 상태의 전체 목록은 대기열에 추가된 리소스 문서를 참고하세요.

SSH를 사용하여 TPU에 연결

   gcloud compute tpus tpu-vm ssh TPU_NAME

Conda 환경 만들기

Miniconda의 디렉터리를 만듭니다.
```
mkdir -p ~/miniconda3
```

Miniconda 설치 프로그램 스크립트를 다운로드합니다.

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh

Miniconda를 설치합니다.

bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3

Miniconda 설치 프로그램 스크립트를 삭제합니다.
```
rm -rf ~/miniconda3/miniconda.sh
```
PATH 변수에 Miniconda를 추가합니다.
```
export PATH="$HOME/miniconda3/bin:$PATH"
```
~/.bashrc를 새로고침하여 PATH 변수에 변경사항을 적용합니다.
```
source ~/.bashrc
```
새 Conda 환경을 만듭니다.
```
conda create -n tpu python=3.10
```
Conda 환경을 활성화합니다.
```
source activate tpu
```

MaxDiffusion 설정

MaxDiffusion 저장소를 클론하고 MaxDiffusion 디렉터리로 이동합니다.
```
git clone https://github.com/google/maxdiffusion.git && cd maxdiffusion
```
mlperf-4.1 브랜치로 전환합니다.
```
git checkout mlperf4.1
```
MaxDiffusion을 설치합니다.
```
pip install -e .
```
종속 항목을 설치합니다.
```
pip install -r requirements.txt
```

JAX를 설치합니다.

pip install -U --pre jax[tpu] -f https://storage.googleapis.com/jax-releases/jax_nightly_releases.html -f https://storage.googleapis.com/jax-releases/libtpu_releases.html

추가 종속 항목을 설치합니다.

 pip install huggingface_hub==0.25 absl-py flax tensorboardX google-cloud-storage torch tensorflow transformers

이미지 생성

TPU 런타임을 구성할 환경 변수를 설정합니다.

LIBTPU_INIT_ARGS="--xla_tpu_rwb_fusion=false --xla_tpu_dot_dot_fusion_duplicated=true --xla_tpu_scoped_vmem_limit_kib=65536"

src/maxdiffusion/configs/base_xl.yml에 정의된 프롬프트와 구성을 사용하여 이미지를 생성합니다.
```
python -m src.maxdiffusion.generate_sdxl src/maxdiffusion/configs/base_xl.yml run_name="my_run"
```
이미지가 생성되면 TPU 리소스를 삭제해야 합니다.

삭제

TPU를 삭제합니다.

gcloud compute tpus queued-resources delete QUEUED_RESOURCE_ID \
    --project PROJECT_ID \
    --zone ZONE \
    --force \
    --async