Addestra un modello ML con PyTorch

CPU

Imposta diverse variabili Bash da utilizzare quando crei il job di addestramento:

BUCKET_NAME=BUCKET_NAME
JOB_NAME=getting_started_pytorch_cpu
JOB_DIR=gs://${BUCKET_NAME}/${JOB_NAME}/models

Sostituisci BUCKET_NAME con il nome del bucket Cloud Storage che hai creato in una sezione precedente.

GPU

1. Assicurati che il codice di addestramento di PyTorch sia a conoscenza della GPU sulla VM utilizzata dal tuo job di addestramento, in modo che PyTorch sposti i tensori e i moduli sulla GPU in modo appropriato.

   Se utilizzi il codice campione fornito, non devi fare nulla, perché il codice campione contiene la logica per rilevare se la macchina che esegue il codice ha una GPU:

   cuda_availability = torch.cuda.is_available()
   if cuda_availability:
     device = torch.device('cuda:{}'.format(torch.cuda.current_device()))
   else:
     device = 'cpu'

   Se modifichi il codice di addestramento, leggi la guida di PyTorch alla semantica CUDA per assicurarti che la GPU venga utilizzata.

2. Imposta diverse variabili Bash da utilizzare quando crei il job di addestramento:

   BUCKET_NAME=BUCKET_NAME
   JOB_NAME=getting_started_pytorch_gpu
   JOB_DIR=gs://${BUCKET_NAME}/${JOB_NAME}/models
   

   Sostituisci BUCKET_NAME con il nome del bucket Cloud Storage che hai creato in una sezione precedente.

Ottimizzazione degli iperparametri

Il codice campione per questo tutorial ottimizza i parametri del tasso di apprendimento e delle dimensioni del batch per ridurre al minimo la perdita del test.

1. Assicurati che il codice di addestramento sia pronto per l'ottimizzazione degli iperparametri in AI Platform Training:

   • Il codice deve analizzare i flag degli iperparametri che gli vengono passati da AI Platform Training.

     Il codice campione gestisce questo aspetto in task.py, quindi non devi fare nulla, a meno che non modifichi il codice.

   • Il codice deve utilizzare la cloudml-hypertune libreria per generare un report sulla metrica di ottimizzazione degli iperparametri in AI Platform Training.

     Il codice campione gestisce questo aspetto in experiment.py, quindi non devi fare nulla, a meno che non modifichi il codice.

2. Esegui il comando seguente per creare un file config.yaml che specifica le opzioni di ottimizzazione degli iperparametri:

   cat > config.yaml <<END
   trainingInput:
     hyperparameters:
       goal: MINIMIZE
       hyperparameterMetricTag: test_loss
       maxTrials: 2
       maxParallelTrials: 2
       enableTrialEarlyStopping: True
       params:
       - parameterName: learning-rate
         type: DOUBLE
         minValue: 0.0001
         maxValue: 1
         scaleType: UNIT_LOG_SCALE
       - parameterName: batch-size
         type: INTEGER
         minValue: 1
         maxValue: 256
         scaleType: UNIT_LINEAR_SCALE
   END
   

   Queste opzioni ottimizzano gli iperparametri --learning-rate e --batch-size per ridurre al minimo la perdita del modello.

3. Imposta diverse variabili Bash da utilizzare quando crei il job di addestramento:

   BUCKET_NAME=BUCKET_NAME
   JOB_NAME=getting_started_pytorch_hptuning
   JOB_DIR=gs://${BUCKET_NAME}/${JOB_NAME}/models
   

   Sostituisci BUCKET_NAME con il nome del bucket Cloud Storage che hai creato in una sezione precedente.

CPU

gcloud ai-platform jobs submit training ${JOB_NAME} \
  --region=us-central1 \
  --master-image-uri=gcr.io/cloud-ml-public/training/pytorch-xla.1-10 \
  --scale-tier=BASIC \
  --job-dir=${JOB_DIR} \
  --package-path=./trainer \
  --module-name=trainer.task \
  -- \
  --train-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_train.csv \
  --eval-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_eval.csv \
  --num-epochs=10 \
  --batch-size=100 \
  --learning-rate=0.001

GPU

gcloud ai-platform jobs submit training ${JOB_NAME} \
  --region=us-central1 \
  --master-image-uri=gcr.io/cloud-ml-public/training/pytorch-gpu.1-10 \
  --scale-tier=CUSTOM \
  --master-machine-type=n1-standard-8 \
  --master-accelerator=type=nvidia-tesla-p100,count=1 \
  --job-dir=${JOB_DIR} \
  --package-path=./trainer \
  --module-name=trainer.task \
  -- \
  --train-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_train.csv \
  --eval-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_eval.csv \
  --num-epochs=10 \
  --batch-size=100 \
  --learning-rate=0.001

Ottimizzazione degli iperparametri

gcloud ai-platform jobs submit training ${JOB_NAME} \
  --region=us-central1 \
  --master-image-uri=gcr.io/cloud-ml-public/training/pytorch-xla.1-10 \
  --scale-tier=BASIC \
  --job-dir=${JOB_DIR} \
  --package-path=./trainer \
  --module-name=trainer.task \
  --config=config.yaml \
  -- \
  --train-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_train.csv \
  --eval-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_eval.csv \
  --num-epochs=10