Addestra Llama2 con Megatron-LM su macchine virtuali A3 Mega

Configura l'ambiente

1. Crea variabili di ambiente per alcuni parametri comuni

   export CLUSTER_NAME=CLUSTER_NAME
   export REGION=REGION
   export ZONE=ZONE
   export PROJECT_ID=PROJECT_ID
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del tuo cluster GKE A3 Mega in cui sono abilitati GPUDirect-TCPXO e il networking multiplo.
   • REGION: la regione in cui hai creato il cluster.
   • ZONE: la zona in cui hai creato il cluster.
   • PROJECT_ID: il tuo ID progetto Google Cloud .

2. Configura Google Cloud CLI in modo da utilizzare le credenziali Google Cloud per l'autenticazione:

   gcloud auth login
   

   Per ulteriori informazioni, consulta la pagina Autenticarsi per utilizzare Google Cloud CLI.

3. Installa kubectl e il plug-in gcloud CLI per GKE:

   sudo apt-get install kubectl
   sudo apt-get install google-cloud-sdk-gke-gcloud-auth-plugin
   

4. Recupera le credenziali per il tuo cluster GKE:

   gcloud container clusters get-credentials ${CLUSTER_NAME} \
     --zone=${ZONE} \
     --project=${PROJECT_ID}
   

5. Se non è già installato, installa Helm:

   curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
   chmod 700 get_helm.sh
   ./get_helm.sh && rm get_helm.sh
   sudo chmod +x /usr/local/bin/helm
   

Utilizzare lo scheduler con riconoscimento della topologia per eseguire il deployment dei pod

Puoi utilizzare lo scheduler topologia per eseguire il deployment dei pod GKE sui nodi con una topologia GPU specificata.

Nei seguenti comandi kubectl utilizzerai i file direttamente da un repository. In alternativa, puoi clonare il repository localmente e i comandi kubectl possono fare riferimento ai file locali.

Per saperne di più, consulta Pianificatore della topologia.

1. Configura il account di servizio:

   kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/service-account.yaml
   

2. Installa gli script dello scheduler della topologia in un configmap:

   curl -OL  https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/schedule-daemon.py
   curl -OL  https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/label-nodes-daemon.py
   
   kubectl -n kube-system create configmap topology-scheduler-scripts \
       --from-file=schedule-daemon.py=schedule-daemon.py \
       --from-file=label-nodes-daemon.py=label-nodes-daemon.py
   

3. Installa il daemonset dell'etichetta della topologia e il pod dello scheduler della topologia:

   kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/label-nodes-daemon.yaml
   $ kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/schedule-daemon.yaml
   

4. Osserva le azioni dello scheduler della topologia:

   kubectl -n kube-system logs topology-scheduler-pod
   

Esegui il workload

Crea il Dockerfile ed eseguine il push in Google Cloud Artifact Registry

1. Crea un bucket Cloud Storage e un repository Docker. In scripts/setup-and-configure-resources.sh script, sostituisci i nomi del bucket e del repository con quelli che hai creato, quindi esegui lo script:

   bash scripts/setup-and-configure-resources.sh
   

2. Crea ed esegui il push dell'immagine pytorch-megatron:23.11-py3 nel repository. Assicurati che il nome del repository Docker nel file scripts/build-and-push-docker-image.sh corrisponda al nome del repository utilizzato nello script scripts/setup-and-configure-resources.sh. Puoi anche modificare il nome del tag dell'immagine Docker prima di eseguire il push.

   bash scripts/build-and-push-docker-image.sh
   

Avviare il benchmark Megatron-LM Llama2

1. Modifica il file helm/values.yaml per specificare il bucket Cloud Storage e l'immagine Docker creati nelle sezioni precedenti. Per alcune configurazioni di esempio, vedi sample-configurations.

2. (Facoltativo) Puoi anche modificare il file selected-configuration.sh per specificare eventuali modifiche apportate alla configurazione Helm predefinita.

   helm install HELM_EXPERIMENT_NAME helm/ --values helm/values.yaml
   

   Sostituisci HELM_EXPERIMENT_NAME con un nome arbitrario per l'esperimento.

L'esperimento scrive le metriche dello strumento di profilazione Nsight Systems nel bucket Cloud Storage specificato nella directory megatron-experiments.