Monitorare il cluster Ray su Vertex AI

Dashboard Ray OSS

Puoi visualizzare i file di log di Ray open source tramite la dashboard Ray OSS:

1. Nella console Google Cloud, vai alla pagina Ray su Vertex AI.

   Vai alla pagina di Ray on Vertex AI

2. Nella riga del cluster che hai creato, seleziona il menu more_vert Altre azioni.

3. Seleziona il link alla dashboard Ray OSS. La dashboard si apre in un'altra scheda.

4. Vai alla visualizzazione Log nell'angolo in alto a destra del menu:

   

5. Fai clic su ciascun nodo per visualizzare i file di log associati.

Console Cloud Logging

1. Nella console Google Cloud, vai alla pagina Esplora log:

   Vai a Esplora log

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

2. Seleziona un progetto, una cartella o un'organizzazione Google Cloud esistente.

3. Per visualizzare tutti i log di Ray, inserisci la seguente query nel campo editor query e poi fai clic su Esegui query:

   resource.labels.task_name="ray-cluster-logs"

4. Per restringere i log a un cluster Ray specifico, aggiungi la seguente riga alla query e poi fai clic su Esegui query:

   labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

   Sostituisci CLUSTER_NAME con il nome del cluster Ray. Nella console Google Cloud, vai a Vertex AI > Ray su Vertex AI, dove vedrai un elenco dei nomi dei cluster in ogni regione.

5. Per restringere ulteriormente i log a un file log specifico come raylet.out, fai clic sul nome del log in Campi log -> Nome log.

6. Puoi raggruppare voci di log simili:

   1. In Risultati delle query, fai clic su una voce di log per espanderla.

   2. In jsonPayload, fai clic sul valore tailed_path. Viene visualizzato un menu a discesa.

   3. Fai clic su Mostra voci corrispondenti.

Esplora metriche

Per utilizzare la visualizzazione diretta in Metrics Explorer:

1. Vai alla console di monitoraggio Google Cloud.
2. In Esplora, seleziona Esplora metriche.
3. In Risorse attive, seleziona Destinazione Prometheus. Viene visualizzata la pagina Categorie di metriche attive.

4. Seleziona Ray.

   Viene visualizzato un elenco di metriche:

   
5. Seleziona le metriche da monitorare. Ad esempio:
   1. Scegli la percentuale di utilizzo della CPU come metrica monitorata:
      
      
   2. Seleziona un filtro. Ad esempio, seleziona il cluster:
      Utilizza l'ID cluster per monitorare solo le metriche riportate sopra per un cluster specifico. Per individuare l'ID cluster: segui questi passaggi:

      1. Nella console Google Cloud, vai alla pagina Ray.

         Vai a Ray

      2. Assicurati di essere nel progetto in cui vuoi creare l'esperimento.
         
      3. In Nome viene visualizzato un elenco di ID cluster.
      
   3. Seleziona il metodo Aggregazione per visualizzare le metriche. In altre parole, puoi scegliere di visualizzare le metriche non aggregate, che mostrano l'utilizzo della CPU di ogni processo Ray:
      

Dashboard GCM

Per importare una dashboard Grafana per Ray su Vertex AI, segui le linee guida nella dashboard di monitoraggio del cloud, Importa la tua dashboard Grafana.

Ti serve solo un file JSON della dashboard Grafana. Ray OSS supporta questa configurazione manuale fornendo il file JSON della dashboard Grafana predefinita.

Console Google Cloud

Per accedere alla shell interattiva del nodo head:

1. Nella console Google Cloud, vai alla pagina Ray su Vertex AI.
   Passa a Ray on Vertex AI
2. Assicurati di trovarti nel progetto corretto.
   
3. Seleziona il cluster da esaminare. Viene visualizzata la sezione Informazioni di base.
4. Nella sezione Link di accesso, fai clic sul link per la shell interattiva del nodo head. Viene visualizzata la shell interattiva del nodo head.
5. Segui le istruzioni riportate in Monitoraggio e debug dell'addestramento con una shell interattiva.