Ray-Cluster in Vertex AI überwachen

Auf dieser Seite erfahren Sie, wie Sie die mit Ihren Ray-Clustern verknüpften Tracking-Logs aufrufen und die Ray in Vertex AI-Messwerte überwachen. Außerdem erhalten Sie eine Anleitung zum Debuggen von Ray-Clustern.

Logs ansehen

Wenn Sie mit Ihrem Ray in Vertex AI Aufgaben ausführen, werden Tracking-Logs automatisch generiert und sowohl in Cloud Logging als auch im Open-Source-Ray-Dashboard gespeichert. In diesem Abschnitt wird beschrieben, wie Sie über die Google Cloud Console auf die generierten Logs zugreifen.

Lesen Sie zuerst die Ray in Vertex AI-Übersicht und richten Sie alle erforderlichen Tools ein.

Ray OSS-Dashboard

Sie können die Open-Source-Ray-Logdateien über das Ray-OSS-Dashboard aufrufen:

  1. Rufen Sie in der Google Cloud Console die Seite „Ray in Vertex AI“ auf.

    Zur Seite "Ray in Vertex AI"

  2. Wählen Sie in der Zeile für den von Ihnen erstellten Cluster das Dreipunkt-Menü  Weitere Aktionen aus.

  3. Wählen Sie den Link zum Ray OSS-Dashboard aus. Das Dashboard wird in einem anderen Tab geöffnet.

  4. Gehen Sie oben rechts im Menü zur Ansicht Logs:

    Ray-Dashboard-Protokolle auswählen

  5. Klicken Sie auf die einzelnen Knoten, um die zugehörigen Protokolldateien aufzurufen.

Cloud Logging Console

  1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

    Zum Log-Explorer

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Wählen Sie ein vorhandenes Google Cloud-Projekt, einen Ordner oder eine Organisation aus.

  3. Um alle Ray-Logs anzuzeigen, geben Sie die folgende Abfrage in das Feld des Abfrageeditors ein und klicken Sie dann auf Abfrage ausführen:

    resource.labels.task_name="ray-cluster-logs"

  4. Wenn Sie die Logs auf einen bestimmten Ray-Cluster beschränken möchten, fügen Sie der Abfrage die folgende Zeile hinzu und klicken Sie dann auf Abfrage ausführen:

    labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

    Ersetzen Sie CLUSTER_NAME durch den Namen Ihres Ray-Clusters. Rufen Sie in der Google Cloud Console Vertex AI > Ray in Vertex AI auf. Dort sehen Sie eine Liste der Clusternamen in jeder Region.

  5. Wenn Sie die Logs weiter auf eine bestimmte Logdatei wie raylet.out beschränken möchten, klicken Sie auf Logfelder -> Logname.

  6. Sie können ähnliche Logeinträge gruppieren:

    1. Klicken Sie in den Abfrageergebnissen auf einen Logeintrag, um das Log zu maximieren.

    2. Klicken Sie in jsonPayload auf den Wert tailed_path. Ein Drop-down-Menü wird angezeigt.

    3. Klicken Sie auf Übereinstimmende Einträge anzeigen.

Logs deaktivieren

Cloud Logging für Ray in Vertex AI ist standardmäßig aktiviert.

  • Wenn Sie den Export von Ray-Protokollen in Cloud Logging deaktivieren möchten, verwenden Sie den folgenden Befehl des Vertex AI SDK für Python:

    vertex_ray.create_ray_cluster(..., enable_logging=False, ...)

Sie können die Ray-Protokolldateien im Ray-Dashboard aufrufen, auch wenn die Cloud Logging-Funktion für Ray in Vertex AI deaktiviert ist.

Messwerte überwachen

Mit Google Cloud Monitoring (GCM) können Sie sich die Ray-Messwerte in Vertex AI auf unterschiedliche Weise ansehen. Alternativ können Sie die Messwerte aus GCM in Ihren eigenen Grafana-Server exportieren.

Messwerte in GCM überwachen

Es gibt zwei Möglichkeiten, die Ray in Vertex AI-Messwerte in GCM aufzurufen.

  • Verwenden Sie die direkte Ansicht unter Metrics Explorer.

  • Importieren Sie das Grafana-Dashboard.

Metrics Explorer

So verwenden Sie die direkte Ansicht im Metrics Explorer:

  1. Gehen Sie zur Google Cloud Monitoring-Konsole.
  2. Wählen Sie Erkunden > Metrics Explorer aus.
  3. Wählen Sie unter Aktive Ressourcen die Option Prometheus-Ziel aus. Die Option Aktive Messwertkategorien wird angezeigt.

  4. Wählen Sie Ray aus.

    Es wird eine Liste mit Messwerten angezeigt:

    Messwert auswählen
  5. Wählen Sie die Messwerte aus, die Sie überwachen möchten. Beispiel:
    1. Wählen Sie den Prozentsatz der CPU-Auslastung als zu überwachenden Messwert aus:
      Auslastungziel
    2. Filter auswählen. Wählen Sie beispielsweise Cluster aus:
      erforderlichen Filter hinzufügen Verwenden Sie die Cluster-ID, um nur die obigen Messwerte für einen bestimmten Cluster zu überwachen. So finden Sie Ihre Cluster-ID:

      1. Öffnen Sie in der Google Cloud Console die Seite Ray.

        Zu Ray

      2. Sie müssen sich in dem Projekt befinden, in dem Sie den Test erstellen möchten.
        Vertex AI-Projekt auswählen
      3. Unter Name wird eine Liste der Cluster-IDs angezeigt.
      Messwert auswählen
    3. Wählen Sie die Methode Aggregation aus, um die Messwerte aufzurufen. Sie können sich also nicht aggregierte Messwerte ansehen, die die CPU-Auslastung jedes Ray-Prozesses anzeigen:
      nicht zusammengefasste Messwerte

GCM-Dashboard

Wenn Sie ein Grafana-Dashboard für Ray on Vertex AI importieren möchten, folgen Sie der Anleitung unter Eigenes Grafana-Dashboard importieren.

Monitoring-Dashboard

Sie benötigen lediglich eine JSON-Datei für ein Grafana-Dashboard. OSS Ray unterstützt diese manuelle Einrichtung, indem die Standard-Dashboard-Grafana-JSON-Datei bereitgestellt wird.

Messwerte von nutzereigenen Grafana überwachen

Wenn Sie bereits einen Grafana-Server ausführen, können Sie alle Prometheus-Messwerte des Ray-Clusters in Vertex AI auch auf Ihren vorhandenen Grafana-Server exportieren. Folgen Sie dazu der Anleitung unter Abfragen mit Grafana. So können Sie Ihrem vorhandenen Grafana-Server eine neue Grafana-Datenquelle hinzufügen und die neue Grafana Prometheus-Datenquelle mit Ray on Vertex AI-Messwerten synchronisieren.

Sie müssen die neu hinzugefügte Grafana-Datenquelle mit dem Datenquellen-Synchronizer konfigurieren und authentifizieren. Folgen Sie der Anleitung unter Grafana-Datenquelle konfigurieren und authentifizieren.

Nach der Synchronisierung können Sie beliebige Dashboards basierend auf den Ray in Vertex AI-Messwerten erstellen und hinzufügen.

Die Messwerterfassung für Ray in Vertex AI ist standardmäßig aktiviert. So deaktivieren Sie sie mit dem Vertex AI SDK für Python: 

vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)

Ray-Cluster debuggen

Verwenden Sie die interaktive Shell des Hauptknotens, um Ray-Cluster zu debuggen:

Google Cloud Console

So greifen Sie auf die Interaktive Shell des Hauptknotens zu:

  1. Rufen Sie in der Google Cloud Console die Seite Ray in Vertex AI auf.
    Ray in Vertex AI aufrufen
  2. Achten Sie darauf, dass Sie sich im richtigen Projekt befinden.
    Vertex AI-Projekt auswählen
  3. Wählen Sie den Cluster aus, den Sie untersuchen möchten. Der Bereich Allgemeine Informationen wird angezeigt.
  4. Klicken Sie im Bereich Zugriffslinks auf den Link für die Interaktive Shell des Hauptknotens. Die interaktive Shell des Hauptknotens wird angezeigt.
  5. Folgen Sie der Anleitung unter Training mit interaktiver Shell überwachen und Fehler beheben.

Nächste Schritte