Jobressourcen anhand von Messwerten überwachen und optimieren

In diesem Dokument wird beschrieben, wie Sie die Ressourcen für einen Batch-Job überwachen und optimieren können, indem Sie Messwerte in Cloud Monitoring ansehen. Weitere Informationen zu den Ressourcen, auf denen ein Job ausgeführt wird, finden Sie unter Jobressourcen.

Für jeden Job stellt Monitoring grundlegende Messwerte wie CPU-Auslastung und Netzwerk-Traffic bereit. Einige Messwerte, z. B. für die Speicher- und Prozessauslastung, können jedoch nur erfasst werden, wenn der Ops-Agent durch einen Job installiert wird. Mit Messwerten für die Ressourcen eines Jobs können Sie die Leistung und Auslastung der einzelnen Ressourcen bewerten. Anhand dieser Informationen können Sie Verbesserungen für zukünftige Iterationen des Jobs vornehmen. Sie können beispielsweise nicht genutzte Ressourcen entfernen, um die Kosten zu optimieren, oder überlastete Ressourcen verbessern oder erhöhen, um die Leistung zu steigern.

Hinweise

  1. Wenn Sie Batch noch nicht verwendet haben, lesen Sie den Abschnitt Erste Schritte mit Batch und aktivieren Sie Batch, indem Sie die Voraussetzungen für Projekte und Nutzer erfüllen.
  2. Optional: Wenn Sie zusätzliche Messwerte für einen Job erfassen möchten, erstellen und führen Sie einen Job aus, der den Ops-Agent automatisch installiert.
  3. Aktivieren Sie die Monitoring API, falls dies noch nicht geschehen ist:

    Enable the API

  4. Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Monitoring Metric Viewer (roles/monitoring.metricViewer) für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen von Observability-Messwerten benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Messwerte für Jobressourcen ansehen

In der Compute Engine-Dokumentation unter VMs beobachten und überwachen finden Sie relevante konzeptionelle Informationen zu VM-Messwerten. Für das Aufrufen von VM-Messwerten für Batch-Jobs werden jedoch andere Methoden empfohlen. In der Compute Engine-Dokumentation wird beschrieben, wie Sie Messwerte mit den vordefinierten Monitoring-Dashboards für Compute Engine oder den Compute Engine-Seiten in der Google Cloud -Konsole aufrufen. Wichtig ist jedoch, dass diese Methoden keine Informationen zu gelöschten VMs anzeigen. Verwenden Sie diese Methoden daher nur, wenn Sie Messwerte für Batch-Jobs während der Ausführung ansehen möchten.

In diesem Abschnitt wird beschrieben, wie Sie mit Metrics Explorer-Diagrammen Messwerte für laufende und abgeschlossene Batch-Jobs aufrufen. Diagramme sind nur temporär verfügbar, sofern Sie sie nicht in benutzerdefinierten Dashboards speichern.

So erstellen Sie ein Diagramm, in dem ein oder mehrere Messwerte dargestellt werden:

  1. Optional: Wenn Sie das Diagramm speichern möchten, suchen Sie ein benutzerdefiniertes Dashboard aus oder erstellen Sie eines.

  2. Diagramm mit dem Metrics Explorer für einen oder mehrere Messwerte erstellen

    Ohne Filter enthält jeder VM-Messwert in einem Diagramm Daten von allen VMs in Ihrem Projekt. Optional können Sie das Diagramm filtern, sodass nur Messwerte aus allen oder bestimmten Batch-Jobs enthalten sind. Fügen Sie dazu den folgenden Filter hinzu:

    group=RESOURCE_GROUP_NAME

    Ersetzen Sie RESOURCE_GROUP_NAME durch den Namen einer Ressourcengruppe für Batch-Jobs. Weitere Informationen finden Sie in diesem Dokument unter Ressourcengruppen zum Filtern von Messwerten erstellen.

Ressourcengruppen zum Filtern von Messwerten erstellen

Sie können Ressourcengruppen als benutzerdefinierte Filter für Metrics Explorer-Diagramme verwenden. So erstellen Sie eine Ressourcengruppe für alle oder bestimmte Batch-Jobs in Ihrem Projekt:

  1. Wählen Sie ein Label aus, das als Mitgliedschaftskriterium verwendet werden soll, anhand dessen Sie Jobs in die Gruppe aufnehmen möchten:

    • Alle Batch-Jobs:Verwenden Sie das vordefinierte Label batch-node, das automatisch auf alle Ressourcen für alle Batch-Jobs angewendet wird und einen Nullwert hat.

    • Bestimmte Batch-Jobs:Verwenden Sie ein Label, das nur für bestimmte Batch-Jobs auf die Ressourcen angewendet wird.

      Wenn Sie beispielsweise eine Gruppe basierend auf vollständigen oder teilweisen Jobnamen erstellen möchten, verwenden Sie den vordefinierten Labelnamen batch-job-id mit einem bestimmten Wert. Das Label batch-job-id wird automatisch auf alle Ressourcen für alle Batchjobs angewendet und mit dem Jobnamen definiert.

      Wenn Sie ein benutzerdefiniertes Label verwenden, müssen Sie es beim Erstellen der Batch-Jobs auf alle Ressourcen anwenden, die in der Gruppe enthalten sein sollen.

  2. Achten Sie darauf, dass Ihr Projekt mindestens einen Job mit dem ausgewählten Label enthält und dass sich dieser Job im Status RUNNING befindet. Andernfalls wird dieses Label nicht als Option angezeigt, wenn Sie versuchen, die Ressourcengruppe zu erstellen.

  3. Ressourcengruppe erstellen Gehen Sie so vor, wenn Sie die Kriterien für die Aufnahme in ein Segment angeben:

    1. Legen Sie für Typ Tag fest.

    2. Legen Sie für das Feld Tag den Namen des ausgewählten Labels fest. Legen Sie dann die folgenden Felder basierend auf den Labelwerten fest, die die Gruppe enthalten soll.

      Wenn diese Gruppe beispielsweise alle Batch-Jobs enthalten soll, legen Sie Tag auf batch-node und Operator auf Exists fest. Alternativ können Sie festlegen, dass diese Gruppe Batch-Jobs mit Namen enthält, die mit test beginnen. Setzen Sie dazu Tag auf batch-job-id, Operator auf Beginnt mit und Wert auf test.

Nächste Schritte