Erste Schritte mit Batch

Auf dieser Seite wird beschrieben, wie Sie mit Batch für Google Cloudbeginnen.

Übersicht

Batch ist ein vollständig verwalteter Dienst, mit dem Sie Batchverarbeitungs-Arbeitslasten auf Google Cloud -Ressourcen planen, in die Warteschlange stellen und ausführen können. Verwenden Sie Batch beispielsweise für Arbeitslasten aus den Bereichen Hochleistungs-Computing (HPC), maschinelles Lernen (ML) und Datenverarbeitung. Batch stellt Ressourcen bereit und verwaltet die Kapazität für Sie, sodass Ihre Batcharbeitslasten in großem Maßstab ausgeführt werden können.

Wenn Sie Batch verwenden, müssen Sie keine Jobplaner von Drittanbietern konfigurieren und verwalten, Ressourcen nicht bereitstellen oder deren Bereitstellung aufheben oder Ressourcen zonenweise anfordern. Zum Ausführen eines Jobs geben Sie Parameter für die Ressourcen an, die für Ihre Arbeitslast erforderlich sind. Batch ruft dann Ressourcen ab und stellt den Job zur Ausführung in die Warteschlange. Batch ist nativ in andere Google Cloud -Dienste eingebunden. So können Sie Batchjobs planen, ausführen, speichern und analysieren, sodass Sie sich auf das Senden eines Jobs konzentrieren können und die Ergebnisse nutzen.

Ein Batch besteht aus den folgenden Komponenten:

  • Job:Ein geplantes Programm, das eine Reihe von Aufgaben ohne Nutzerinteraktion ausführt, normalerweise für Berechnungsarbeitslasten. Ein Job kann beispielsweise ein einzelnes Shell-Script oder eine komplexe, mehrteilige Berechnung sein.

    Ein Batchjob stellt ein Array mit einer oder mehreren Aufgaben und die Umgebung dar, in der diese Aufgaben ausgeführt werden. Sie definieren das Programm für den Job als eine Sequenz aus einem oder mehreren Runnable-Objekten. Bei jeder Aufgabe wird die Sequenz der ausführbaren Elemente für die Ressourcen des Jobs ausgeführt. Sie können die Aufgaben eines Jobs so konfigurieren, dass sie parallel oder nacheinander ausgeführt werden.

  • Aufgabe:Eine Ausführung der Abfolge von ausführbaren Elementen eines Jobs. Wenn ein Job mehrere Aufgaben hat, geben Sie an, wie sich die einzelnen Ausführungen unterscheiden sollen. Dazu verweisen Sie in den ausführbaren Dateien des Jobs auf die Umgebungsvariable für den Index einer Aufgabe.

  • Runnable:Ein ausführbares Script oder ein Container, den Sie als Teil eines Jobs definieren.

  • Ressourcen:Die Infrastruktur, die zum Ausführen eines Jobs erforderlich ist. Sie müssen mindestens die für jede Aufgabe erforderlichen Rechenressourcen angeben: CPU-Kerne, Arbeitsspeicher und (falls erforderlich) zusätzlicher Speicherplatz auf der Bootdisk. Optional können Sie auch andere Ressourcenoptionen für den Job angeben. Batch erstellt und löscht die Ressourcen, die Ihren Spezifikationen entsprechen, während der Laufzeit des Jobs automatisch.

    Jeder Batchjob wird in einer regionalen verwalteten Instanzgruppe (Managed Instance Group, MIG) ausgeführt. Das ist eine Gruppe mit einer oder mehreren passenden Compute Engine-VM-Instanzen, die sich jeweils in einer der enthaltenen Zonen befinden. Jede VM hat dedizierte Hardware für CPU-Kerne und Arbeitsspeicher, die sich auf die Leistung Ihres Jobs auswirken, sowie eine Startdisk, auf der ein Betriebssystemimage und Anweisungen zum Ausführen Ihres Jobs gespeichert sind. Falls angegeben, kann ein Job auch zusätzliche Ressourcen wie GPUs oder externe Speichervolumes enthalten oder darauf zugreifen. Die Anzahl der für einen Job bereitgestellten VMs hängt von den von Ihnen angegebenen Hardwareanforderungen und Optionen für die Aufgabenplanung ab.

Mit Batch können Sie Jobs erstellen und ausführen, die jeweils die Ressourcen bereitstellen und verwenden, die zum Ausführen ihrer Aufgaben erforderlich sind.

Weitere Informationen zum Jobverhalten und zu den Optionen finden Sie auf der Seite Übersicht zum Erstellen und Ausführen von Jobs.

Preise

Für die Verwendung von Batch fallen keine zusätzlichen Kosten an. Ihnen werden nur die Kosten für die zugrunde liegenden Ressourcen in Rechnung gestellt, die zum Ausführen Ihrer Jobs erforderlich sind.

Weitere Informationen zu den Kosten für Batch und dazu, wie Sie Cloud Billing-Berichte filtern, um Batch-Kosten aufzurufen, finden Sie unter Preise.

Beschränkungen

Für Batch gelten die folgenden Einschränkungen:

  • Sie dürfen die Batch-Kontingente und ‑Limits für Ihr Projekt nicht überschreiten.
  • Sie können pro Job nur einen Maschinentyp angeben, der vordefiniert oder benutzerdefiniert sein kann.
  • Sie können pro Job nur eine Aufgabengruppe angeben. Alle Jobs haben nur eine Taskgruppe mit dem Namen group0.

Vorbereitung

Bevor Sie Batch verwenden können, müssen Sie die folgenden Voraussetzungen erfüllen:

  1. Wenn Batch noch nicht für Ihr Projekt verwendet wurde, aktivieren Sie Batch für Ihr Projekt.
  2. Batch für jeden neuen Nutzer einrichten

Batch für ein Projekt aktivieren

So beginnen Sie mit der Verwendung von Batch in einem Projekt:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Prüfen Sie, ob Batch für Ihr Projekt aktiviert ist:

    1. Aktivieren Sie die APIs für Batch mit derGoogle Cloud Console oder der Google Cloud CLI.

      Console

      Enable the Batch, Compute Engine, and Cloud Logging APIs.

      Enable the APIs

      gcloud

      Enable the Batch, Compute Engine, and Cloud Logging APIs.

      Enable the APIs

    2. Ihr Projekt muss mindestens ein Dienstkonto mit den erforderlichen Berechtigungen zum Erstellen und Aufrufen der Ressourcen für die Ausführung von Batch-Jobs haben.

      Wichtig: Alle Nutzer, die Batch-Jobs in Ihrem Projekt erstellen und ausführen dürfen, müssen die Berechtigung haben, eines dieser Dienstkonten zu verwenden. Wählen Sie daher keine Dienstkonten aus, die mehr Berechtigungen haben, als Sie diesen Nutzern gewähren möchten.

      Das Dienstkonto, das standardmäßig für jeden Job verwendet wird, ist das Compute Engine-Standarddienstkonto. Sie können aber auch anpassen, welches Dienstkonto für einen Job verwendet wird.

      Sofern Sie nicht nur die Standardkonfiguration für die Dienstkonten Ihres Jobs verwenden möchten, weisen Sie allen Dienstkonten, die Ihr Projekt für Batch-Jobs verwendet, die folgenden IAM-Rollen zu.

      • Batch-Agent-Melder (roles/batch.agentReporter) für das Projekt
      • Damit Jobs Logs in Cloud Logging generieren können: Rolle „Logs Writer“ (roles/logging.logWriter) für das Projekt

      Das Dienstkonto, das Sie für einen Job verwenden, benötigt möglicherweise auch zusätzliche Rollen, je nachdem, welche Konfigurationsoptionen Sie für Ihre Jobs verwenden möchten. In der Dokumentation zu den einzelnen Aufgaben finden Sie Informationen dazu, ob zusätzliche Berechtigungen erforderlich sind. Weitere Informationen zum Zuweisen von Rollen zu Dienstkonten finden Sie unter Dienstkonten einschränken und Zugriff auf Dienstkonten verwalten.

    3. Machen Sie sich mit dem Batch-Dienst-Agent Ihres Projekts vertraut:

      Nachdem Sie einen Batch-Job erstellt haben, wird der Batch-Dienst-Agent automatisch für Ihr Projekt erstellt. Er hat den folgenden Namen:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com

      Ersetzen Sie PROJECT_NUMBER durch die Projektnummer Ihres Projekts.

      Dem Batch-Dienst-Agent wird automatisch die IAM-Rolle „Google Batch Service Agent“ (roles/batch.serviceAgent) zugewiesen. Diese Konfiguration ist erforderlich, damit Ihr Projekt Batch verwenden kann.

      Für bestimmte Anwendungsfälle, z. B. Ausführen eines Jobs in einem freigegebene VPC-Netzwerk, müssen Sie dem Batch-Dienst-Agent Ihres Projekts jedoch zusätzliche Berechtigungen erteilen.

      Weitere Informationen finden Sie unter Dienst-Agents.

Batch für einen neuen Nutzer einrichten

So beginnen Sie als Nutzer mit der Verwendung von Batch:

  1. Bitten Sie Ihren Administrator, Ihnen die erforderlichen IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung von Batch benötigen. Die erforderlichen Berechtigungen für die einzelnen Aufgaben finden Sie in der jeweiligen Dokumentation.

    Wenn Sie beispielsweise mit der Verwendung von Batch beginnen möchten, indem Sie einen einfachen Job erstellen, sollten Sie Rollen für die folgenden Aufgaben anfordern:

    • So erstellen Sie Jobs:
    • Zum Auflisten und Beschreiben von Jobs: „Bearbeiter von Batchjobs“ (roles/batch.jobsEditor) oder „Betrachter von Batchjobs“ (roles/batch.jobsViewer) für das Projekt
    • Zum Aufrufen von Logs für Jobs: Logbetrachter (roles/logging.viewer) für das Projekt
    • Jobs löschen: Batch-Job-Editor (roles/batch.jobsEditor) für das Projekt

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

  2. Wenn Sie die Befehlszeilenbeispiele für Batch verwenden möchten, richten Sie die Google Cloud CLI so ein: Weitere Informationen zur Authentifizierung für die Google Cloud CLI

    1. Installieren Sie die Google Cloud CLI. Initialisieren Sie die Google Cloud CLI nach der Installation mit dem folgenden Befehl: 

      gcloud init

      Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

    2. Empfohlen: Legen Sie ein Standardprojekt mit dem Befehl gcloud config set project fest:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch die Projekt-ID Ihres Projekts.

  3. Wenn Sie die API-Beispiele oder Clientbibliotheksbeispiele für Batch verwenden möchten, lesen Sie den Abschnitt Bei Batch authentifizieren.

Support anfordern

Sie können sich mit der Community über Batch austauschen, indem Sie in den Foren des Google Developer-Programms das Batch-Tag verwenden.

Wenn Sie Probleme mit Batch haben, lesen Sie die Dokumentation zur Fehlerbehebung.

Wenn Sie Support für Batch benötigen oder Feedback geben möchten, können Sie die folgenden Ressourcen nutzen:

  • Bei Abrechnungsproblemen mit Google Cloudwenden Sie sich an den Abrechnungssupport.

  • Wenn Sie ein kostenpflichtiges Supportpaket haben, wenden Sie sich bei Problemen mit Batch direkt an den Google Cloud Support.

    Google Cloud bietet verschiedene Supportpakete für unterschiedliche Anforderungen, wie etwa Rund-um-die-Uhr-Verfügbarkeit, Telefonsupport und Kontakt mit einem technischen Supportmanager. Weitere Informationen finden Sie unter Google Cloud -Support.

  • Wenn Sie Feedback oder Funktionsanfragen zu Batch geben oder Probleme mit Batch ohne kostenpflichtiges Supportpaket melden möchten, klicken Sie auf die Schaltfläche Feedback geben, die sich am Anfang und Ende jeder Batch-Dokumentationsseite befindet. Wählen Sie dann eine der folgenden Optionen aus:

    • Wenn Sie Feedback zur Batch-Dokumentation geben möchten, wählen Sie „Feedback zur Dokumentation“ aus.
    • Wählen Sie für alles andere Feedback zu Batch „Produktfeedback“ aus.

Nächste Schritte