Batch est un service entièrement géré qui vous permet de planifier, de mettre en file d'attente et d'exécuter des charges de travail de traitement par lot sur des instances de machines virtuelles (VM) Compute Engine. Batch provisionne les ressources et gère la capacité en votre nom, ce qui permet à vos charges de travail par lot de s'exécuter à grande échelle.
Workflows vous permet d'exécuter les services dont vous avez besoin dans l'ordre que vous définissez à l'aide de la syntaxe Workflows.
Dans ce tutoriel, vous allez utiliser le connecteur Workflows pour Batch afin de planifier et d'exécuter un job Batch qui exécute six tâches en parallèle sur deux VM Compute Engine. L'utilisation conjointe de Batch et de Workflows vous permet de combiner leurs avantages et de provisionner et orchestrer efficacement l'ensemble du processus.
Objectifs
Au cours de ce tutoriel, vous allez :- Créez un dépôt Artifact Registry pour une image de conteneur Docker.
- Obtenez le code pour la charge de travail de traitement par lot depuis GitHub : un exemple de programme qui génère des nombres premiers par lots de 10 000.
- Créez l'image Docker pour la charge de travail.
- Déployez et exécutez un workflow qui effectue les opérations suivantes :
- Crée un bucket Cloud Storage pour stocker les résultats du générateur de nombres premiers.
- Planifie et exécute un job Batch qui exécute le conteneur Docker sous forme de six tâches en parallèle sur deux VM Compute Engine.
- Supprime éventuellement le job Batch une fois qu'il est terminé.
- Vérifiez que les résultats sont conformes aux attentes et que les lots de nombres premiers générés sont stockés dans Cloud Storage.
Vous pouvez exécuter la plupart des commandes suivantes dans la console Google Cloud , ou exécuter toutes les commandes à l'aide de Google Cloud CLI dans votre terminal ou Cloud Shell.
Coûts
Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :
Pour obtenir une estimation des coûts en fonction de votre utilisation prévue, utilisez le simulateur de coût.
Avant de commencer
Les contraintes de sécurité définies par votre organisation peuvent vous empêcher d'effectuer les étapes suivantes. Pour en savoir plus sur la résolution des problèmes, consultez Développer des applications dans un environnement Google Cloud limité.
Console
Dans la console Google Cloud , sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud .
Assurez-vous que la facturation est activée pour votre projet Google Cloud . Découvrez comment vérifier si la facturation est activée sur un projet.
Activez les API Artifact Registry, Batch, Cloud Build, Compute Engine, Workflow Executions et Workflows.
Créez un compte de service que votre workflow utilisera pour l'authentification auprès d'autres services Google Cloud et accordez-lui les rôles appropriés :
Dans la console Google Cloud , accédez à la page Créer un compte de service.
Sélectionnez votre projet.
Dans le champ Nom du compte de service, saisissez un nom. La console Google Cloud remplit le champ ID du compte de service en fonction de ce nom.
Dans le champ Description du compte de service, saisissez une description. Exemple :
Service account for tutorial
.Cliquez sur Créer et continuer.
Dans la liste Sélectionner un rôle, définissez un filtre sur les rôles suivants à attribuer au compte de service géré par l'utilisateur que vous avez créé à l'étape précédente :
- Éditeur de tâches par lot : pour modifier les tâches par lot.
- Rédacteur de journaux : pour écrire des journaux.
- Administrateur de l'espace de stockage : pour contrôler les ressources Cloud Storage.
Pour ajouter des rôles supplémentaires, cliquez sur
Ajouter un autre rôle et ajoutez chaque rôle supplémentaire.Cliquez sur Continuer.
Pour terminer la création du compte, cliquez sur OK.
Attribuez le rôle Utilisateur du compte de service IAM au compte de service par défaut pour le compte de service géré par l'utilisateur créé à l'étape précédente. Une fois l'API Compute Engine activée, le compte de service par défaut est le compte de service Compute Engine par défaut (
PROJECT_NUMBER-compute@developer.gserviceaccount.com
), et l'autorisation est généralement attribuée via le rôleroles/iam.serviceAccountUser
.Sur la page Comptes de service, cliquez sur l'adresse e-mail du compte de service par défaut (
PROJECT_NUMBER-compute@developer.gserviceaccount.com
).Cliquez sur l'onglet Autorisations.
Cliquez sur le bouton
Accorder l'accès.Pour ajouter un compte principal, saisissez l'adresse e-mail de votre compte de service (
SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
).Dans la liste Sélectionner un rôle, sélectionnez le rôle Comptes de service > Utilisateur du compte de service.
Cliquez sur Enregistrer.
gcloud
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Assurez-vous que la facturation est activée pour votre projet Google Cloud . Découvrez comment vérifier si la facturation est activée sur un projet.
Activez les API Artifact Registry, Batch, Cloud Build, Compute Engine Workflow Executions et Workflows.
gcloud services enable artifactregistry.googleapis.com \ batch.googleapis.com \ cloudbuild.googleapis.com \ compute.googleapis.com \ workflowexecutions.googleapis.com \ workflows.googleapis.com
Créez un compte de service que votre workflow utilisera pour l'authentification auprès d'autres services Google Cloud et attribuez-lui les rôles appropriés.
Créez le compte de service :
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
Remplacez
SERVICE_ACCOUNT_NAME
par le nom que vous souhaitez donner au compte de service.Attribuez des rôles au compte de service géré par l'utilisateur que vous avez créé à l'étape précédente. Exécutez la commande suivante une fois pour chacun des rôles IAM suivants :
roles/batch.jobsEditor
: pour modifier les jobs par lot.roles/logging.logWriter
: pour écrire des journaux.roles/storage.admin
: pour contrôler les ressources Cloud Storage.
gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \ --role=ROLE
Remplacez les éléments suivants :
PROJECT_ID
: ID du projet dans lequel vous avez créé le compte de service.ROLE
: rôle à accorder
Attribuez le rôle IAM "Utilisateur du compte de service" au compte de service par défaut pour le compte de service géré par l'utilisateur que vous avez créé à l'étape précédente. Une fois l'API Compute Engine activée, le compte de service par défaut est le compte de service Compute Engine par défaut (
PROJECT_NUMBER-compute@developer.gserviceaccount.com
), et l'autorisation est généralement attribuée via le rôleroles/iam.serviceAccountUser
.PROJECT_NUMBER=$(gcloud projects describe PROJECT_ID --format='value(projectNumber)') gcloud iam service-accounts add-iam-policy-binding \ $PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \ --role=roles/iam.serviceAccountUser
Créer un dépôt Artifact Registry
Créez un dépôt pour stocker votre image de conteneur Docker.
Console
Dans la console Google Cloud , accédez à la page Dépôts.
Cliquez sur
Créer un dépôt.Saisissez containers comme nom de dépôt.
Dans le champ Format, choisissez Docker.
Dans le champ Type d'emplacement, sélectionnez Région.
Dans la liste Région, sélectionnez us-central1.
Cliquez sur Créer.
gcloud
Exécutez la commande suivante :
gcloud artifacts repositories create containers \
--repository-format=docker \
--location=us-central1
Vous avez créé un dépôt Artifact Registry nommé containers
dans la région us-central1
. Pour en savoir plus sur les régions disponibles, consultez la page Emplacements d'Artifact Registry.
Obtenir les exemples de code
Google Cloud stocke le code source de l'application pour ce tutoriel dans GitHub. Vous pouvez cloner ce dépôt ou télécharger les exemples.
Clonez le dépôt de l'exemple d'application sur votre machine locale :
git clone https://github.com/GoogleCloudPlatform/batch-samples.git
Vous pouvez également télécharger les exemples dans le fichier
main.zip
et les extraire.Accédez au répertoire qui contient l'exemple de code :
cd batch-samples/primegen
Vous disposez désormais du code source de l'application dans votre environnement de développement.
Créez l'image Docker à l'aide de Cloud Build.
Le fichier Dockerfile
contient les informations nécessaires à la compilation d'une image Docker à l'aide de Cloud Build. Exécutez la commande suivante pour le créer :
gcloud builds submit \
-t us-central1-docker.pkg.dev/PROJECT_ID/containers/primegen-service:v1 PrimeGenService/
Remplacez PROJECT_ID
par l'ID de votre projet Google Cloud.
Une fois la compilation terminée, un résultat semblable aux lignes suivantes doit s'afficher :
DONE
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
ID: a54818cc-5d14-467b-bfda-5fc9590af68c
CREATE_TIME: 2022-07-29T01:48:50+00:00
DURATION: 48S
SOURCE: gs://project-name_cloudbuild/source/1659059329.705219-17aee3a424a94679937a7200fab15bcf.tgz
IMAGES: us-central1-docker.pkg.dev/project-name/containers/primegen-service:v1
STATUS: SUCCESS
À l'aide d'un fichier Dockerfile, vous avez créé une image Docker nommée primegen-service
et l'avez transférée vers un dépôt Artifact Registry nommé containers
.
Déployer un workflow qui planifie et exécute un job Batch
Le workflow suivant planifie et exécute un job Batch qui exécute un conteneur Docker sous forme de six tâches en parallèle sur deux VM Compute Engine. Le résultat est la génération de six lots de nombres premiers, stockés dans un bucket Cloud Storage.
Console
Dans la console Google Cloud , accédez à la page Workflows.
Cliquez sur
Créer.Saisissez un nom pour le nouveau workflow, par exemple
batch-workflow
.Dans la liste Région, sélectionnez us-central1.
Sélectionnez le compte de service que vous avez créé précédemment.
Cliquez sur Suivant.
Dans l'éditeur de workflow, saisissez la définition suivante pour votre workflow :
YAML
JSON
Cliquez sur Déployer.
gcloud
Créez un fichier de code source pour votre workflow :
touch batch-workflow.JSON_OR_YAML
Remplacez
JSON_OR_YAML
paryaml
oujson
en fonction du format de votre workflow.Dans un éditeur de texte, copiez le workflow suivant dans votre fichier de code source :
YAML
JSON
Déployez le workflow en saisissant la commande suivante :
gcloud workflows deploy batch-workflow \ --source=batch-workflow.yaml \ --location=us-central1 \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Remplacez
SERVICE_ACCOUNT_NAME
par le nom du compte de service que vous avez créé précédemment.
Exécuter le workflow
L'exécution d'un workflow exécute la définition actuelle du workflow associé au workflow.
Console
Dans la console Google Cloud , accédez à la page Workflows.
Sur la page Workflows, cliquez sur le workflow batch-workflow pour accéder à sa page d'informations.
Sur la page Détails du workflow, cliquez sur play_arrow Exécuter.
Cliquez à nouveau sur Exécuter.
L'exécution du workflow devrait prendre quelques minutes.
Affichez les résultats du workflow dans le volet Output (Résultat).
Le résultat doit ressembler à ce qui suit :
{ "bucket": "project-name-job-primegen-TIMESTAMP", "jobId": "job-primegen-TIMESTAMP" }
gcloud
Exécutez le workflow :
gcloud workflows run batch-workflow \ --location=us-central1
L'exécution du workflow devrait prendre quelques minutes.
Vous pouvez vérifier l'état d'une exécution de longue durée.
Pour obtenir l'état de la dernière exécution terminée, exécutez la commande suivante :
gcloud workflows executions describe-last
Les résultats doivent ressembler à ce qui suit :
name: projects/PROJECT_NUMBER/locations/us-central1/workflows/batch-workflow/executions/EXECUTION_ID result: '{"bucket":"project-name-job-primegen-TIMESTAMP","jobId":"job-primegen-TIMESTAMP"}' startTime: '2022-07-29T16:08:39.725306421Z' state: SUCCEEDED status: currentSteps: - routine: main step: returnResult workflowRevisionId: 000001-9ba
Lister les objets du bucket de sortie
Vous pouvez vérifier que les résultats sont conformes à vos attentes en listant les objets dans votre bucket de sortie Cloud Storage.
Console
- Dans la console Google Cloud , accédez à la page Buckets de Cloud Storage.
Dans la liste des buckets, cliquez sur le nom du bucket dont vous souhaitez afficher le contenu.
Les résultats doivent ressembler à ce qui suit, avec six fichiers au total, chacun listant un lot de 10 000 nombres premiers :
primes-1-10000.txt primes-10001-20000.txt primes-20001-30000.txt primes-30001-40000.txt primes-40001-50000.txt primes-50001-60000.txt
gcloud
Récupérez le nom de votre bucket de sortie :
gcloud storage ls
Le résultat ressemble à ce qui suit :
gs://PROJECT_ID-job-primegen-TIMESTAMP/
Listez les objets d'un bucket :
gcloud storage ls gs://PROJECT_ID-job-primegen-TIMESTAMP/** --recursive
Remplacez
TIMESTAMP
par le code temporel renvoyé par la commande précédente.Le résultat doit ressembler à ce qui suit, avec six fichiers au total, chacun listant un lot de 10 000 nombres premiers :
gs://project-name-job-primegen-TIMESTAMP/primes-1-10000.txt gs://project-name-job-primegen-TIMESTAMP/primes-10001-20000.txt gs://project-name-job-primegen-TIMESTAMP/primes-20001-30000.txt gs://project-name-job-primegen-TIMESTAMP/primes-30001-40000.txt gs://project-name-job-primegen-TIMESTAMP/primes-40001-50000.txt gs://project-name-job-primegen-TIMESTAMP/primes-50001-60000.txt
Effectuer un nettoyage
Si vous avez créé un projet pour ce tutoriel, supprimez-le. Si vous avez utilisé un projet existant et que vous souhaitez le conserver sans les modifications du présent tutoriel, supprimez les ressources créées pour ce tutoriel.
Supprimer le projet
Le moyen le plus simple d'empêcher la facturation est de supprimer le projet que vous avez créé pour ce tutoriel.
Pour supprimer le projet :
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Supprimer les ressources créées dans ce tutoriel
Supprimez le job par lot :
Commencez par récupérer le nom du job :
gcloud batch jobs list --location=us-central1
La sortie devrait ressembler à ce qui suit :
NAME: projects/project-name/locations/us-central1/jobs/job-primegen-TIMESTAMP STATE: SUCCEEDED
où
job-primegen-TIMESTAMP
est le nom du job Batch.Supprimez le job :
gcloud batch jobs delete BATCH_JOB_NAME --location us-central1
Supprimez le workflow :
gcloud workflows delete WORKFLOW_NAME
Supprimez le dépôt de conteneurs :
gcloud artifacts repositories delete REPOSITORY_NAME --location=us-central1
Cloud Build utilise Cloud Storage pour stocker les ressources de compilation. Pour supprimer un bucket Cloud Storage, consultez Supprimer des buckets.