Utilizza una coda Cloud Tasks per mettere in coda le esecuzioni del flusso di lavoro


Questo tutorial mostra come creare una coda Cloud Tasks che può regolare la frequenza delle esecuzioni dei flussi di lavoro.

Esiste un numero massimo di esecuzioni di flussi di lavoro attivi che possono avvenire contemporaneamente. Una volta esaurita questa quota, se la coda di esecuzione è disattivata o se viene raggiunta la quota per le esecuzioni in coda, tutte le nuove esecuzioni non vanno a buon fine con un codice di stato HTTP 429 Too many requests. Se consenti a una coda Cloud Tasks di eseguire flussi di lavoro secondari a una frequenza che definisci, puoi evitare problemi relativi alle quote di Workflows e ottenere una frequenza di esecuzione migliore.

Tieni presente che Cloud Tasks è progettato per fornire la consegna "almeno una volta". Tuttavia, Workflows non garantisce l'elaborazione esattamente una volta delle richieste duplicate da Cloud Tasks.

Nel seguente diagramma, un flusso di lavoro principale richiama i flussi di lavoro secondari regolati da una coda Cloud Tasks a cui è applicata una frequenza di invio.

Flusso di lavoro principale che richiama le iterazioni di un flusso di lavoro secondario tramite la coda Cloud Tasks

Obiettivi

In questo tutorial, imparerai a:

  1. Crea una coda di Cloud Tasks che agisce da intermediario tra i flussi di lavoro principali e secondari.
  2. Crea ed esegui il deployment di un flusso di lavoro secondario che riceve i dati dal flusso di lavoro principale.
  3. Crea ed esegui il deployment del flusso di lavoro principale che esegue il flusso di lavoro secondario tramite la coda Cloud Tasks.
  4. Esegui il flusso di lavoro principale senza un limite di frequenza di invio, che richiama le esecuzioni del flusso di lavoro secondario.
  5. Applica un limite di invio alla coda Cloud Tasks ed esegui il flusso di lavoro principale.
  6. Tieni presente che i flussi di lavoro secondari vengono eseguiti alla frequenza definita tramite la coda Cloud Tasks.

Puoi eseguire i seguenti comandi nella console Google Cloud o utilizzando Google Cloud CLI nel terminale o in Cloud Shell.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un ambiente Google Cloud vincolato.

Console

  1. Sign in to your Google Account.

    If you don't already have one, sign up for a new account.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

    Enable the APIs

  8. Nella console Google Cloud, vai alla pagina IAM per impostare le autorizzazioni per l'account di servizio predefinito di Compute Engine.

    Vai a IAM

    Prendi nota dell'account di servizio predefinito di Compute Engine, poiché lo assocerai ai flussi di lavoro in questo tutorial a scopo di test. Questo account di servizio viene creato automaticamente dopo aver attivato o utilizzato un servizio Google Cloud che utilizza Compute Engine e con il seguente formato email:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero del progetto nella pagina Ti diamo il benvenuto della console Google Cloud.

    Per gli ambienti di produzione, ti consigliamo vivamente di creare un nuovo account di servizio e di assegnargli uno o più ruoli IAM contenenti le autorizzazioni minime richieste e di seguire il principio del privilegio minimo.

  9. Seleziona l'account di servizio predefinito di Compute Engine e fai clic su Modifica entità nella riga corrispondente.
  10. Nella finestra di dialogo visualizzata, fai clic su Aggiungi un altro ruolo e aggiungi i seguenti ruoli:
    1. Nell'elenco Seleziona un ruolo, seleziona Workflow > Richiedente flussi di lavoro in modo che l'account abbia l'autorizzazione per attivare l'esecuzione del flusso di lavoro.
    2. Nell'elenco Seleziona un ruolo, seleziona Cloud Tasks > Coda di Cloud Tasks in modo che l'account abbia l'autorizzazione per creare attività.
  11. Fai clic su Salva.

gcloud

  1. Sign in to your Google Account.

    If you don't already have one, sign up for a new account.

  2. Install the Google Cloud CLI.
  3. To initialize the gcloud CLI, run the following command:

    gcloud init
  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com
  7. Install the Google Cloud CLI.
  8. To initialize the gcloud CLI, run the following command:

    gcloud init
  9. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  10. Make sure that billing is enabled for your Google Cloud project.

  11. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com
  12. Prendi nota dell'account di servizio predefinito di Compute Engine, poiché lo assocerai ai flussi di lavoro in questo tutorial a scopo di test. Questo account di servizio viene creato automaticamente dopo aver attivato o utilizzato un servizio Google Cloud che utilizza Compute Engine e con il seguente formato email:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero di progetto eseguendo questo comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Per gli ambienti di produzione, ti consigliamo vivamente di creare un nuovo account di servizio e di assegnargli uno o più ruoli IAM contenenti le autorizzazioni minime richieste e di seguire il principio del privilegio minimo.

  13. Concedi il ruolo Invoker di Workflows (roles/workflows.invoker) al progetto per l'account di servizio predefinito di Compute Engine in modo che l'account abbia la permissione di attivare l'esecuzione del workflow.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/workflows.invoker

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID progetto Google Cloud
    • PROJECT_NUMBER: il numero del progetto Google Cloud

  14. Concedi il ruolo Inserzionista in coda di Cloud Tasks (roles/cloudtasks.enqueuer) sul progetto all'account di servizio predefinito di Compute Engine in modo che l'account abbia la permissione di creare attività.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/cloudtasks.enqueuer

Crea una coda di attività Cloud Tasks

Crea una coda di Cloud Tasks che puoi utilizzare nel flusso di lavoro principale e che ti consente di regolare la frequenza delle esecuzioni del flusso di lavoro.

Console

  1. Nella console Google Cloud, vai alla pagina Cloud Tasks:

    Vai a Cloud Tasks

  2. Fai clic su Crea coda in modalità push.

  3. Inserisci il nome della coda, queue-workflow-child.

  4. Nell'elenco Regione, seleziona us-central1 (Iowa).

  5. Fai clic su Crea.

gcloud

QUEUE=queue-workflow-child
LOCATION=us-central1
gcloud tasks queues create $QUEUE --location=$LOCATION

Crea ed esegui il deployment di un flusso di lavoro secondario

Un workflow secondario può ricevere ed elaborare i dati di un workflow principale. Crea ed esegui il deployment di un flusso di lavoro secondario che:

  • Riceve un iteration come argomento
  • Va in sospensione per 10 secondi per simulare un'elaborazione
  • Restituisce una stringa al termine dell'esecuzione riuscita

Console

  1. Nella console Google Cloud, vai alla pagina Flussi di lavoro.

    Vai a Flussi di lavoro

  2. Fai clic su Crea.

  3. Inserisci il nome workflow-child per il nuovo flusso di lavoro.

  4. Nell'elenco Regione, seleziona us-central1 (Iowa).

  5. Nell'elenco Account di servizio, seleziona il Service account predefinito di Compute Engine.

  6. Fai clic su Avanti.

  7. Nell'editor del flusso di lavoro, inserisci la seguente definizione per il flusso di lavoro:

    main:
      params: [args]
      steps:
        - init:
            assign:
              - iteration : ${args.iteration}
        - wait:
            call: sys.sleep
            args:
                seconds: 10
        - return_message:
            return: ${"Hello world"+iteration}
  8. Fai clic su Esegui il deployment.

gcloud

  1. Crea un file di codice sorgente per il tuo flusso di lavoro:

    touch workflow-child.yaml
  2. Apri il file di codice sorgente in un editor di testo e copia nel file il seguente flusso di lavoro.

    main:
      params: [args]
      steps:
        - init:
            assign:
              - iteration : ${args.iteration}
        - wait:
            call: sys.sleep
            args:
                seconds: 10
        - return_message:
            return: ${"Hello world"+iteration}
  3. Esegui il deployment del flusso di lavoro:

    gcloud workflows deploy workflow-child \
        --source=workflow-child.yaml \
        --location=us-central1 \
        --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

Crea ed esegui il deployment del flusso di lavoro principale

Il flusso di lavoro principale esegue più rami del flusso di lavoro secondario utilizzando un loopfor.

  1. Copia il codice sorgente che definisce il flusso di lavoro principale:

    main:
      steps:
        - init:
            assign:
              - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
              - project_number: ${sys.get_env("GOOGLE_CLOUD_PROJECT_NUMBER")}
              - location: ${sys.get_env("GOOGLE_CLOUD_LOCATION")}
              - workflow_child_name: "workflow-child"
              - queue_name: "queue-workflow-child"
        - enqueue_tasks_to_execute_child_workflow:
            for:
              value: iteration
              range: [1, 100]
              steps:
                  - iterate:
                      assign:
                        - data:
                            iteration: ${iteration}
                        - exec:
                            # Encode object to JSON string in expression for workflow argument
                            argument: ${json.encode_to_string(data)}
                  - create_task_to_execute_child_workflow:
                      call: googleapis.cloudtasks.v2.projects.locations.queues.tasks.create
                      args:
                          parent: ${"projects/" + project_id + "/locations/" + location + "/queues/" + queue_name}
                          body:
                            task:
                              httpRequest:
                                body: ${base64.encode(json.encode(exec))}
                                url: ${"https://workflowexecutions.googleapis.com/v1/projects/" + project_id + "/locations/" + location + "/workflows/" + workflow_child_name + "/executions"}
                                oauthToken:
                                  serviceAccountEmail: ${project_number + "-compute@developer.gserviceaccount.com"}

    Il flusso di lavoro è costituito dai seguenti componenti:

    • Una mappa utilizzata per assegnare costanti che fanno riferimento al flusso di lavoro secondario e al nome della coda di Cloud Tasks. Per ulteriori informazioni, consulta Maps.

    • Un ciclo for che viene eseguito per richiamare il flusso di lavoro secondario in modo iterativo. Per ulteriori informazioni, consulta la sezione Iterazione.

    • Un passaggio del flusso di lavoro che crea e aggiunge un numero elevato di attività alla coda Cloud Tasks per eseguire il flusso di lavoro secondario. Per ulteriori informazioni, consulta il connettore dell'API Cloud Tasks.

  2. Esegui il deployment del flusso di lavoro:

    Console

    1. Nella console Google Cloud, vai alla pagina Flussi di lavoro:

      Vai a Flussi di lavoro

    2. Fai clic su Crea.

    3. Inserisci il nome workflow-parent per il nuovo flusso di lavoro.

    4. Nell'elenco Regione, seleziona us-central1 (Iowa).

    5. Nell'elenco Account di servizio, seleziona il Service account predefinito di Compute Engine.

    6. Fai clic su Avanti.

    7. Nell'editor del flusso di lavoro, incolla la definizione del flusso di lavoro principale.

    8. Fai clic su Esegui il deployment.

    gcloud

    1. Crea un file di codice sorgente per il tuo flusso di lavoro:

      touch workflow-parent.yaml
    2. Apri il file di codice sorgente in un editor di testo e incolla la definizione per il flusso di lavoro principale.

    3. Esegui il deployment del flusso di lavoro:

      gcloud workflows deploy workflow-parent \
          --source=workflow-parent.yaml \
          --location=us-central1 \
          --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

Esegui il flusso di lavoro principale senza limiti di frequenza

Esegui il flusso di lavoro principale per richiamare i flussi di lavoro secondari tramite la coda Cloud Tasks. Le esecuzioni dovrebbero richiedere circa 10 secondi.

Console

  1. Nella console Google Cloud, vai alla pagina Flussi di lavoro:

    Vai a Flussi di lavoro

  2. Nella pagina Flussi di lavoro, fai clic sul flusso di lavoro workflow-parent per accedere alla relativa pagina dei dettagli.

  3. Nella pagina Dettagli flusso di lavoro, fai clic su Esegui.

  4. Fai di nuovo clic su Esegui.

  5. Quando il flusso di lavoro principale è in esecuzione, torna alla pagina Workflow e fai clic sul flusso di lavoro workflow-child per accedere alla relativa pagina dei dettagli.

  6. Fai clic sulla scheda Esecuzioni.

    Dovresti vedere le esecuzioni del flusso di lavoro secondario, in esecuzione contemporaneamente, simili alla seguente:

    Dettagli delle esecuzioni del flusso di lavoro secondario in esecuzione contemporaneamente.

gcloud

  1. Esegui il flusso di lavoro:

    gcloud workflows run workflow-parent \
         --location=us-central1
  2. Per verificare che sia stata attivata un'esecuzione del flusso di lavoro, elenca le ultime quattro esecuzioni:

    gcloud workflows executions list workflow-child --limit=4

    Poiché il numero di esecuzioni (100) è inferiore al limite di concorrenza Workflows, i risultati dovrebbero essere simili ai seguenti. Potrebbero verificarsi problemi di quota se invii contemporaneamente migliaia di esecuzioni.

    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/1570d06e-d133-4536-a859-b7b6a1a85524
    STATE: ACTIVE
    START_TIME: 2023-07-27T00:56:15.093934448Z
    END_TIME:
    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/82724960-7d92-4961-aa2c-a0f0be46212c
    STATE: ACTIVE
    START_TIME: 2023-07-27T00:56:14.903007626Z
    END_TIME:
    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/598126fb-37f9-45bc-91d8-aea7d795d702
    STATE: ACTIVE
    START_TIME: 2023-07-27T00:56:14.698260524Z
    END_TIME:
    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/d2e9960b-f93f-4df4-a594-3e7e5c2be53f
    STATE: ACTIVE
    START_TIME: 2023-07-27T00:56:14.503818840Z
    END_TIME: 

Hai creato ed eseguito il deployment di un flusso di lavoro che richiama 100 iterazioni del flusso di lavoro figlio.

Esegui il flusso di lavoro principale con limiti di frequenza

Applica un limite di frequenza di un invio al secondo alla coda Cloud Tasks e poi esegui il flusso di lavoro principale.

Console

  1. Nella console Google Cloud, vai alla pagina Cloud Tasks:

    Vai a Cloud Tasks

  2. Fai clic su queue-workflow-child, la coda Cloud Tasks che hai creato, e poi su Modifica coda.

  3. Nella sezione Limiti di frequenza per invii di attività, per il campo Invii massimi, digita 1.

  4. Fai clic su Salva.

  5. Vai alla pagina Flussi di lavoro:

    Vai a Flussi di lavoro

  6. Fai clic sul flusso di lavoro workflow-parent per visualizzarne la pagina dei dettagli.

  7. Nella pagina Dettagli flusso di lavoro, fai clic su Esegui.

  8. Fai di nuovo clic su Esegui.

  9. Quando il flusso di lavoro principale è in esecuzione, torna alla pagina Workflow e fai clic sul flusso di lavoro workflow-child per accedere alla relativa pagina dei dettagli.

  10. Fai clic sulla scheda Esecuzioni.

    Dovresti vedere le esecuzioni del flusso di lavoro secondario, in esecuzione con una richiesta al secondo, simile alla seguente:

    Dettagli del flusso di lavoro secondario in esecuzione su richiesta al secondo.

gcloud

  1. Aggiorna la coda Cloud Tasks per applicare un limite di frequenza di un invio al secondo:

    gcloud tasks queues update $QUEUE \
        --max-dispatches-per-second=1 \
        --location=us-central1
  2. Esegui il flusso di lavoro:

    gcloud workflows run workflow-parent \
       --location=us-central1
  3. Per verificare che sia stata attivata un'esecuzione del flusso di lavoro, elenca le ultime quattro esecuzioni:

    gcloud workflows executions list workflow-child --limit=4

    I risultati dovrebbero essere simili al seguente, con un flusso di lavoro eseguito ogni secondo:

    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/becf4957-9fb2-40d9-835d-0ff2dd0c1249
    STATE: ACTIVE
    START_TIME: 2023-07-27T01:07:24.446361457Z
    END_TIME:
    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/6c1e7c4b-7ac6-4121-b351-1e2d56d10903
    STATE: ACTIVE
    START_TIME: 2023-07-27T01:07:23.448213989Z
    END_TIME:
    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/f2ba5027-af40-4cd3-8cd0-b8033bcc6211
    STATE: ACTIVE
    START_TIME: 2023-07-27T01:07:22.431485914Z
    END_TIME:
    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/ecc61ee5-fe87-49eb-8803-89dba929f6c8
    STATE: ACTIVE
    START_TIME: 2023-07-27T01:07:21.443466369Z
    END_TIME: 

Hai eseguito il deployment di un flusso di lavoro che richiama 100 iterazioni del flusso di lavoro secondario con una frequenza di invio di un'esecuzione al secondo.

Esegui la pulizia

Se hai creato un nuovo progetto per questo tutorial, eliminalo. Se hai utilizzato un progetto esistente e vuoi conservarlo senza le modifiche aggiunte in questo tutorial, elimina le risorse create per il tutorial.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.

Per eliminare il progetto:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminare le risorse dei tutorial

Elimina i flussi di lavoro e le risorse Cloud Tasks creati in questo tutorial:

Console

  • Per eliminare i flussi di lavoro:

    1. Nella console Google Cloud, vai alla pagina Flussi di lavoro:

      Vai a Flussi di lavoro

    2. Nell'elenco dei flussi di lavoro, fai clic su un flusso di lavoro per accedere alla relativa pagina Dettagli flusso di lavoro.

    3. Fai clic su Elimina.

    4. Digita il nome del flusso di lavoro e fai clic su Conferma.

  • Per eliminare la coda Cloud Tasks:

    1. Nella console Google Cloud, vai alla pagina Cloud Tasks:

      Vai a Cloud Tasks

    2. Seleziona il nome della coda che vuoi eliminare e fai clic su Elimina coda.

    3. Conferma l'azione.

gcloud

  • Per eliminare i flussi di lavoro, esegui questi comandi:

    gcloud workflows delete workflow-child
    gcloud workflows delete workflow-parent

  • Per eliminare la coda Cloud Tasks, esegui questo comando:

    gcloud tasks queues delete queue-workflow-child

Passaggi successivi