Usar uma fila do Cloud Tasks para armazenar em buffer as execuções de fluxo de trabalho

Neste tutorial, mostramos como criar uma fila do Cloud Tasks pode regular a taxa de execução do fluxo de trabalho.

Há um número máximo de fluxos de trabalho ativos execuções que podem acontecer simultaneamente. Quando essa cota for esgotada e se a acumulação de execuções estiver desativada ou se a cota de execuções acumuladas for atingida, todas as novas execuções vão falhar com um código de status HTTP 429 Too many requests. Ativando uma fila do Cloud Tasks para executar fluxos de trabalho filhos a uma taxa que você define, é possível evitar problemas relacionados à cota do Workflows e alcançar uma taxa de execução melhor.

Observe que o Cloud Tasks foi projetado para fornecer "pelo menos uma vez" entrega No entanto, o Workflows não garante uma permissão exata processamento de solicitações duplicadas do Cloud Tasks.

No diagrama a seguir, um fluxo de trabalho pai invoca fluxos de trabalho filhos que são regulados por uma fila do Cloud Tasks com uma taxa de envio aplicada.

Fluxo de trabalho pai invocando iterações de um fluxo de trabalho filho pela fila do Cloud Tasks

Objetivos

Neste tutorial, você aprenderá a:

  1. Crie uma fila do Cloud Tasks que funcione como um intermediário entre os fluxos de trabalho pai e filho.
  2. Crie e implante um fluxo de trabalho filho que receba dados do fluxo de trabalho pai.
  3. Crie e implante o fluxo de trabalho pai que executa o fluxo de trabalho filho pela fila do Cloud Tasks.
  4. Executa o fluxo de trabalho pai sem um limite de taxa de despacho, que invoca executadas do fluxo de trabalho filho.
  5. Aplique um limite de envio à fila do Cloud Tasks e execute o fluxo de trabalho pai.
  6. Os fluxos de trabalho filhos são executados na taxa definida pela fila do Cloud Tasks.

É possível executar os comandos a seguir no console do Google Cloud ou usando a Google Cloud CLI no seu terminal ou no Cloud Shell.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

As restrições de segurança definidas pela sua organização podem impedir que você conclua as etapas a seguir. Para informações sobre solução de problemas, consulte Desenvolver aplicativos em um ambiente restrito do Google Cloud.

Console

  1. Sign in to your Google Account.

    If you don't already have one, sign up for a new account.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

    Enable the APIs

    8.
  8. No console do Google Cloud, acesse a página IAM para definir as permissões da conta de serviço padrão do Compute Engine.

    Acessar IAM

    Anote os requisitos do Compute Engine padrão da conta de serviço. Você a associará aos fluxos de trabalho neste tutorial para fins de teste. Essa conta de serviço é criada automaticamente depois de ativar ou usar um serviço do Google Cloud que usa o Compute Engine e com o seguinte formato de e-mail:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Substitua PROJECT_NUMBER pelo número do projeto do Google Cloud. O número do projeto está na página Olá! do console do Google Cloud.

    Para ambientes de produção, recomendamos criar uma nova conta de serviço e conceder a ela um ou mais papéis do IAM que contenham as permissões mínimas necessárias e sigam o princípio de privilégio mínimo.

  9. Selecione a conta de serviço padrão do Compute Engine e, nessa linha, clique em Editar principal.
  10. Na caixa de diálogo que aparece, clique em Adicionar outro papel e adicionar o os seguintes papéis:
    1. Na lista Selecionar um papel, selecione Fluxos de trabalho > Invocador de fluxos de trabalho para que a conta tenha permissão para acionar a execução do fluxo de trabalho.
    2. Na lista Selecionar um papel, selecione Cloud Tasks > Enfileiramento de tarefas do Cloud Tasks para que a conta tenha permissão para criar tarefas.
  11. Clique em Salvar.

gcloud

  1. Sign in to your Google Account.

    If you don't already have one, sign up for a new account.

  2. Install the Google Cloud CLI.

  3. To initialize the gcloud CLI, run the following command: 

    gcloud init

  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Tasks, Compute Engine, and Workflows APIs: 

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com
  7. Install the Google Cloud CLI.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  10. Make sure that billing is enabled for your Google Cloud project.

  11. Enable the Cloud Tasks, Compute Engine, and Workflows APIs: 

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

  12. Anote a conta de serviço padrão do Compute Engine, porque você vai associá-la aos fluxos de trabalho neste tutorial para fins de teste. Essa conta de serviço é criada automaticamente depois de ativar ou usar um serviço do Google Cloud que usa o Compute Engine e com o seguinte formato de e-mail:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Substitua PROJECT_NUMBER pelo seu Número do projeto do Google Cloud. Para encontrar o número do projeto, execute o seguinte comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Para ambientes de produção, recomendamos criar uma nova conta de serviço e conceder a ela um ou mais papéis do IAM que contenham as permissões mínimas necessárias e sigam o princípio de privilégio mínimo.

  13. Conceda o papel de Invocador do fluxo de trabalho (roles/workflows.invoker) no projeto à conta de serviço padrão do Compute Engine para que ela tenha permissão para acionar a execução do fluxo de trabalho.

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/workflows.invoker

    Substitua:

    • PROJECT_ID: o ID do projeto do Google Cloud
    • PROJECT_NUMBER: o número do projeto do Google Cloud.

  14. Conceda Papel de enfileirador do Cloud Tasks (roles/cloudtasks.enqueuer) no projeto para a conta de serviço padrão do Compute Engine para que ela tenha permissão para criar tarefas.

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/cloudtasks.enqueuer

Criar uma fila do Cloud Tasks

Crie uma fila do Cloud Tasks que possa ser usada no fluxo de trabalho pai e que permita regular a taxa de execuções do fluxo de trabalho.

Console

  1. No console do Google Cloud, acesse a página Cloud Tasks:

    Ir para o Cloud Tasks

  2. Clique em . Criar fila push.

  3. Insira o Nome da fila, queue-workflow-child.

  4. Na lista Região, selecione us-central1 (Iowa).

  5. Clique em Criar.

gcloud

QUEUE=queue-workflow-child
LOCATION=us-central1
gcloud tasks queues create $QUEUE --location=$LOCATION

Criar e implantar um fluxo de trabalho filho

Um fluxo de trabalho filho pode receber e processar dados de um fluxo de trabalho pai. Crie e implante um fluxo de trabalho filho que faça o seguinte:

  • Recebe um iteration como argumento.
  • Coloca em suspensão por 10 segundos para simular algum processamento

  • Retorna uma string após a execução bem-sucedida

Console

  1. No console do Google Cloud, abra a página Workflows.

    Acessar fluxos de trabalho

  2. Clique em Criar.

  3. Digite o nome, workflow-child, para o novo fluxo de trabalho.

  4. Na lista Região, selecione us-central1 (Iowa).

  5. Na lista Conta de serviço, selecione a conta de serviço padrão do Compute Engine.

  6. Clique em Próxima.

  7. No editor de fluxo de trabalho, insira a seguinte definição:

    main:
  params: [args]
  steps:
    - init:
        assign:
          - iteration : ${args.iteration}
    - wait:
        call: sys.sleep
        args:
            seconds: 10
    - return_message:
        return: ${"Hello world"+iteration}

  8. Clique em Implantar.

gcloud

  1. Crie um arquivo de código-fonte para seu fluxo de trabalho:

    touch workflow-child.yaml

  2. Abra o arquivo de código-fonte em um editor de texto e copie o seguinte fluxo de trabalho para o arquivo.

    main:
  params: [args]
  steps:
    - init:
        assign:
          - iteration : ${args.iteration}
    - wait:
        call: sys.sleep
        args:
            seconds: 10
    - return_message:
        return: ${"Hello world"+iteration}

  3. Implante o fluxo de trabalho:

    gcloud workflows deploy workflow-child \
    --source=workflow-child.yaml \
    --location=us-central1 \
    --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

Criar e implantar o fluxo de trabalho pai

O fluxo de trabalho pai executa várias ramificações do fluxo de trabalho filho usando um loop for.

  1. Copie o código-fonte que define o fluxo de trabalho pai:

    main:
  steps:
    - init:
        assign:
          - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
          - project_number: ${sys.get_env("GOOGLE_CLOUD_PROJECT_NUMBER")}
          - location: ${sys.get_env("GOOGLE_CLOUD_LOCATION")}
          - workflow_child_name: "workflow-child"
          - queue_name: "queue-workflow-child"
    - enqueue_tasks_to_execute_child_workflow:
        for:
          value: iteration
          range: [1, 100]
          steps:
              - iterate:
                  assign:
                    - data:
                        iteration: ${iteration}
                    - exec:
                        # Encode object to JSON string in expression for workflow argument
                        argument: ${json.encode_to_string(data)}
              - create_task_to_execute_child_workflow:
                  call: googleapis.cloudtasks.v2.projects.locations.queues.tasks.create
                  args:
                      parent: ${"projects/" + project_id + "/locations/" + location + "/queues/" + queue_name}
                      body:
                        task:
                          httpRequest:
                            body: ${base64.encode(json.encode(exec))}
                            url: ${"https://workflowexecutions.googleapis.com/v1/projects/" + project_id + "/locations/" + location + "/workflows/" + workflow_child_name + "/executions"}
                            oauthToken:
                              serviceAccountEmail: ${project_number + "-compute@developer.gserviceaccount.com"}

    O fluxo de trabalho consiste nas seguintes partes:

    • Um mapa usado para atribuir constantes que se referem ao fluxo de trabalho filho e ao nome da fila do Cloud Tasks. Para mais informações, consulte Google Maps.

    • Uma repetição for que é executada para invocar o fluxo de trabalho filho de maneira iterativa. Para mais informações, consulte Iteração.

    • Uma etapa de fluxo de trabalho que cria e adiciona um grande número de tarefas ao Fila do Cloud Tasks para executar o fluxo de trabalho filho. Para mais informações, consulte o conector da API Cloud Tasks.

  2. Implante o fluxo de trabalho:

    Console

    1. No console do Google Cloud, acesse Fluxos de trabalho página:

      Acessar fluxos de trabalho

    2. Clique em Criar.

    3. Digite o nome, workflow-parent, para o novo fluxo de trabalho.

    4. Na lista Região, selecione us-central1 (Iowa).

    5. Na lista Conta de serviço, selecione a conta de serviço padrão do Compute Engine.

    6. Clique em Próxima.

    7. No editor de fluxo de trabalho, cole a definição do fluxo de trabalho pai.

    8. Clique em Implantar.

    gcloud

    1. Crie um arquivo de código-fonte para seu fluxo de trabalho:

      touch workflow-parent.yaml

    2. Abra o arquivo de código-fonte em um editor de texto e cole a definição do fluxo de trabalho pai.

    3. Implante o fluxo de trabalho:

      gcloud workflows deploy workflow-parent \
    --source=workflow-parent.yaml \
    --location=us-central1 \
    --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

Executar o fluxo de trabalho pai sem limites de taxa

Execute o fluxo de trabalho pai para invocar os fluxos de trabalho filhos por meio do fila do Cloud Tasks. As execuções devem levar cerca de 10 segundos para serem concluídas.

Console

  1. No console do Google Cloud, acesse a página Fluxos de trabalho:

    Acessar fluxos de trabalho

  2. Na página Fluxos de trabalho, clique no workflow-parent acessar a página de detalhes.

  3. Na página Detalhes do fluxo de trabalho, clique em Executar.

  4. Clique em Executar novamente.

  5. Enquanto o fluxo de trabalho pai está em execução, volte à página Fluxos de trabalho e clique no fluxo de trabalho filho para acessar a página de detalhes dele.

  6. Clique na guia Executions.

    Você vai notar as execuções do fluxo de trabalho filho, sendo executadas ao mesmo tempo, semelhante a este:

    Detalhes das execuções de fluxo de trabalho filho que são executadas ao mesmo tempo.

gcloud

  1. Execute o fluxo de trabalho:

    gcloud workflows run workflow-parent \
     --location=us-central1

  2. Para verificar se uma execução de fluxo de trabalho foi acionada, liste as quatro últimas executions:

    gcloud workflows executions list workflow-child --limit=4

    Como o número de execuções (100) está abaixo do limite de simultaneidade Workflows, os resultados serão semelhante ao seguinte. Podem surgir problemas de cota se você enviar de milhares de execuções ao mesmo tempo. 

    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/1570d06e-d133-4536-a859-b7b6a1a85524
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:15.093934448Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/82724960-7d92-4961-aa2c-a0f0be46212c
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:14.903007626Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/598126fb-37f9-45bc-91d8-aea7d795d702
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:14.698260524Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/d2e9960b-f93f-4df4-a594-3e7e5c2be53f
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:14.503818840Z
END_TIME:

Você criou e implantou um fluxo de trabalho que invoca 100 iterações do fluxo de trabalho filho.

Executar o fluxo de trabalho pai com limites de taxa

Aplique um limite de taxa de um envio por segundo à fila do Cloud Tasks e execute o fluxo de trabalho pai.

Console

  1. No console do Google Cloud, acesse Cloud Tasks. página:

    Ir para o Cloud Tasks

  2. Clique em queue-workflow-child, na fila do Cloud Tasks criado e clique em Editar fila.

  3. Na seção Limites de taxa para despachos de tarefas, para a No campo Máximo de despachos, digite 1.

  4. Clique em Salvar.

  5. Acesse a página Fluxos de trabalho:

    Acessar fluxos de trabalho

  6. Clique no fluxo de trabalho workflow-parent para acessar a página de detalhes.

  7. Na página Detalhes do fluxo de trabalho, clique em Executar.

  8. Clique em Executar novamente.

  9. Enquanto o fluxo de trabalho pai está em execução, volte à página Fluxos de trabalho e clique no fluxo de trabalho filho para acessar a página de detalhes dele.

  10. Clique na guia Executions.

    Você vai notar as execuções do fluxo de trabalho filho, executadas a uma solicitação por segundo, semelhante a esta:

    Detalhes do fluxo de trabalho filho executado a cada solicitação por segundo.

gcloud

  1. Atualize a fila do Cloud Tasks para aplicar um limite de taxa de um despacho por segundo:

    gcloud tasks queues update $QUEUE \
    --max-dispatches-per-second=1 \
    --location=us-central1

  2. Execute o fluxo de trabalho:

    gcloud workflows run workflow-parent \
   --location=us-central1

  3. Para verificar se uma execução de fluxo de trabalho foi acionada, liste as quatro últimas execuções:

    gcloud workflows executions list workflow-child --limit=4

    Os resultados serão semelhantes aos seguintes, com um fluxo de trabalho executado por segundo: 

    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/becf4957-9fb2-40d9-835d-0ff2dd0c1249
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:24.446361457Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/6c1e7c4b-7ac6-4121-b351-1e2d56d10903
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:23.448213989Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/f2ba5027-af40-4cd3-8cd0-b8033bcc6211
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:22.431485914Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/ecc61ee5-fe87-49eb-8803-89dba929f6c8
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:21.443466369Z
END_TIME:

Você implantou um fluxo de trabalho que invoca 100 iterações do fluxo de trabalho filho com uma taxa de envio de uma execução por segundo.

Limpar

Se você criou um novo projeto para este tutorial, exclua o projeto. Se você usou um projeto atual e quer mantê-lo sem as alterações incluídas neste tutorial, exclua os recursos criados para o tutorial.

Exclua o projeto

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Excluir recursos do tutorial

Exclua os fluxos de trabalho e os recursos do Cloud Tasks criados neste tutorial:

Console

  • Para excluir os fluxos de trabalho, siga estas etapas:

    1. No console do Google Cloud, acesse a página Fluxos de trabalho:

      Acessar fluxos de trabalho

    2. Na lista de fluxos de trabalho, clique em um para acessar Página Detalhes do fluxo de trabalho.

    3. Clique em Excluir.

    4. Digite o nome do fluxo de trabalho e clique em Confirmar.

  • Para excluir a fila do Cloud Tasks, siga estas etapas:

    1. No console do Google Cloud, acesse Cloud Tasks. página:

      Ir para o Cloud Tasks

    2. Selecione o nome da fila que você quer excluir e clique em Excluir fila.

    3. Confirme a ação.

gcloud

  • Para excluir os fluxos de trabalho, execute estes comandos: 

    gcloud workflows delete workflow-child
gcloud workflows delete workflow-parent

  • Para excluir a fila do Cloud Tasks, execute este comando: 

    gcloud tasks queues delete queue-workflow-child

A seguir