Attivare i flussi di lavoro utilizzando Cloud Audit Logs (gcloud CLI)

Questa guida rapida mostra come eseguire un flusso di lavoro utilizzando un trigger Eventarc che riceve eventi Cloud Audit Logs da BigQuery. BigQuery ospita set di dati pubblici a cui puoi accedere e che puoi integrare nelle tue applicazioni. Il trigger esegue il flusso di lavoro ascoltando un job BigQuery che esegue query su un set di dati pubblico. Quindi passa gli eventi come argomenti runtime al flusso di lavoro di destinazione.

Puoi completare questa guida rapida utilizzando Google Cloud CLI.

  1. Utilizzare Workflows per creare ed eseguire il deployment di un flusso di lavoro che estrae e restituisce i dati da un evento.
  2. Crea un trigger Eventarc che collega un job BigQuery a un ricevitore eventi Workflows.
  3. Genera un evento eseguendo un job BigQuery utilizzando lo strumento a riga di comando bq. Questo evento viene passato come argomento runtime al flusso di lavoro di destinazione.
  4. Visualizza i dati sugli eventi nell'output di esecuzione del flusso di lavoro.

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un ambiente Google Cloud vincolato.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Install the Google Cloud CLI.

  3. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  4. To initialize the gcloud CLI, run the following command: 

    gcloud init

  5. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Install the Google Cloud CLI.

  8. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  9. To initialize the gcloud CLI, run the following command: 

    gcloud init

  10. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  11. Make sure that billing is enabled for your Google Cloud project.

  12. Aggiorna i componenti di gcloud: 
    gcloud components update

  13. Accedi utilizzando il tuo account: 
    gcloud auth login

  14. Abilita le API Compute Engine, Eventarc, Pub/Sub e Workflows.

    gcloud services enable \
compute.googleapis.com \
eventarc.googleapis.com \
pubsub.googleapis.com \
workflows.googleapis.com \
workflowexecutions.googleapis.com
  15. Imposta le variabili di configurazione utilizzate in questa guida rapida: 
    export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
export PROJECT_ID=PROJECT_ID
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

  16. Se hai creato il progetto, ti viene assegnato il ruolo di base Proprietario (roles/owner). Per impostazione predefinita, questo ruolo Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle risorse Google Cloud e puoi saltare questo passaggio.

    Se non sei il creatore del progetto, le autorizzazioni richieste devono essere concesse al principal appropriato. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per applicazioni e carichi di lavoro di calcolo). Per saperne di più, consulta la pagina Ruoli e autorizzazioni per la destinazione eventi.

    Autorizzazioni obbligatorie

    Per ottenere le autorizzazioni necessarie per completare questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

    Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

  17. Prendi nota dell'Account di servizio predefinito di Compute Engine, in quanto lo collegherai a un trigger Eventarc per rappresentare l'identità del trigger a scopo di test. Questo account di servizio viene creato automaticamente dopo l'attivazione o l'utilizzo di un servizio Google Cloud che utilizza Compute Engine e con il seguente formato email:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero di progetto nella pagina Benvenuto della console Google Cloud o eseguendo questo comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Per gli ambienti di produzione, ti consigliamo vivamente di creare un nuovo service account e di concedergli uno o più ruoli IAM che contengano le autorizzazioni minime richieste e di seguire il principio del privilegio minimo.

  18. Concedi il ruolo Destinatario di eventi Eventarc (roles/eventarc.eventReceiver) nel progetto al account di servizio predefinito di Compute Engine in modo che il trigger Eventarc possa ricevere eventi dai provider di eventi. 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/eventarc.eventReceiver
  19. Concedi il ruolo Invoker di Workflows (roles/workflows.invoker) sul progetto all'account di servizio Compute Engine predefinito in modo che l'account abbia l'autorizzazione per attivare l'esecuzione del flusso di lavoro. 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/workflows.invoker
  20. Concedi il ruolo Writer log Logging (roles/logging.logWriter) sul progetto al account di servizio Compute Engine predefinito in modo che il flusso di lavoro possa inviare i log a Cloud Logging. 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/logging.logWriter
  21. Se hai attivato l'agente di servizio Cloud Pub/Sub l'8 aprile 2021 o in una data precedente, per supportare le richieste push Pub/Sub autenticate, concedi il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator) all'agente di servizio. In caso contrario, questo ruolo viene concesso per impostazione predefinita: 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
    --role=roles/iam.serviceAccountTokenCreator

Crea ed esegui il deployment di un flusso di lavoro

Crea e implementa un flusso di lavoro eseguito quando il completamento di un job BigQuery attiva il flusso di lavoro con una richiesta HTTP.

  1. Apri un terminale o Cloud Shell.
  2. Nella tua home directory, crea un nuovo file denominato myFirstWorkflow.yaml o myFirstWorkflow.json.
  3. Copia e incolla quanto segue nel nuovo file e salvalo:

    YAML

    main:
  params: [event]
  steps:
      - log_event:
          call: sys.log
          args:
              text: ${event}
              severity: INFO
      - extract_data:
          assign:
          - data: ${event.data.protoPayload}
      - return_data:
              return:
                  data: ${data}

    JSON

    {
  "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "log_event": {
          "call": "sys.log",
          "args": {
            "text": "${event}",
            "severity": "INFO"
          }
        }
      },
      {
        "extract_data": {
          "assign": [
            {
              "data": "${event.data.protoPayload}"
            }
          ]
        }
      },
      {
        "return_data": {
          "return": {
            "data": "${data}"
          }
        }
      }
    ]
  }
}
  4. Esegui il deployment del flusso di lavoro: 
    export MY_WORKFLOW=myFirstWorkflow
gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml

    Sostituisci .yaml con .json se hai copiato la versione JSON del flusso di lavoro di esempio.

Crea un trigger Eventarc

Per creare un trigger Eventarc che esegue il routing degli eventi da BigQuery a una destinazione Workflows, esegui il comando gcloud eventarc triggers create.

  1. Crea un trigger che filtra gli eventi BigQuery:

    gcloud eventarc triggers create events-cal-trigger \
    --destination-workflow=${MY_WORKFLOW} \
    --destination-workflow-location=${WORKFLOW_LOCATION} \
    --event-filters="type=google.cloud.audit.log.v1.written" \
    --event-filters="serviceName=bigquery.googleapis.com" \
    --event-filters="methodName=google.cloud.bigquery.v2.JobService.InsertJob" \
    --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"

    Viene creato un trigger denominato events-cal-trigger.

    Tieni presente che quando crei un trigger Eventarc per la prima volta in un progetto Google Cloud , potrebbe verificarsi un ritardo nel provisioning dell'agente di servizio Eventarc. Questo problema può essere risolto di solito riprovando a creare il trigger. Per saperne di più, vedi Errori di autorizzazione negata.

  2. Per confermare che events-cal-trigger è stato creato correttamente, esegui:

    gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}

    L'output elenca l'ora e la posizione di creazione del trigger e dovrebbe essere simile a quanto segue:

    createTime: '2021-10-14T15:15:43.872360951Z'
[...]
name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger

Generare e visualizzare un evento

Esegui un job BigQuery utilizzando lo strumento a riga di comando bq per generare eventi e attivare il flusso di lavoro.

  1. Per attivare il flusso di lavoro, esegui un job BigQuery che acceda a un set di dati pubblico e recuperi le informazioni:

    bq query --nouse_legacy_sql \
'SELECT
COUNT(*)
FROM
`bigquery-public-data`.samples.shakespeare'

    Gli eventi generati vengono passati come argomenti runtime al flusso di lavoro che restituisce i dati del payload come risultato dell'esecuzione del flusso di lavoro.

  2. Per verificare che il flusso di lavoro sia stato attivato, elenca le ultime due esecuzioni:

    gcloud workflows executions list ${MY_WORKFLOW} --limit=2

    Due esecuzioni del flusso di lavoro vengono attivate dal job BigQuery. Un evento segnala la modifica del job, l'altro l'inserimento del job stesso. L'output elenca un NAME e un STATE pari a SUCCEEDED per ciascuna esecuzione e dovrebbe essere simile al seguente:

    NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.390549813Z
END_TIME: 2024-02-06T14:16:14.870102511Z
NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.389882601Z
END_TIME: 2024-02-06T14:16:14.829942525Z

    Tieni presente che nell'output, a073ad6a-c76b-4437-8d39-2ab3ade289d2 del campo NAME è l'ID dell'esecuzione del flusso di lavoro. Copia l'ID esecuzione da utilizzare nel passaggio successivo.

  3. Per visualizzare lo stato di esecuzione, esegui questo comando:

    gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}

    Sostituisci WORKFLOW_EXECUTION_ID con l'ID dell'esecuzione del flusso di lavoro corrispondente all'ora in cui è stato completato il job BigQuery.

    L'output dovrebbe essere simile al seguente:

    argument: [...]
duration: 0.277917625s
endTime: '2024-02-06T14:16:14.870102511Z'
name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
result: '{"data": [...]}'
startTime: '2024-02-06T14:16:14.390549813Z'
state: SUCCEEDED

  4. Verifica che l'startTime in cui è stato completato il job BigQuery e l'START_TIME dell'esecuzione del flusso di lavoro corrispondano.

Hai generato correttamente un evento BigQuery che ha attivato un destinatario di eventi Workflows utilizzando Eventarc.

Esegui la pulizia

  1. Elimina il flusso di lavoro creato: 
    gcloud workflows delete ${MY_WORKFLOW}
     Quando ti viene chiesto se vuoi continuare, digita y.
  2. Elimina il trigger che hai creato: 
    gcloud eventarc triggers delete events-cal-trigger
  3. In alternativa, puoi eliminare il tuo progetto Google Cloud per evitare addebiti. L'eliminazione del tuo progetto Google Cloud interrompe la fatturazione per tutte le risorse utilizzate al suo interno.

    Delete a Google Cloud project:

    gcloud projects delete PROJECT_ID

Passaggi successivi