Esegui il deployment delle pipeline Dataflow

Questo documento fornisce una panoramica del deployment della pipeline e mette in evidenza alcune delle operazioni che puoi eseguire su una pipeline di cui è stato eseguito il deployment.

Esegui la pipeline

Dopo aver creato e testato la pipeline Apache Beam, eseguila. Puoi eseguire la pipeline localmente, il che ti consente di testarla e di eseguire il debug, oppure su Dataflow, un sistema di elaborazione dei dati disponibile per l'esecuzione delle pipeline Apache Beam.

Esegui localmente

Esegui la pipeline in locale.

  mvn compile exec:java \
      -Dexec.mainClass=org.apache.beam.examples.WordCount \
      -Dexec.args="--output=counts"
  

python -m apache_beam.examples.wordcount \ --output outputs

    go run wordcount.go --input gs://dataflow-samples/shakespeare/kinglear.txt \ --output outputs
  

Scopri come eseguire la pipeline localmente, sulla tua macchina, utilizzando il runner diretto.

Esegui su Dataflow

Esegui la pipeline su Dataflow.

  mvn -Pdataflow-runner compile exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--project=PROJECT_ID \
    --gcpTempLocation=gs://BUCKET_NAME/temp/ \
    --output=gs://BUCKET_NAME/output \
    --runner=DataflowRunner \
    --region=REGION"
    

python -m apache_beam.examples.wordcount \
    --region DATAFLOW_REGION \
    --input gs://dataflow-samples/shakespeare/kinglear.txt \
    --output gs://STORAGE_BUCKET/results/outputs \
    --runner DataflowRunner \
    --project PROJECT_ID \
    --temp_location gs://STORAGE_BUCKET/tmp/

  posix-terminal go run wordcount.go --input gs://dataflow-samples/shakespeare/kinglear.txt \
    --output gs://STORAGE_BUCKET/results/outputs \
    --runner dataflow \
    --project PROJECT_ID \
    --region DATAFLOW_REGION \
    --staging_location gs://STORAGE_BUCKET/binaries/
  

Scopri come eseguire la pipeline nel servizio Dataflow, utilizzando il runner Dataflow.

Quando esegui la pipeline su Dataflow, quest'ultimo trasforma il codice della pipeline Apache Beam in un job Dataflow. Dataflow gestisce completamente per te i servizi Google Cloud, come Compute Engine e Cloud Storage, per eseguire il job Dataflow e avvia e arresta automaticamente le risorse necessarie. Puoi scoprire di più su come Dataflow trasforma il codice Apache Beam in un job Dataflow nel ciclo di vita della pipeline.

Convalida della pipeline

Quando esegui la pipeline su Dataflow, prima del lancio del job, Dataflow esegue test di convalida sulla pipeline. Quando un test di convalida rileva problemi con la pipeline, Dataflow interrompe in anticipo l'invio del job. Nei log dei job, Dataflow include messaggi con il seguente testo. Ogni messaggio include anche i dettagli sui risultati della convalida e le istruzioni per risolvere il problema.

The preflight pipeline validation failed for job JOB_ID.

I test di convalida eseguiti dipendono dalle risorse e dai servizi utilizzati dal tuo job Dataflow.

• Se l'API Service Usage è abilitata per il tuo progetto, i test di convalida della pipeline verificano se i servizi necessari per eseguire il job Dataflow sono abilitati.
• Se l'API Cloud Resource Manager è abilitata per il tuo progetto, i test di convalida della pipeline verificano se disponi delle configurazioni a livello di progetto necessarie per eseguire il tuo job Dataflow.

Per ulteriori informazioni sull'attivazione dei servizi, consulta Attivare e disattivare i servizi.

Per informazioni su come risolvere i problemi di autorizzazione rilevati durante la convalida della pipeline, consulta Convalida della pipeline non riuscita.

Se vuoi ignorare la convalida della pipeline ed eseguire il job con errori di convalida, utilizza la seguente opzione di servizio della pipeline:

--dataflowServiceOptions=enable_preflight_validation=false

--dataflow_service_options=enable_preflight_validation=false

--dataflow_service_options=enable_preflight_validation=false

Impostare le opzioni della pipeline

Puoi controllare alcuni aspetti della modalità di esecuzione del job da parte di Dataflow impostando le opzioni della pipeline nel codice della pipeline Apache Beam. Ad esempio, puoi utilizzare le opzioni della pipeline per impostare se la pipeline viene eseguita su macchine virtuali worker, sul backend del servizio Dataflow o localmente.

Gestire le dipendenze della pipeline

Molte pipeline Apache Beam possono essere eseguite utilizzando gli ambienti di runtime Dataflow predefiniti. Tuttavia, alcuni casi d'uso di elaborazione dei dati traggono vantaggio dall'utilizzo di librerie o classi aggiuntive. In questi casi, potresti dover gestire le dipendenze della pipeline. Per ulteriori informazioni sulla gestione delle dipendenze, consulta Gestire le dipendenze delle pipeline in Dataflow.

Monitora il tuo job

Dataflow offre visibilità sui job tramite strumenti come l'interfaccia di monitoraggio di Dataflow e l'interfaccia a riga di comando di Dataflow.

Accedere alle VM worker

Puoi visualizzare le istanze VM per una determinata pipeline utilizzando la console Google Cloud. Da qui, puoi utilizzare SSH per accedere a ogni istanza. Tuttavia, dopo il completamento o l'errore del job, il servizio Dataflow arresta e ripulisce automaticamente le istanze VM.

Ottimizzazioni dei job

Oltre a gestire le risorse Google Cloud, Dataflow esegue e ottimizza automaticamente molti aspetti dell'elaborazione parallela distribuita.

Parallelizzazione e distribuzione

Dataflow partiziona automaticamente i dati e distribuisce il codice worker alle istanze Compute Engine per l'elaborazione in parallelo. Per ulteriori informazioni, consulta la sezione Parallelizzazione e distribuzione.

Fusione e ottimizzazioni combinate

Dataflow utilizza il codice della pipeline per creare un grafo di esecuzione che rappresenta le PCollection e le trasformazioni della pipeline e ottimizza il grafo per ottenere il rendimento e l'utilizzo delle risorse più efficienti. Dataflow ottimizza automaticamente anche le operazioni potenzialmente costose, come le aggregazioni di dati. Per ulteriori informazioni, consulta Ottimizzazione della fusione e Ottimizzazione combinata.

Funzionalità di sintonizzazione automatica

Il servizio Dataflow include diverse funzionalità che consentono di regolare dinamicamente l'allocazione delle risorse e la suddivisione dei dati. Queste funzionalità aiutano Dataflow a eseguire il job nel modo più rapido ed efficiente possibile. Queste funzionalità includono:

• Scalabilità automatica orizzontale
• Scalabilità automatica verticale
• Ribilanciamento dinamico del lavoro

Streaming Engine

Per impostazione predefinita, il programma di esecuzione della pipeline Dataflow esegue i passaggi della pipeline di streaming interamente sulle macchine virtuali worker, consumando CPU, memoria e spazio di archiviazione su Persistent Disk dei worker. Streaming Engine di Dataflow trasferisce l'esecuzione della pipeline dalle VM worker al backend del servizio Dataflow. Per ulteriori informazioni, consulta Streaming Engine.

Pianificazione flessibile delle risorse di Dataflow

Dataflow FlexRS riduce i costi di elaborazione batch grazie a tecniche di pianificazione avanzate, al servizio Dataflow Shuffle e a una combinazione di istanze di macchine virtuali prerilasciabili e VM normali. Eseguendo in parallelo VM prerilasciabili e VM normali, Dataflow migliora l'esperienza utente se Compute Engine arresta le istanze VM prerilasciabile durante un evento di sistema. FlexRS contribuisce a garantire che la pipeline continui a progredire e che non perda il lavoro precedente quando Compute Engine prerilascia le VM prerilasciabili. Per ulteriori informazioni su FlexRS, consulta Utilizzare la pianificazione delle risorse flessibili in Dataflow.

VM schermata Dataflow

A partire dal 1° giugno 2022, il servizio Dataflow utilizza VM isolate per tutti i worker. Per scoprire di più sulle funzionalità delle Shielded VM, consulta Shielded VM.