Dataflow è basato sul progetto open source Apache Beam. Puoi utilizzare l'SDK Apache Beam per creare pipeline per Dataflow. Questo documento elenca alcune risorse per iniziare a utilizzare la programmazione di Apache Beam.
Installa l'SDK Apache Beam: spiega come installare l'SDK Apache Beam per eseguire le pipeline nel servizio Dataflow.
Guida alla programmazione di Apache Beam: fornisce indicazioni per l'utilizzo delle classi dell'SDK Apache Beam per creare e testare la pipeline.
Tour di Apache Beam: una guida didattica che puoi utilizzare per familiarizzare con Apache Beam. Le unità didattiche sono accompagnate da esempi di codice che puoi eseguire e modificare.
Apache Beam Playground: un ambiente interattivo per provare le trasformazioni e gli esempi di Apache Beam senza dover installare Apache Beam nel tuo ambiente.
Sul sito web di Apache Beam puoi anche trovare informazioni su come progettare, creare e testare la pipeline:
Progetta la pipeline: spiega come determinare la struttura della pipeline, come scegliere le trasformazioni da applicare ai dati e come determinare i metodi di input e output.
Crea la tua pipeline: spiega la procedura di utilizzo delle classi negli SDK Apache Beam e i passaggi necessari per creare una pipeline.
Testa la pipeline: presenta le best practice per testare le pipeline.
Puoi utilizzare i seguenti esempi di GitHub di Apache Beam per iniziare a creare una pipeline in modalità flusso:
- Estrazione di parole in streaming (Java)
- Conteggio parole in streaming (Python) e
streaming_wordcap(Vai).