Dataflow è basato sul progetto open source Apache Beam. Puoi utilizzare l'SDK Apache Beam per creare pipeline per Dataflow. Questo documento elenca alcune risorse per iniziare a utilizzare la programmazione di Apache Beam.
Inizia
Installa l'SDK Apache Beam: spiega come installare l'SDK Apache Beam per eseguire le pipeline in Dataflow.
Crea una pipeline Java: mostra come creare una pipeline con l'SDK Apache Beam Java ed eseguirla in Dataflow.
Crea una pipeline Python: spiega come creare una pipeline con l'SDK Apache Beam per Python ed eseguirla in Dataflow.
Crea una pipeline Go: mostra come creare una pipeline con l'SDK Apache Beam Go ed eseguirla in Dataflow.
Scopri Apache Beam
Puoi utilizzare le seguenti pagine del sito web di Apache Beam per scoprire di più sulla programmazione di Apache Beam.
Guida alla programmazione di Apache Beam: fornisce indicazioni per l'utilizzo delle classi dell'SDK Apache Beam per creare e testare la pipeline.
Tour di Apache Beam: una guida didattica che puoi utilizzare per familiarizzare con Apache Beam. Le unità didattiche sono accompagnate da esempi di codice che puoi eseguire e modificare.
Apache Beam Playground: un ambiente interattivo per provare le trasformazioni e gli esempi di Apache Beam senza dover installare Apache Beam nel tuo ambiente.
Crea la tua pipeline: spiega la procedura di utilizzo delle classi negli SDK Apache Beam e i passaggi necessari per creare una pipeline.
Sviluppare pipeline
Pianifica la pipeline: scopri come pianificare la pipeline prima di iniziare a sviluppare il codice.
Sviluppare e testare le pipeline: scopri le best practice per sviluppare e testare la pipeline Dataflow.
Pipeline di flusso: scopri importanti considerazioni di progettazione per le pipeline di flusso, tra cui finestre, attivatori e filigrane.
Esempi di codice
Puoi utilizzare i seguenti esempi di GitHub di Apache Beam per iniziare a creare una pipeline in modalità flusso:
- Estrazione di parole in streaming (Java)
- Conteggio parole in streaming (Python) e
streaming_wordcap(Vai).
Passaggi successivi
- Esegui il deployment delle pipeline Dataflow.
- Utilizza l'interfaccia di monitoraggio dei job Dataflow.