Documentazione di Dataflow
Dataflow è un servizio gestito per l'esecuzione di un'ampia varietà di pattern di elaborazione dati. La documentazione di questo sito mostra come eseguire il deployment delle pipeline di elaborazione dei dati batch e di streaming utilizzando Dataflow, incluse le istruzioni per l'utilizzo delle funzionalità del servizio.
L'SDK Apache Beam è un modello di programmazione open source che consente di sviluppare pipeline batch e di streaming. Crea le pipeline con un programma Apache Beam e poi eseguile nel servizio Dataflow. La documentazione di Apache Beam fornisce informazioni concettuali approfondite e materiale di riferimento per il modello di programmazione, gli SDK e altri runner di Apache Beam.
Per scoprire i concetti di base di Apache Beam, consulta il tour di Beam e Beam Playground. Il repository Dataflow Cookbook fornisce anche pipeline pronte per l'avvio e autonome e i casi d'uso più comuni di Dataflow.
Inizia la tua proof of concept con 300 $di credito gratuito
- Accedere a Gemini 2.0 Flash Thinking
- Utilizzo mensile gratuito di prodotti popolari, tra cui le API di AI e BigQuery
- Nessun addebito automatico, nessun impegno
Continua a esplorare con oltre 20 prodotti Always Free
Accedi a oltre 20 prodotti gratuiti per casi d'uso comuni, tra cui API AI, VM, data warehouse e altro ancora.
Risorse di documentazione
Guide
Risorse correlate
Esegui carichi di lavoro HPC altamente paralleli
Con Dataflow, puoi eseguire i carichi di lavoro altamente paralleli in un'unica pipeline, migliorando l'efficienza e semplificando la gestione del flusso di lavoro.
Esegui l'inferenza con Dataflow ML
Dataflow ML ti consente di utilizzare Dataflow per eseguire il deployment e gestire pipeline di machine learning (ML) complete. Utilizza i modelli ML per eseguire l'inferenza locale e remota con pipeline batch e di streaming. Utilizza gli strumenti di elaborazione dei dati per prepararli per l'addestramento del modello ed elaborare i risultati dei modelli.
Crea una pipeline di streaming per l'e-commerce
Crea un'applicazione di esempio di e-commerce end-to-end che trasmette dati da un negozio online a BigQuery e Bigtable. L'applicazione di esempio illustra i casi d'uso comuni e le best practice per l'implementazione dell'analisi dei flussi di dati e dell'intelligenza artificiale (AI) in tempo reale.