Documentação do Dataflow
O Dataflow é um serviço gerenciado para executar uma ampla variedade de padrões de processamento de dados. A documentação neste site mostra como implantar os pipelines de processamento de dados de streaming e em lote usando o Dataflow, incluindo instruções de uso dos recursos de serviço.
O SDK do Apache Beam é um modelo de programação de código aberto que permite desenvolver pipelines de lote e de streaming. Você cria pipelines com um programa do Apache Beam e os executa no serviço do Dataflow. A documentação do Apache Beam fornece informações conceituais aprofundadas e material de referência para o modelo de programação, os SDKs e outros executores do Apache Beam.
Para aprender os conceitos básicos do Apache Beam, consulte o Tour do Beam e o Beam Playground. O repositório do Manual do Dataflow também fornece pipelines prontos para lançamento e independentes, além dos casos de uso mais comuns do Dataflow.
Comece sua prova de conceito com US $300 em crédito sem custos financeiros
- Acessar o Gemini 2.0 Flash Thinking
- Uso mensal gratuito de produtos conhecidos, incluindo APIs de IA e BigQuery
- Sem cobranças automáticas, sem compromisso
Continue explorando com mais de 20 produtos sempre gratuitos
Acesse mais de 20 produtos gratuitos para casos de uso comuns, incluindo APIs de IA, VMs, data warehouses e muito mais.
Recursos de documentação
Guias
Recursos relacionados
Executar cargas de trabalho de HPC altamente paralelas
Com o Dataflow, é possível executar cargas de trabalho altamente paralelas em um único pipeline, melhorando a eficiência e facilitando o gerenciamento do fluxo de trabalho.
Executar inferência com o Dataflow ML
O Dataflow ML permite usar o Dataflow para implantar e gerenciar pipelines completos de machine learning (ML). Use modelos de ML para fazer inferências locais e remotas com pipelines de streaming e em lote. Use ferramentas de processamento de dados para preparar seus dados para o treinamento de modelo e processar os resultados dos modelos.
Criar um pipeline de streaming de e-commerce
Criar um aplicativo de amostra de e-commerce completo que transmite dados de uma loja on-line para o BigQuery e o Bigtable. O aplicativo de amostra ilustra casos comuns e práticas recomendadas para implementar a análise de dados de streaming e a inteligência artificial (IA) em tempo real.