Documentation de Dataflow
Dataflow est un service géré permettant d'exécuter une grande variété de schémas de traitement de données. La documentation sur ce site explique comment déployer les pipelines de traitement de données par lot et par flux à l'aide de Dataflow. Elle contient également des instructions concernant l'utilisation des fonctionnalités du service.
Le SDK Apache Beam est un modèle de programmation Open Source qui vous permet de développer des pipelines par lots et en flux continu. Vous créez des pipelines avec un programme Apache Beam, puis les exécutez sur le service Dataflow. La documentation Apache Beam fournit des informations conceptuelles détaillées et des documents de référence pour le modèle de programmation Apache Beam, les SDK et les autres exécuteurs.
Pour apprendre les concepts de base d'Apache Beam, consultez les pages Présentation de Beam et Beam Playground. Le dépôt Dataflow Cookbook fournit également des pipelines prêts à l'emploi et autonomes, ainsi que les cas d'utilisation les plus courants de Dataflow.
Démarrez votre démonstration de faisabilité avec 300 $ de crédits gratuits
- Accès à Gemini 2.0 Flash Thinking
- Utilisation mensuelle gratuite de produits populaires, y compris les API d'IA et BigQuery
- Aucuns frais automatiques, aucun engagement
Continuez à explorer le monde avec plus de 20 produits toujours gratuits
Accédez à plus de 20 produits gratuits pour des cas d'utilisation courants, y compris des API d'IA, des VM, des entrepôts de données, et plus encore.
Ressources de documentation
Guides
Ressources associées
Exécuter des charges de travail HPC hautement parallèles
Avec Dataflow, vous pouvez exécuter vos charges de travail hautement parallèles dans un seul pipeline, ce qui améliore l'efficacité et facilite la gestion de votre workflow.
Exécuter des inférences avec Dataflow ML
Dataflow ML vous permet de déployer et gérer des pipelines de machine learning (ML) complets à l'aide de Dataflow. Utilisez des modèles de ML pour effectuer des inférences en local et à distance avec des pipelines de traitement par lot et par flux. Utilisez les outils de traitement des données pour préparer vos données à entraîner des modèles et traiter leurs résultats.
Créer un pipeline de streaming d'e-commerce
Créez un exemple d'application d'e-commerce de bout en bout qui diffuse les données de la boutique en ligne vers BigQuery et Bigtable. L'exemple d'application illustre des cas d'utilisation courants et des bonnes pratiques pour mettre en œuvre l'analyse de flux de données en continu et l'intelligence artificielle (IA) en temps réel.