Dataflow-Dokumentation
Dataflow ist ein verwalteter Dienst zur Ausführung eines breiten Spektrums an Datenverarbeitungsmustern. Die Dokumentation auf dieser Website zeigt Ihnen, wie Sie Ihre Batch- und Streaming-Datenverarbeitungspipelines mit Dataflow bereitstellen. Sie enthält auch Anweisungen zur Verwendung der Servicefunktionen.
Das Apache Beam SDK ist ein Open-Source-Programmiermodell, mit dem Sie sowohl Batch- als auch Streamingpipelines entwickeln können. Sie erstellen Ihre Pipelines mit einem Apache Beam-Programm und führen sie dann im Dataflow-Dienst aus. Die Apache Beam-Dokumentation enthält ausführliche konzeptionelle Informationen und Referenzmaterial für das Apache Beam-Programmiermodell, SDKs und andere Runner.
Grundlegende Apache Beam-Konzepte finden Sie in der Tour zu Beam und Beam Playground. Das Repository Dataflow Cookbook bietet außerdem einsatzbereite und eigenständige Pipelines sowie die gängigsten Dataflow-Anwendungsfälle.
Proof of Concept mit einem Guthaben in Höhe von 300 $starten
- Zugriff auf Gemini 2.0 Flash Thinking erhalten
- Kostenlose monatliche Nutzung beliebter Produkte wie KI-APIs und BigQuery
- Keine automatischen Abbuchungen, keine Verpflichtung
Mehr als 20 Produkte immer kostenlos nutzen
Sie haben Zugriff auf mehr als 20 kostenlose Produkte für gängige Anwendungsfälle, darunter KI-APIs, VMs, Data Warehouses und mehr.
Dokumentationsressourcen
Leitfäden
Weitere Informationen
Hochgradig parallele HPC-Arbeitslasten ausführen
Mit Dataflow können Sie Ihre hochgradig parallelen Arbeitslasten in einer einzigen Pipeline ausführen, wodurch sich die Effizienz verbessert und Ihr Workflow einfacher zu verwalten wird.
Inferenz mit Dataflow ML ausführen
Mit Dataflow ML können Sie vollständige ML-Pipelines (maschinelles Lernen) mithilfe von Dataflow bereitstellen und verwalten. Verwenden Sie ML-Modelle für lokale und Remote-Inferenz mit Batch- und Streaming-Pipelines. Verwenden Sie Datenverarbeitungstools, um Ihre Daten für das Modelltraining vorzubereiten und die Ergebnisse der Modelle zu verarbeiten.
E-Commerce-Streamingpipeline erstellen
End-to-End-E-Commerce-Beispielanwendung erstellen, die Daten aus einem Webstore an BigQuery und Bigtable streamt. Die Beispielanwendung veranschaulicht gängige Anwendungsfälle und Best Practices für die Implementierung von Streamingdatenanalysen und KI in Echtzeit.