Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Dataflow basiert auf dem Open-Source-Projekt Apache Beam. Sie können das Apache Beam SDK verwenden, um Pipelines für Dataflow zu erstellen.
In diesem Dokument werden einige Ressourcen für den Einstieg in die Apache Beam-Programmierung aufgeführt.
Apache Beam SDK installieren: Erläutert, wie Sie das Apache Beam SDK installieren, damit Sie Ihre Pipelines im Dataflow-Dienst ausführen können.
Apache Beam-Programmierhandbuch: Enthält Anleitungen zum Verwenden der Apache Beam SDK-Klassen zum Erstellen und Testen Ihrer Pipeline.
Tour zu Apache Beam: Ein Lernleitfaden, mit dem Sie sich mit Apache Beam vertraut machen können.
Lerneinheiten begleitet von Codebeispielen, die Sie ausführen und ändern können.
Apache Beam Playground: Eine interaktive Umgebung zum Testen von Apache Beam-Transformationen und -Beispielen, ohne Apache Beam in Ihrer Umgebung installieren zu müssen.
Auf der Apache Beam-Website finden Sie auch Informationen zum Entwerfen, Erstellen und Testen Ihrer Pipeline:
Die Entwicklung von Pipelines – zeigt, wie Sie die Struktur Ihrer Pipeline festlegen, wie Sie aussuchen, welche Transformationen auf Ihre Daten angewendet werden sollten und wie Sie Ihre Eingabe- und Ausgabemethoden bestimmen.
Pipeline erstellen: Erläutert die Funktionsweise der Verwendung der Klassen in den Apache Beam SDKs und die nötigen Schritte zur Erstellung einer Pipeline.
Pipeline testen: Stellt Best Practices zum Testen von Pipelines vor.
Sie können die folgenden Beispiele aus dem Apache Beam GitHub verwenden, um mit dem Erstellen einer Streaming-Pipeline zu beginnen:
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-03-24 (UTC)."],[[["\u003cp\u003eDataflow utilizes the open-source Apache Beam project, allowing users to construct pipelines with the Apache Beam SDK.\u003c/p\u003e\n"],["\u003cp\u003eResources are provided for installing the Apache Beam SDK, guiding users on how to run their pipelines within the Dataflow service.\u003c/p\u003e\n"],["\u003cp\u003eThe Apache Beam website offers resources covering pipeline design, creation, and testing best practices, using the classes in the Apache Beam SDK.\u003c/p\u003e\n"],["\u003cp\u003eThe Apache Beam playground offers an interactive environment to try out the Apache Beam transforms without needing to install Apache Beam.\u003c/p\u003e\n"],["\u003cp\u003eExample streaming pipelines, including word extraction, word count, and wordcap, are available on the Apache Beam GitHub repository in Java, Python, and Go.\u003c/p\u003e\n"]]],[],null,["# Use Apache Beam to build pipelines\n\nDataflow is built on the open source\n[Apache Beam](https://beam.apache.org/) project. You can\nuse the Apache Beam SDK to build pipelines for Dataflow.\nThis document lists some resources for getting started with Apache Beam\nprogramming.\n\nGet started\n-----------\n\n- [Install the Apache Beam SDK](/dataflow/docs/guides/installing-beam-sdk):\n Shows how to install the Apache Beam SDK so that you can run your\n pipelines in Dataflow.\n\n- [Create a Java pipeline](/dataflow/docs/guides/create-pipeline-java): Shows\n how to create a pipeline with the Apache Beam Java SDK and run the\n pipeline in Dataflow.\n\n- [Create a Python pipeline](/dataflow/docs/guides/create-pipeline-python):\n Shows how to create a pipeline with the Apache Beam Python SDK and run the\n pipeline in Dataflow.\n\n- [Create a Go pipeline](/dataflow/docs/guides/create-pipeline-go): Shows\n how to create a pipeline with the Apache Beam Go SDK and run the pipeline\n in Dataflow.\n\nLearn Apache Beam\n-----------------\n\nYou can use the following pages on the Apache Beam website to learn about\nApache Beam programming.\n\n- [Apache Beam programming guide](https://beam.apache.org/documentation/programming-guide/):\n Provides guidance for using the Apache Beam SDK classes to build and test\n your pipeline.\n\n- [Tour of Apache Beam](https://tour.beam.apache.org/):\n A learning guide you can use to familiarize yourself with Apache Beam.\n Learning units are accompanied by code examples that you can run and modify.\n\n- [Apache Beam playground](https://play.beam.apache.org/):\n An interactive environment to try out Apache Beam transforms and examples\n without having to install Apache Beam in your environment.\n\n- [Create your pipeline](https://beam.apache.org/documentation/pipelines/create-your-pipeline/):\n Explains the mechanics of using the classes in the Apache Beam SDKs and\n the necessary steps needed to build a pipeline.\n\nDevelop pipelines\n-----------------\n\n- [Plan your pipeline](/dataflow/docs/guides/plan-pipelines): Learn how to plan\n your pipeline before you begin code development.\n\n- [Develop and test pipelines](/dataflow/docs/guides/plan-pipelines): Learn best\n practices for developing and testing your Dataflow pipeline.\n\n- [Streaming pipelines](/dataflow/docs/concepts/streaming-pipelines): Learn\n about important design considerations for streaming pipelines, including\n windows, triggers, and watermarks.\n\nCode examples\n-------------\n\nYou can use the following examples from the Apache Beam GitHub to start\nbuilding a streaming pipeline:\n\n- [Streaming word extraction](https://github.com/apache/beam/blob/master/examples/java/src/main/java/org/apache/beam/examples/complete/StreamingWordExtract.java) (Java)\n- [Streaming word count](https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/streaming_wordcount.py) (Python), and\n- [`streaming_wordcap`](https://github.com/apache/beam/blob/master/sdks/go/examples/streaming_wordcap/wordcap.go) (Go).\n\nWhat's next\n-----------\n\n- [Deploy Dataflow pipelines](/dataflow/docs/guides/deploying-a-pipeline).\n- [Use the Dataflow job monitoring interface](/dataflow/docs/guides/monitoring-overview)."]]
