Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Datastream ist ein serverloser, nutzerfreundlicher CDC- (Change Data Capture) und Replikationsdienst, mit dem Sie Daten zuverlässig und mit minimaler Latenz synchronisieren können.
Datastream bietet eine nahtlose Replikation von Daten aus operativen Datenbanken zu BigQuery. Außerdem können Sie mit Datastream den Änderungsereignisstream in Cloud Storage schreiben und Dataflow-Vorlagen problemlos einbinden, um benutzerdefinierte Workflows zum Laden von Daten in eine Vielzahl von Zielen wie Cloud SQL und Spanner zu erstellen. Datastream ermöglicht es Ihnen auch, den Ereignisstream aus Cloud Storage direkt für ereignisgesteuerte Architekturen zu nutzen. Datastream unterstützt Oracle-, MySQL-, SQL Server-, PostgreSQL- (einschließlich AlloyDB for PostgreSQL), MongoDB- (Vorschau) und Salesforce-Quellen (Vorschau).
Vorteile von Datastream:
Nahtloses Einrichten von ELT-Pipelines (Extract, Load, Transform) für die Datenreplikation mit niedriger Latenz, um nahezu in Echtzeit Informationen in BigQuery zu erhalten.
Da es sich um einen serverlosen Dienst handelt, müssen keine Ressourcen bereitgestellt oder verwaltet werden, und der Dienst lässt sich bei Bedarf automatisch mit minimalen Ausfallzeiten hoch- und runterskalieren.
Nutzerfreundliche Einrichtung und Monitoring, die eine extrem schnelle Wertschöpfung ermöglichen.
Integration des besten Portfolios von Google Cloud Datendiensten für die Datenintegration in Datastream, Dataflow, Pub/Sub, BigQuery und mehr.
Synchronisieren und Vereinheitlichen von Datenstreams in heterogenen Datenbanken und Anwendungen.
Sicherheit mit privaten Verbindungsoptionen und der Sicherheit, die Sie vonGoogle Clouderwarten.
Präzise und zuverlässig, mit transparenten Statusberichten und robuster Verarbeitungsflexibilität bei Daten- und Schemaänderungen.
Unterstützung mehrerer Anwendungsfälle, einschließlich Analysen, Datenbankreplikation und Synchronisierung für Migrationen und Hybrid-Cloud-Konfigurationen sowie zum Erstellen ereignisgesteuerter Architekturen.
Anwendungsfälle
Die Streamingfunktionen von Datastream ermöglichen eine Vielzahl von Anwendungsfällen:
Daten in Ihrer Organisation mit minimaler Latenz replizieren und synchronisieren
Sie können Daten aus heterogenen Datenbanken und Anwendungen zuverlässig mit niedriger Latenz und minimalen Auswirkungen auf die Leistung der Quelle synchronisieren. Nutzen Sie das Potenzial von Datenstreams für Analysen, Datenbankreplikation, Cloud-Migration und ereignisgesteuerte Architekturen in hybriden Umgebungen.
Mit einer serverlosen Architektur nach oben oder unten skalieren
Mit einem serverlosen und nutzerfreundlichen Dienst, der sich nahtlos entsprechend des Datenvolumens skalieren lässt, sind Sie schnell startklar. Konzentrieren Sie sich darauf, aktuelle Informationen aus Ihren Daten zu gewinnen und auf Probleme mit hoher Priorität zu reagieren, anstatt die Infrastruktur zu verwalten, die Leistung zu optimieren oder Ressourcen bereitzustellen.
Einbindung in die Google Cloud -Datenintegration
Mit der Google Cloud Produktsuite für Datenintegration können Sie Daten unternehmensweit verknüpfen. Datastream in Dataflow-Jobvorlagen einbinden, um Daten aus einem Cloud Storage-Bucket zu lesen und in verschiedene Ziele wie BigQuery, Spanner und Cloud SQL zu laden.
Experience-Elemente
Datastream besteht aus drei Hauptelementen:
Konfigurationen privater Verbindungen ermöglichen Datastream die Kommunikation mit einer Datenquelle über ein privates Netzwerk (intern inGoogle Cloudoder mit externen Quellen, die über VPN oder Interconnect verbunden sind). Diese Kommunikation erfolgt über eine VPC-Peering-Verbindung (Virtual Private Cloud).
Verbindungsprofile enthalten Verbindungsinformationen für eine Quelle und ein Ziel. Diese Informationen werden von einem Stream verwendet.
Streams verwenden die Informationen in den Verbindungsprofilen, um CDC- und Backfill-Daten von der Quelle an das Ziel zu übertragen.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-12 (UTC)."],[[["\u003cp\u003eDatastream is a serverless change data capture (CDC) and replication service that synchronizes data from various operational databases, including Oracle, MySQL, SQL Server, PostgreSQL, and Salesforce, into BigQuery, Cloud Storage, and other destinations.\u003c/p\u003e\n"],["\u003cp\u003eThis service offers low-latency data replication, enabling near real-time insights, seamless scaling, and easy setup and monitoring without the need for manual resource management.\u003c/p\u003e\n"],["\u003cp\u003eDatastream integrates with Google Cloud's data services like Dataflow, Pub/Sub, and BigQuery to build ELT pipelines and is designed to unify data streams across heterogeneous databases and applications.\u003c/p\u003e\n"],["\u003cp\u003eThe platform supports a variety of use cases, such as analytics, database replication, migration and synchronization across hybrid-cloud environments, and building event-driven architectures with minimal latency.\u003c/p\u003e\n"]]],[],null,["# Datastream overview\n\nDatastream is a serverless and easy-to-use change data capture (CDC) and replication service that lets you synchronize data reliably, and with minimal latency.\n\nDatastream provides seamless replication of data from operational databases into BigQuery. In addition, Datastream supports writing the change event stream into Cloud Storage, and offers streamlined integration with Dataflow templates to build custom workflows for loading data into a wide range of destinations, such as Cloud SQL and Spanner. You can also use Datastream to take advantage of the event stream directly from Cloud Storage to realize event-driven architectures. Datastream supports Oracle, MySQL, SQL Server, PostgreSQL (including AlloyDB for PostgreSQL), MongoDB ([Preview](/products#product-launch-stages)) and Salesforce ([Preview](/products#product-launch-stages)) sources.\n\nBenefits of Datastream include:\n\n- Seamless setup of ELT (Extract, Load, Transform) pipelines for low-latency data replication to enable near real-time insights in BigQuery.\n- Being serverless so there are no resources to provision or manage, and the service scales up and down automatically, as needed, with minimal downtime.\n- Easy-to-use setup and monitoring experiences that achieve super-fast time-to-value.\n- Integration across the best of Google Cloud data services' portfolio for data integration across Datastream, Dataflow, Pub/Sub, BigQuery, and more.\n- Synchronizing and unifying data streams across heterogeneous databases and applications.\n- Security, with private connectivity options and the security you expect from Google Cloud.\n- Being accurate and reliable, with transparent status reporting and robust processing flexibility in the face of data and schema changes.\n- Supporting multiple use cases, including analytics, database replication, and synchronization for migrations and hybrid-cloud configurations, and for building event-driven architectures.\n\nUse cases\n---------\n\nThe streaming capabilities of Datastream enable a variety of use cases:\n\n- **Replicating and synchronizing data across your organization with minimal\n latency**\n\n You can synchronize data across heterogeneous databases and applications\n reliably, with low latency, and with minimal impact to the performance of\n your source. Unlock the power of data streams for analytics, database\n replication, cloud migration, and event-driven architectures across hybrid\n environments.\n- **Scale up or down with a serverless architecture seamlessly**\n\n Get up and running fast with a serverless and easy-to-use service that\n scales seamlessly as your data volumes shift. Focus on deriving up-to-date\n insights from your data and responding to high-priority issues, instead of\n managing infrastructure, performance tuning, or resource provisioning.\n- **Integrate with the Google Cloud data integration suite**\n\n Connect data across your organization with the Google Cloud data\n integration suite of products. Integrate Datastream with\n Dataflow job templates to read data from a Cloud Storage bucket\n and load it into a variety of destinations, such as BigQuery,\n Spanner, and Cloud SQL.\n\nExperience elements\n-------------------\n\nThere are three main elements in Datastream:\n\n- **Private connectivity configurations** enable Datastream to communicate with a data source over a private network (internally within Google Cloud, or with external sources connected over VPN or Interconnect). This communication happens through a Virtual Private Cloud (VPC) peering connection.\n- **Connection profiles** represent connectivity information to both a source and a destination. This information will be used by a stream.\n- **Streams** use the information in the connection profiles to transfer CDC and backfill data from the source to the destination.\n\nWhat's next\n-----------\n\n- Start replicating your data [from a source database to BigQuery datasets](/datastream/docs/quickstart-replication-to-bigquery).\n- Learn more about [key concepts and features](/datastream/docs/behavior-overview) of Datastream.\n- Find out how to create [private connectivity configurations](/datastream/docs/create-a-private-connectivity-configuration), [connection profiles](/datastream/docs/create-connection-profiles) and [streams](/datastream/docs/create-a-stream)."]]
