Questions fréquentes

Datastream est un service de capture et de réplication de données (CDC pour "Change Data Capture") facile à utiliser et sans serveur. Datastream permet de répliquer facilement les données de sources de bases de données relationnelles telles que AlloyDB pour PostgreSQL, PostgreSQL, MySQL, SQL Server et Oracle, ainsi que de Salesforce et MongoDB, directement dans BigQuery. Datastream offre l'évolutivité, la rapidité, la sécurité et la simplicité dont les entreprises modernes ont besoin. Grâce à son architecture sans serveur à autoscaling, Datastream vous permet de configurer facilement un pipeline ELT (extraction, chargement et transformation) pour la réplication de données à faible latence, vous permettant ainsi de bénéficier d'insights en temps quasi réel.

Datastream peut également synchroniser des flux de données entre des bases de données et des applications hétérogènes de manière fiable et avec une latence minimale. Le service offre une intégration simplifiée avec les modèles Dataflow pour répliquer des bases de données dans Cloud SQL ou Spanner afin de les synchroniser, ou exploiter le flux d'événements directement depuis Cloud Storage pour réaliser des architectures basées sur des événements.

• CDC : capturer les modifications en cours depuis la source en temps réel.
• Remplissage : fournir un instantané historique des données existant dans une table.

Le CDC est une approche d'intégration des données qui vous permet d'intégrer et d'analyser les données plus rapidement, en utilisant moins de ressources système. Il s'agit d'une méthode permettant d'extraire uniquement les dernières modifications (mises à jour, insertions ou suppressions) d'une source de données, souvent en lisant le journal des modifications que la source conserve pour sa propre intégrité transactionnelle interne.

La capture des données modifiées est un mécanisme très efficace pour limiter l'impact sur la source lors du chargement de nouvelles données dans des entrepôts de données et des magasins de données opérationnels. Elle élimine le besoin de mises à jour par lot et de fenêtres de traitement par lot inopportunes en permettant le chargement incrémentiel ou le streaming quasi en temps réel des modifications de données vers une destination de données.

La CDC peut être utilisée dans de nombreux cas d'utilisation qui dérivent une valeur de l'accès constant aux modifications de données au fur et à mesure qu'elles se produisent, telles que l'analyse, la synchronisation des données sur des systèmes distribués géographiquement et les architectures basées sur les événements.

En plus des modifications en cours, Datastream utilise également le remplissage pour extraire toutes les données existantes d'une source, puis les diffuser vers une destination. Par conséquent, la destination est "remplie" avec toutes les données historiques de la source. Il existe deux types de remplissage:

• Incrémentiel: type de remplissage par défaut pour les tables. Lors du remplissage incrémentiel, Datastream extrait des données à partir de plages de lignes dans plusieurs lots et les transmet à une destination par lot.
• Exportation complète: lors du remplissage avec une exportation complète, Datastream extrait toutes les données en une seule fois et les diffuse vers une destination.

Pour en savoir plus sur les contraintes de remplissage, consultez les pages sur les problèmes connus pour les types de sources respectifs:

• MySQL
• Oracle
• PostgreSQL (y compris AlloyDB pour PostgreSQL)
• SQL Server
• Salesforce (preview)
• MongoDB (bêta)

Vous pouvez surveiller l'état du remplissage par objet:

1. Dans la console Google Cloud , accédez à la page Flux.
2. Cliquez sur le flux que vous souhaitez surveiller.
3. Cliquez sur l'onglet Objects (Objets).

L'état CDC est en fait l'état du flux. Si l'opération CDC échoue, l'intégralité du flux échoue.

D'autres métriques au niveau de l'objet sont disponibles dans Cloud Monitoring. Pour en savoir plus, consultez la documentation Cloud Monitoring.

Un flux de modifications est une séquence d'événements qu'Datastream émet vers une destination à des fins de consommation en aval. Lorsqu'un flux de modifications est écrit dans Cloud Storage, un ensemble de fichiers contenant les événements du journal des modifications d'une table spécifique sur une période donnée est généré. Les événements représentent des insertions, des mises à jour et des suppressions dans cette table. Ils peuvent être consommés et traités en aval de Cloud Storage par des services tels que Dataflow pour des cas d'utilisation tels que les architectures basées sur les événements.

Dans le contexte de Datastream, la réplication désigne une représentation à l'échelle 1:1 et à jour de la table source dans la destination. Par exemple, une table dans Oracle dont les modifications sont répliquées en continu dans une table BigQuery, où la table BigQuery est mise à jour à l'aide des modifications diffusées à partir de la table Oracle. La réplication exploite les flux de modifications en consommant chaque événement de modification et en l'utilisant pour mettre à jour la destination. Datastream permet la réplication directe dans BigQuery et prend en charge d'autres destinations telles que Cloud SQL et Spanner grâce à l'intégration à Dataflow. Il utilise des modèles qui extraient les événements de flux de modifications à partir de Cloud Storage et mettent à jour les tables de destination en conséquence.

La capture des données modifiées est un mécanisme très efficace pour limiter l'impact sur la source lorsque de nouvelles données sont chargées dans les entrepôts de données et les datastores de destination. La capture des données modifiées élimine également le besoin de mises à jour par lot et les fenêtres de traitement par lot inopportunes en permettant le chargement incrémentiel ou le streaming en temps quasi réel des modifications de données vers une destination.

De plus, Datastream minimise l'impact d'un remplissage initial en limitant le nombre de tâches de remplissage simultanées, et vous permet de décider des objets à remplir et quand les remplir.

1. Créez un flux dans une nouvelle région ou un nouveau projet avec la même configuration que le flux existant, mais ne cochez pas la case Remplir les données historiques.
2. Démarrez le flux que vous avez créé.
3. Une fois que le flux que vous avez créé présente l'état RUNNING, suspendez le flux existant.
4. Vous pouvez éventuellement modifier le nouveau flux en cochant la case Remplir les données de l'historique. Les données existantes des tables ajoutées au flux ultérieurement seront diffusées de la source vers la destination.

Pour obtenir la liste des régions où Datastream est disponible, consultez la section Listes d'autorisation d'adresses IP et régions.

Datastream est compatible avec les flux de données provenant de sources Oracle, MySQL, PostgreSQL, AlloyDB pour PostgreSQL, SQL Server, Salesforce (Preview) et MongoDB (Preview), hébergées dans le cloud ou autogérées. Pour en savoir plus sur les versions spécifiques à la source, consultez les pages suivantes:

• Source MySQL
• Source Oracle
• Source PostgreSQL (y compris AlloyDB pour PostgreSQL)
• Source SQL Server
• Source Salesforce (preview)
• Source MongoDB (bêta)

Pour MySQL, Datastream traite le journal binaire MySQL afin d'extraire les événements de modification.

Pour Oracle, Datastream utilise LogMiner et les paramètres de journalisation complémentaire pour extraire les données des journaux de rétablissement d'Oracle.

Pour PostgreSQL et AlloyDB pour PostgreSQL, Datastream s'appuie sur la fonctionnalité de décodage logique de PostgreSQL. Le décodage logique expose toutes les modifications validées à la base de données, et permet la consommation et le traitement de ces modifications.

Pour SQL Server, Datastream suit les modifications du langage de manipulation de données (LMD) à l'aide des journaux de transactions.

Il existe des limites générales et des limites qui s'appliquent à des sources de base de données spécifiques.

Les limites générales sont les suivantes :

• Taille de l'événement: limite maximale de taille de ligne de 100 Mo pour la destination Cloud Storage et de 20 Mo pour BigQuery.
• Certaines opérations langage de définition de données (LDD) ne sont pas compatibles avec la réplication, y compris les opérations suivantes :
  • Supprimer une colonne du milieu d'une table Cela peut entraîner un écart dans les données, car les valeurs sont associées à la mauvaise colonne.
  • Modifier le type de données d'une colonne. Cela peut entraîner un écart dans les données, car les données ne sont pas correctement mappées avec le type unifié Datastream correct et les données peuvent être corrompues.
  • Les suppressions en cascade sont ignorées.
  • La troncature de la table est ignorée.

Pour connaître les limites spécifiques à chaque source, consultez les pages suivantes:

• Limites de MySQL
• Limites Oracle
• Limites de PostgreSQL (y compris AlloyDB pour PostgreSQL et AlloyDB Omni)
• Limites de SQL Server
• Limites de Salesforce
• Limites de MongoDB

Lorsque vous écrivez dans une destination sans schéma, telle que Cloud Storage, Datastream simplifie le traitement en aval des données dans les sources en normalisant les types de données de toutes les sources. Datastream utilise le type de données de la source d'origine (par exemple, un type MySQL ou PostgreSQL NUMERIC ou NUMBER Oracle) et le normalise en un type unifié Datastream.

Les types unifiés représentent un sur-ensemble sans perte de tous les types de sources possibles. La normalisation permet de traiter facilement les données provenant de différentes sources et de les interroger en aval, quelle que soit leur source.

Pour corriger un flux avec l'état Failed, corrigez les erreurs signalées par Datastream. Pour en savoir plus, consultez Dépannage d'un flux.

Vous pouvez également récupérer un flux avec l'état Failed permanently. Pour en savoir plus, consultez Récupérer un flux.

Non. Datastream n'a pas besoin de verrouiller les tables.

Oui, Datastream est compatible avec les instances dupliquées avec accès en lecture pour les versions 5.7 et 8.0 de Cloud SQL pour MySQL.

Vous pouvez activer la journalisation binaire sur ces instances. Pour ce faire, exécutez la commande gcloud suivante:

gcloud sql instances patch INSTANCE_NAME -- enable-bin-log

Pour en savoir plus, consultez la section Journalisation binaire sur les instances dupliquées avec accès en lecture.

Vous devez accorder les autorisations suivantes à votre utilisateur Datastream pour qu'il puisse répliquer les données d'une base de données MySQL:

• SELECT
• REPLICATION SLAVE
• REPLICATION CLIENT

Non, Datastream n'est pas compatible avec la compression des événements de transaction avec la compression des transactions de journaux binaires. Désactivez la compression des transactions de journal binaire pour utiliser la fonctionnalité de capture des données modifiées pour MySQL dans Datastream.

Vous pouvez accorder l'autorisation SELECT aux tables spécifiques que vous souhaitez répliquer ou à l'intégralité du schéma d'une base de données. Pour ce faire, exécutez l'une des commandes suivantes:

GRANT SELECT ON DATABASE_NAME.TABLE_NAME TO USER_NAME@'%';

GRANT SELECT ON DATABASE_NAME.* TO USER_NAME@'%';

Remplacez les éléments suivants :

• DATABASE_NAME: nom de votre base de données MySQL.
• TABLE_NAME: nom de la table à laquelle vous accordez l'autorisation SELECT.
• USER_NAME: nom de l'utilisateur auquel vous accordez l'autorisation SELECT.

Si vous souhaitez limiter les autorisations à un nom d'hôte particulier, remplacez le caractère % par l'adresse IP ou la plage d'adresses spécifique.

Datastream est compatible avec le chiffrement des données en transit basé sur les services réseau Oracle. Datastream s'exécute en mode REQUESTED.

Oui, Datastream est compatible avec le protocole TCPS pour les connexions chiffrées SSL/TLS aux sources Oracle.

Si vous ne pouvez pas accorder l'autorisation GRANT SELECT ANY TABLE, vous pouvez accorder des autorisations SELECT à la liste de tables suivante:

• ALL_COL_COMMENTS
• ALL_CONS_COLUMNS
• ALL_CONSTRAINTS
• ALL_DB_LINKS
• ALL_EXTERNAL_TABLES
• ALL_IND_COLUMNS
• ALL_INDEXES
• ALL_LOG_GROUPS
• ALL_MVIEWS
• ALL_OBJECTS
• ALL_PART_TABLES
• ALL_SEQUENCES
• ALL_SOURCE
• ALL_SYNONYMS
• ALL_TAB_COLS
• ALL_TAB_COLUMNS
• ALL_TAB_COMMENTS
• ALL_TABLES
• ALL_TRIGGERS
• ALL_TRIGGER_COLS
• ALL_TYPES
• ALL_USERS
• ALL_VIEWS
• DATABASE_PROPERTIES
• DBA_ROLE_PRIVS
• DUAL
• PRODUCT_COMPONENT_VERSION
• ROLE_SYS_PRIVS
• USER_ROLE_PRIVS
• USER_TAB_PRIVS

Pour diffuser des modifications à l'aide de Datastream, vous devez également disposer d'un accès en lecture à toutes les tables incluses dans le flux.

Pour démarrer le flux, ignorez la validation à l'aide de l'API. Pour en savoir plus, consultez Démarrer une diffusion.

ALTER USER USER_NAME BYPASSRLS;

Remplacez USER_NAME par le nom de l'utilisateur que Datastream utilise pour se connecter à la base de données et pour lequel vous souhaitez contourner les règles RLS.

Non. La réplication PostgreSQL repose sur le concept d'emplacements de réplication, qui ne sont pas compatibles avec les connexions simultanées. Il ne peut y avoir qu'une seule tâche CDC lisant à partir de l'emplacement de réplication à la fois. Par exemple, si vous supprimez un grand nombre d'enregistrements de la base de données source, l'emplacement de réplication peut être surchargé d'événements de suppression. Toute modification ultérieure de la source est retardée jusqu'à ce que les événements de suppression déjà présents dans la file d'attente de l'emplacement de réplication soient traités.

Pour en savoir plus sur l'approche suggérée lors de la réplication de données de transactions volumineuses, consultez Diagnostiquer les problèmes.

Oui, Datastream est compatible avec les connexions chiffrées SSL/TLS.

Vous devez attribuer les rôles et autorisations suivants à votre utilisateur Datastream pour qu'il puisse répliquer les données d'une base de données SQL Server:

Pour la méthode CDC des tables de modifications:

• db_owner
• db_denydatawriter

En outre, pour la méthode CDC des journaux de transactions:

• Autorisations SELECT sur la base de données et pour la fonction sys.fn_dblog
• Autorisations SELECT sur la table dbo.sysjobs
• VIEW SERVER STATE

Pour en savoir plus sur la configuration de votre source, consultez les pages de configuration respectives pour votre type de base de données.

Vous pouvez sélectionner l'une des deux méthodes CDC disponibles, en fonction de la configuration de votre base de données SQL Server source:

• Journaux des transactions: sélectionnez cette méthode pour traiter les modifications directement à partir des journaux de la base de données. Cette méthode est plus efficace et offre les meilleures performances, mais elle nécessite des étapes de configuration supplémentaires qui peuvent ne pas être acceptées par votre base de données.
• Tables de modifications: sélectionnez cette méthode pour traiter les modifications à partir de tables de modifications dédiées. Cette méthode est plus facile à configurer et présente moins de limites, mais elle accepte un débit inférieur et augmente la charge sur votre base de données.

Pour en savoir plus, consultez la section Présentation de SQL Server en tant que source.

Un objet est une entité de classe, et est semblable à une table dans la nomenclature des bases de données relationnelles. Elles peuvent être standards ou personnalisées. Les objets standards sont inclus dans Salesforce par défaut, tandis que les objets personnalisés sont créés par les utilisateurs pour stocker des données spécifiques à leur cas d'utilisation.

Un enregistrement est une instance spécifique d'un objet, semblable à une ligne dans les bases de données relationnelles.

Un champ est un attribut spécifique d'un objet, semblable à une colonne dans les bases de données relationnelles.

• En mode Ajout uniquement, les données sont ajoutées dans BigQuery en tant que flux de modifications, avec une ligne distincte pour chaque événement INSERT, UPDATE-INSERT, UPDATE-DELETE et DELETE.
• En mode Fusionner (par défaut), lorsque Datastream crée une table dans BigQuery, il définit les clés primaires de la table en fonction des clés primaires définies dans la source. BigQuery traite les événements et applique les modifications à la table BigQuery sous-jacente en fonction des clés primaires de la table source. Si la table source ne comporte pas de clé primaire, elle est traitée comme si le mode Ajout uniquement était utilisé.

Chaque événement contient plusieurs champs de métadonnées qui identifient de manière unique la ligne dans les fichiers journaux et vous permettent de trier les événements. Ces champs sont les suivants :

Pour les sources Oracle:

• rs_id (ID de l'ensemble d'enregistrements), qui est en réalité composé de trois valeurs (par exemple, 0x0073c9.000a4e4c.01d0). rs_id identifie de manière unique l'enregistrement dans le journal de relecture.
• ssn (numéro de séquence SQL), qui est utilisé lorsque l'enregistrement du journal de relecture est trop long. Par conséquent, Oracle LogMiner divise l'enregistrement en plusieurs lignes.

Pour les sources MySQL:

• log_file, à partir duquel Datastream extrait les événements dans la réplication CDC.
• log_position, qui identifie le décalage de l'enregistrement dans le journal binaire MySQL.

Pour les sources PostgreSQL:

• source_timestamp, qui correspond au code temporel de la modification de l'enregistrement dans la source. Si les valeurs source_timestamp des événements que vous triez sont identiques, comparez les valeurs lsn.
• lsn (numéro séquentiel du journal), qui identifie le décalage de l'enregistrement dans le fichier journal WAL.

Pour en savoir plus sur les champs de métadonnées, consultez la section Métadonnées spécifiques à la source.

Datastream est un service de capture des données modifiées (CDC) et de réplication, ce qui signifie qu'il est flexible dans divers cas d'utilisation qui peuvent bénéficier d'un accès aux données de modification en continu. Voici les cas d'utilisation les plus courants de Datastream:

1. Analyses:en répliquant directement des données dans BigQuery, les clients peuvent accéder à des données opérationnelles à jour dans BigQuery. Les clients peuvent utiliser ces données mises à jour en continu dans BigQuery pour créer des tableaux de bord à jour sur leurs données. Ils peuvent ainsi surveiller les systèmes et obtenir des insights à jour sur l'état de leur entreprise.
2. Scénarios de réplication et de synchronisation de bases de données:en intégrant Datastream à des modèles Dataflow pour charger des données dans Cloud SQL ou Spanner, vous pouvez obtenir une réplication à jour de vos données sources dans ces bases de données. Vous pouvez utiliser ces données mises à jour en continu dans les bases de données de destination pour une migration de base de données avec un temps d'arrêt faible de la source vers la destination, ou pour des configurations cloud hybrides, où la source et la destination se trouvent dans des environnements d'hébergement différents.
3. Architectures basées sur les événements : les architectures modernes basées sur des microservices reposent sur des hubs centraux de données qui sont mises à jour en continu avec les événements de votre organisation pour être basées sur les événements. En écrivant en continu les données d'événement dans des destinations telles que BigQuery et Cloud Storage, vous pouvez créer des architectures basées sur les événements et reposant sur la consommation des données d'événement à partir de ces destinations.

Datastream complète et améliore la Google Cloud suite de données en fournissant une réplication des données CDC à partir de sources vers divers Google Cloud services. En s'intégrant parfaitement à ces services, Datastream s'intègre à l' Google Cloud écosystème plus vaste.

Datastream s'intègre aux services de données suivants :

• BigQuery:Datastream utilise l'API BigQuery Write pour s'intégrer directement à BigQuery. Datastream écrit les événements de modification directement dans l'ensemble de données BigQuery, où les modifications sont fusionnées en continu (UPSERT) avec les données existantes.
• Dataflow:Datastream s'intègre à Dataflow à l'aide de modèles Dataflow. Ces modèles lisent les données de Cloud Storage et les chargent dans BigQuery, Cloud SQL pour PostgreSQL ou Spanner. L'objectif de ces modèles est de maintenir à jour les tables sources répliquées dans les destinations. Les modèles sont disponibles dans l'interface utilisateur de Dataflow et sont conçus pour les fichiers générés par Datastream afin de permettre un traitement prêt à l'emploi.
• Cloud Storage : Datastream s'intègre à Cloud Storage en y écrivant en tant que destination de streaming en modification.
• Cloud SQL et Spanner:en utilisant des modèles Datastream et Dataflow, vous pouvez gérer des tables répliquées à jour dans les bases de données.

Vous pouvez configurer trois types de méthodes de connectivité :

• Liste d'autorisation d'adresses IP:cette méthode vous permet de bénéficier d'une connectivité publique en ajoutant les adresses IP régionales de Datastream à la liste d'autorisation sur la source. Lorsque vous créez votre flux, Datastream affiche ces adresses IP dans l'interface utilisateur.
• Tunnel SSH de transfert : cette méthode fournit une connectivité sécurisée sur les réseaux publics en utilisant un bastion SSH configuré par le client en plus d'ajouter des adresses IP régionales à la liste d'autorisation.
• Connectivité privée via l'appairage VPC:utilisez cette méthode pour vous connecter à vos bases de données hébergées par Google Cloudvia le réseau interne de Google Cloud, ou exploitez un VPN ou un Interconnect existant en établissant un appairage VPC entre le réseau privé de Datastream et le VPC de votre organisation. Google Cloud

Datastream vous permet de spécifier les éléments de données spécifiques (schémas, tables et colonnes) de votre source que vous souhaitez diffuser en continu vers une destination, et les éléments que vous souhaitez exclure de la diffusion en continu.

Les journaux de base de données peuvent contenir des données de modification d'éléments qui ont été exclus de la définition de votre flux. Étant donné que vous ne pouvez pas filtrer ces éléments à la source, Datastream lit, mais ignore, toutes les données associées aux éléments.

Sélectionner des plages d'adresses IP de manière dynamique

• compute.routes.get
• compute.routes.list
• compute.subnetworks.get
• compute.subnetworks.list

Créer des réseaux associés

• compute.globalOperations.get
• compute.networks.addPeering
• compute.networks.removePeering
• compute.networks.get

Réserver des adresses IP

• compute.globalAddresses.get
• compute.globalAddresses.create
• compute.globalAddresses.createInternal
• compute.globalAddresses.delete
• compute.globalAddresses.deleteInternal
• compute.networks.use
• compute.networks.listPeeringRoutes

Le tarif de Datastream est basé sur le volume (Go) de données traitées de votre source vers une destination.

Pour en savoir plus sur les tarifs de Datastream, consultez la page Tarifs.