Créer une table compatible avec les flux de modifications et capturer les modifications

Créer une table avec un flux de modifications activé

1. Dans la console Google Cloud, accédez à la page Instances de Bigtable.

   Accéder à la page "Instances"

2. Cliquez sur l'ID de l'instance que vous utilisez pour cet atelier de démarrage rapide.

   Si vous n'avez pas d'instance disponible, créez-en une avec les configurations par défaut dans une région proche de chez vous.

3. Dans le volet de navigation de gauche, cliquez sur Tables.

4. Cliquez sur Créer une table.

5. Nommez la table change-streams-quickstart.

6. Ajoutez une famille de colonnes nommée cf.

7. Sélectionnez Activer le flux de modifications.

8. Cliquez sur Créer.

Initialiser un pipeline de données pour capturer le flux de modifications

1. Dans Cloud Shell, exécutez les commandes suivantes pour télécharger le code et l'exécuter.

   git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git
   cd java-docs-samples/bigtable/beam/change-streams
   mvn compile exec:java -Dexec.mainClass=ChangeStreamsHelloWorld \
   "-Dexec.args=--project=PROJECT_ID --bigtableProjectId=PROJECT_ID \
   --bigtableInstanceId=BIGTABLE_INSTANCE_ID --bigtableTableId=change-streams-quickstart \
   --runner=dataflow --region=BIGTABLE_REGION --experiments=use_runner_v2"
   

   Remplacez les éléments suivants :

   • PROJECT_ID: ID du projet que vous utilisez
   • BIGTABLE_INSTANCE_ID: ID de l'instance qui contiendra la nouvelle table
   • BIGTABLE_REGION: région dans laquelle se trouve votre instance Bigtable, par exemple us-east5

2. Dans la console Google Cloud, accédez à la page Dataflow.

   Accéder à Dataflow

3. Cliquez sur la tâche dont le nom commence par changestreamquickstart.

4. En bas de l'écran, cliquez sur Afficher pour ouvrir le panneau des journaux.

5. Cliquez sur Journaux du worker pour surveiller la sortie du flux de modifications.

6. Dans Cloud Shell, écrivez des données dans Bigtable pour voir le processus de flux de modifications.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
   import change-streams-quickstart quickstart-data.csv column-family=cf
   

7. Dans la console Google Cloud, assurez-vous que la valeur de Sévérité est d'au moins Info.

8. Les journaux de sortie du journal des nœuds de calcul contiennent les éléments suivants:

   Change captured: user123#2023,USER,SetCell,cf,col1,abc
   Change captured: user546#2023,USER,SetCell,cf,col1,def
   Change captured: user789#2023,USER,SetCell,cf,col1,ghi