Intégrations avec Bigtable

Cette page décrit les intégrations entre Bigtable et d'autres produits et services.

Services Google Cloud

Cette section décrit les services Google Cloud auxquels Bigtable est intégré.

BigQuery

BigQuery correspond à l'entrepôt de données d'analyse de Google, entièrement géré à l'échelle du pétaoctet et à faible coût. Vous pouvez utiliser BigQuery avec Bigtable pour les raisons suivantes:

  • Vous pouvez créer une table externe BigQuery, puis l'utiliser pour interroger votre table Bigtable et joindre les données à d'autres tables BigQuery. Pour en savoir plus, consultez la section Interroger des données Bigtable.

  • Vous pouvez exporter vos données BigQuery vers une table Bigtable à l'aide de l'ETL inverse (RETL) de BigQuery vers Bigtable. Pour en savoir plus, consultez Exporter des données vers Bigtable.

Inventaire des éléments cloud

L'inventaire des éléments cloud, qui fournit des services d'inventaire basés sur une base de données de séries temporelles, est compatible avec les types de ressources Bigtable, qu'il énumère. Pour obtenir la liste complète, consultez la page Types de ressources acceptés.

Data Catalog

Data Catalog est une fonctionnalité de Dataplex qui catalogue automatiquement les métadonnées des ressources Bigtable. Les informations de Data Catalog sur vos données peuvent faciliter l'analyse, la réutilisation des données, le développement d'applications et la gestion des données. Pour en savoir plus, consultez Gérer des éléments de données à l'aide de Data Catalog.

Dataflow

Dataflow est un service cloud et un modèle de programmation destiné au traitement big data. Dataflow est compatible avec le traitement par lot et le traitement en flux continu. Vous pouvez utiliser Dataflow pour traiter les données stockées dans Bigtable ou pour stocker le résultat de votre pipeline Dataflow. Vous pouvez également vous servir de modèles Dataflow pour exporter et import vos données sous forme de fichiers Avro, Parquet ou SequenceFiles.

Pour commencer, consultez Connecteur Bigtable Beam.

Vous pouvez également utiliser Bigtable comme recherche par clé-valeur pour enrichir les données dans un pipeline. Pour en savoir plus, consultez Enrichir les données de streaming. Pour accéder à un tutoriel, consultez Utiliser Apache Beam et Bigtable pour enrichir les données.

Dataproc

Dataproc fournit Apache Hadoop et les produits associés sous forme de service géré dans le cloud. Grâce à Dataproc, vous pouvez exécuter des tâches Hadoop qui lisent des données depuis Bigtable et écrivent des données dans Bigtable.

Pour obtenir un exemple de tâche Hadoop MapReduce qui utilise Bigtable, accédez au répertoire /java/dataproc-wordcount dans le dépôt GitHub GoogleCloudPlatform/cloud-bigtable-examples.

Vertex AI Vector Search est une technologie qui peut effectuer des recherches dans des milliards d'éléments sémantiquement similaires ou présentant des relations sémantiques. Il est utile pour implémenter des moteurs de recommandations, des chatbots et la classification de texte.

Vous pouvez utiliser Bigtable pour stocker des embeddings vectoriels, les exporter dans un index de recherche vectorielle, puis interroger l'index pour trouver des éléments similaires. Pour obtenir un tutoriel illustrant un exemple de workflow, consultez Bigtable to Vertex AI Vector Search Export (Exportation de Bigtable vers Vertex AI Vector Search) dans le dépôt GitHub workflows-demos.

Big data

Cette section décrit les produits big data auxquels Bigtable s'intègre.

Apache Beam

Apache Beam est un modèle unifié permettant de définir des pipelines de traitement parallèle des données par lots et en streaming. Le connecteur Bigtable Beam (BigtableIO) vous aide à effectuer des opérations par lot et de streaming sur les données Bigtable dans un pipeline.

Pour obtenir un tutoriel expliquant comment utiliser le connecteur Beam Bigtable pour déployer un pipeline de données dans Dataflow, consultez Traiter un flux de modifications Bigtable.

Apache Hadoop

Apache Hadoop est un framework qui permet le traitement distribué de grands ensembles de données par des clusters d'ordinateurs. Vous pouvez utiliser Dataproc pour créer un cluster Hadoop, puis exécuter des tâches MapReduce qui lisent des données depuis Bigtable et écrivent des données dans Bigtable.

Pour obtenir un exemple de tâche Hadoop MapReduce qui utilise Bigtable, accédez au répertoire /java/dataproc-wordcount dans le dépôt GitHub GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

StreamSets Data Collector est une application de streaming de données que vous pouvez configurer pour écrire des données dans Bigtable. StreamSets fournit une bibliothèque Bigtable dans son dépôt GitHub sous streamsets/datacollector.

Bases de données de graphes

Cette section décrit les bases de données de graphes auxquelles Bigtable s'intègre.

HGraphDB

HGraphDB est une couche cliente qui permet d'utiliser Apache HBase ou Bigtable en tant que base de données de graphes. Elle met en œuvre les interfaces Apache TinkerPop 3.

Pour en savoir plus sur l'exécution de HGraphDB avec l'assistance Bigtable, consultez la documentation de HGraphDB.

JanusGraph

JanusGraph est une base de données de graphes évolutive. Elle est optimisée pour stocker et interroger des graphes contenant des centaines de milliards de sommets et d'arêtes.

Pour en savoir plus sur l'exécution de JanusGraph avec Bigtable, consultez la page Running JanusGraph avec Bigtable ou la documentation JanusGraph.

Gestion des infrastructures

Cette section décrit les outils de gestion d'infrastructures auxquels Bigtable s'intègre.

Pivotal Cloud Foundry

Pivotal Cloud Foundry est une plate-forme de développement et de déploiement d'applications qui permet de lier une application à Bigtable.

Terraform

Terraform est un outil Open Source qui codifie les API dans des fichiers de configuration déclaratifs. Ces fichiers peuvent être partagés par les membres d'une équipe, traités comme du code, édités, révisés et versionnés.

Pour plus d'informations sur l'utilisation de Bigtable avec Terraform, consultez les pages Instance Bigtable et Table Bigtable dans la documentation de Terraform.

Bases de données de séries temporelles et surveillance

Cette section décrit les bases de données de séries temporelles et les outils de surveillance avec lesquels Bigtable s'intègre.

Heroic

Heroic est un système de surveillance et une base de données de séries temporelles. Heroic peut utiliser Bigtable pour stocker ses données.

Pour en savoir plus sur Heroic, consultez le dépôt GitHub spotify/heroic, ainsi que la documentation sur la configuration de Bigtable et la configuration de métriques.

OpenTSDB

OpenTSDB est une base de données de séries temporelles pouvant utiliser Bigtable pour le stockage. La documentation OpenTSDB fournit des informations pour vous aider à démarrer.