Présentation de Dataproc Metastore

Dataproc Metastore est un métastore Apache Hive (HMS) entièrement géré qui s'exécute sur Google Cloud. HMS est la norme établie dans l'écosystème Open Source du big data pour gérer les métadonnées techniques, telles que les schémas, les partitions et les statistiques sur les colonnes dans une base de données relationnelle.

Dataproc Metastore est disponibilité élevée, autoréparable et sans serveur. Utilisez-le pour gérer les métadonnées du lac de données et assurer l'interopérabilité entre les différents moteurs et outils de traitement de données que vous utilisez.

Fonctionnement de Dataproc Metastore

Vous pouvez utiliser un service Dataproc Metastore en le connectant à un cluster Dataproc. Un cluster Dataproc inclut des composants qui s'appuient sur un HMS pour la planification et l'exécution des requêtes.

Cette intégration vous permet de conserver les informations de vos tableaux entre les jobs ou de rendre les métadonnées disponibles pour d'autres clusters et moteurs de traitement.

Par exemple, l'implémentation d'un metastore peut vous aider à désigner un sous-ensemble de vos fichiers comme contenant des données sur les revenus, au lieu de suivre manuellement les noms de fichiers. Dans ce cas, vous pouvez définir une table pour ces fichiers et stocker les métadonnées dans Dataproc Metastore. Vous pourrez ensuite l'associer à un cluster Dataproc et interroger la table pour obtenir des informations à l'aide de Hive, Spark SQL ou d'autres services de requête.

Versions de Dataproc Metastore

Lorsque vous créez un service Dataproc Metastore, vous pouvez choisir d'utiliser un service Dataproc Metastore 2 ou un service Dataproc Metastore 1.

  • Dataproc Metastore 2 est la nouvelle génération du service. En plus des fonctionnalités de Dataproc Metastore 1, il offre une évolutivité horizontale. Pour en savoir plus, consultez Fonctionnalités et avantages.

  • Dataproc Metastore 2 propose un forfait différent de celui de Dataproc Metastore. Pour en savoir plus, consultez les forfaits et les configurations de scaling.

Cas d'utilisation courants

Tous les cas d'utilisation listés dans cette section sont compatibles avec Dataproc Metastore 2 et Dataproc Metastore 1, sauf indication contraire.

  • Donnez du sens à vos données. Créez un dépôt de métadonnées centralisé partagé entre plusieurs clusters Dataproc éphémères. Utilisez différents moteurs de logiciels Open Source (OSS), tels qu'Apache Hive, Apache Spark et Presto.

  • Créez une vue unifiée de vos données. Assurez l'interopérabilité entre les servicesGoogle Cloud , tels que Dataproc, Dataplex Universal Catalog et BigQuery, ou utilisez d'autres offres partenaires Open Source surGoogle Cloud.

Fonctionnalités et avantages

Toutes les fonctionnalités listées dans cette section sont compatibles avec Dataproc Metastore 2 et Dataproc Metastore 1, sauf indication contraire.

  • Compatibilité avec les logiciels Open Source. Connectez-vous à vos moteurs de traitement de données existants, tels qu'Apache Hive, Apache Spark et Presto.

  • Gestion Créez ou mettez à jour un metastore en quelques minutes grâce à des tâches de surveillance et d'opérations entièrement configurées.

  • Intégration. Intégrez-le à d'autres produits Google Cloud , par exemple en utilisant BigQuery comme source de métadonnées pour un cluster Dataproc.

  • Sécurité intégrée : Utilisez des protocoles de sécurité établis Google Cloud , tels que Identity and Access Management (IAM) et l'authentification Kerberos.

  • Importation simple : Importez les métadonnées existantes stockées dans un métastore Hive externe dans un service Dataproc Metastore.

  • Sauvegardes automatiques : Configurez des sauvegardes automatiques du metastore pour éviter la perte de données.

  • Surveillance des performances. Définissez des niveaux de performances pour répondre de manière dynamique aux charges de travail et aux pics très intensifs, sans préchauffage ni mise en cache.

  • Haute disponibilité (HA) :

    • Dataproc Metastore 2. Fournit une haute disponibilité zonale sans nécessiter de configuration spécifique ni de gestion continue. Pour ce faire, les bases de données de backend et les serveurs HMS sont automatiquement répliqués dans plusieurs zones de la région de votre choix. En plus de la haute disponibilité zonale, Dataproc Metastore 2 est compatible avec la haute disponibilité régionale et la reprise après sinistre.
    • Dataproc Metastore 1 Par défaut, il offre une haute disponibilité (HA) zonale sans nécessiter de configuration spécifique ni de gestion continue. Pour ce faire, les bases de données backend et les serveurs HMS sont automatiquement répliqués dans plusieurs zones de la région de votre choix.

    Pour en savoir plus sur les considérations spécifiques à la région, consultez Zones géographiques et régions.

  • Évolutivité.

    • Dataproc Metastore 2. Utilisez un facteur de scaling horizontal pour déterminer le nombre de ressources que votre service doit utiliser à un moment donné. Le facteur de scaling peut être contrôlé manuellement ou défini sur "autoscaling" si nécessaire.
    • Dataproc Metastore 1 Choisissez entre un niveau développeur et un niveau Enterprise lorsque vous configurez votre service. Ce niveau détermine le nombre de ressources que votre service doit utiliser à un moment donné.

  • Assistance Bénéficiez de contrats de niveau de service et de canaux d'assistance standards. Google Cloud

Intégrations avec Google Cloud

Toutes les intégrations listées dans cette section sont compatibles avec Dataproc Metastore 1 et Dataproc Metastore 2, sauf indication contraire.

  • Dataproc Connectez-vous à un cluster Dataproc pour pouvoir diffuser des métadonnées pour les charges de travail de big data OSS.
  • BigQuery. Interrogez les ensembles de données BigQuery dans vos charges de travail Dataproc.
  • Dataplex Universal Catalog Interrogez les données structurées et semi-structurées découvertes dans un lac Dataplex Universal Catalog.
  • Data Catalog Synchronisez Dataproc Metastore avec Data Catalog pour activer la recherche et la découverte de métadonnées.
  • Journalisation et surveillance Intégrez Dataproc Metastore aux produits Cloud Monitoring et Logging.
  • Authentification et IAM S'appuyer sur l'authentification OAuth standard utilisée par d'autres produitsGoogle Cloud , qui permet d'utiliser des rôles Identity and Access Management précis pour activer le contrôle des accès pour des ressources individuelles.

Étapes suivantes