Versions auxiliaires

Cette page explique comment utiliser la fonctionnalité de versions auxiliaires avec Dataproc Metastore.

Les versions auxiliaires vous permettent de connecter deux versions différentes d'un métastore Hive à un seul service Dataproc Metastore. Cette configuration vous permet de prendre en charge plusieurs moteurs de traitement des données qui doivent s'exécuter sur différentes versions de Hive Metastore.

Par exemple, à l'aide de versions auxiliaires, vous pouvez connecter plusieurs clusters Dataproc au même service Dataproc Metastore. Dans cette configuration, un cluster peut exécuter la version 2.0 de Dataproc, tandis que l'autre exécute la version 1.5 de Dataproc. Le cluster Dataproc 2.0 peut se connecter à un point de terminaison qui expose la version 3.1.2 de Hive, tandis que le cluster Dataproc 1.5 se connecte à un point de terminaison qui expose la version 2.3.6 de Hive.

Fonctionnement des versions auxiliaires

Lorsque vous activez les versions auxiliaires, Dataproc Metastore expose un point de terminaison distinct pour chaque version de métastore Hive. Toutefois, les deux points de terminaison continuent de partager la même base de données de métadonnées.

Cette fonctionnalité ne vous permet pas d'utiliser différents ensembles de métadonnées avec un seul service Dataproc Metastore. Il vous permet plutôt d'étendre et d'améliorer la compatibilité entre vos services.

Remarques

Général

• Vous ne pouvez créer qu'une seule version auxiliaire pour chaque service Dataproc Metastore.

• La version auxiliaire doit être configurée pour utiliser une version de metastore Hive antérieure à la version principale.

• La version auxiliaire gère un fichier journal distinct de la version principale. Pour déboguer les problèmes liés au métastore Hive, vous pouvez utiliser Cloud Logging.

Compatibilité des caractéristiques

• La version auxiliaire n'est pas compatible avec les fonctionnalités suivantes:

  • Importez des métadonnées et exportez des métadonnées

  • Sauvegarder à partir d'un métastore, restaurer un métastore à partir d'une sauvegarde

    Les fonctionnalités liées aux métadonnées (importation/exportation/sauvegarde/restauration) ne peuvent être utilisées qu'avec la version principale, car les métadonnées du backend sont partagées entre les deux versions.

• Il est possible que certaines méthodes Hive ne soient pas compatibles entre la version auxiliaire et la version principale. Cette compatibilité dépend des versions de Hive que vous utilisez pour vos versions principales et auxiliaires, ainsi que des méthodes compatibles entre les versions de Hive.

• La version auxiliaire n'est pas compatible avec toutes les fonctions d'une instance Dataproc Metastore principale. Par exemple, l'insertion d'enregistrements dans une table transactionnelle Hive n'est pas compatible avec un client Hive 2 qui interagit avec une version auxiliaire 2.3.6. Toutefois, cette opération est compatible avec un client Hive 3 qui interagit avec la version principale 3.1.2.

  Si une fonctionnalité d'une version inférieure de Hive est obsolète dans une version supérieure de Hive, la version auxiliaire inférieure correspondante ne sera pas compatible avec la fonctionnalité obsolète. Par exemple, Hive 2 est compatible avec les index, mais une version auxiliaire exécutant Hive 2.3.6 n'est pas compatible avec l'index si la version principale exécute Hive 3.1.2.

• La création de tables transactionnelles à l'aide de la version auxiliaire ou l'insertion de données dans des tables transactionnelles de la version auxiliaire sont empêchées.

Propriétés partagées entre les versions

Lorsque vous créez une version auxiliaire, certaines propriétés sont partagées et restent communes entre la version auxiliaire et la version principale. Les autres propriétés ne sont pas partagées et sont distinctes entre les deux versions.

Le tableau suivant présente ces différences.

* Les forçages de configuration Hive restent distincts entre la version auxiliaire et la version principale. Toutefois, la version auxiliaire fait référence à une liste fusionnée des forçages (principal+auxiliaire). Dans ce cas, la configuration auxiliaire prévaut sur la configuration principale.

Avant de commencer

• Activer Dataproc Metastore

Rôles requis

Pour obtenir l'autorisation dont vous avez besoin pour créer un métastore Dataproc qui utilise des versions auxiliaires, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet, conformément au principe du moindre privilège:

• Accorder un contrôle total sur les ressources Dataproc Metastore (roles/metastore.editor)
• Accorder un accès complet à toutes les ressources Dataproc Metastore, y compris l'administration des stratégies IAM (roles/metastore.admin)

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient l'autorisation metastore.services.create, qui est requise pour créer un métastore Dataproc qui utilise des versions auxiliaires.

Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une version auxiliaire pour un nouveau service

L'exemple suivant présente une version abrégée des étapes à suivre pour activer les versions auxiliaires. Pour obtenir des instructions détaillées sur l'ensemble du processus à suivre, consultez Créer un Dataproc Metastore.

curl -X POST -s -i \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
     -H "Content-Type:application/json" \
     https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID

Mettre à jour une version auxiliaire pour un service existant

Les instructions suivantes vous expliquent comment mettre à jour un service Dataproc Metastore existant qui utilise des versions auxiliaires.

Lorsque vous exécutez une opération de mise à jour, vous pouvez effectuer les tâches suivantes:

• Ajoutez une version auxiliaire.
• Supprimez une version auxiliaire existante.

• Ajoutez ou modifiez des forçages d'une version auxiliaire existante.

curl -X PATCH -s -i \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
   -H "Content-Type:application/json" \
   https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions

Étape suivante

• Créer un service
• Mettre à jour et supprimer un service