Cette page explique comment mettre à jour un service Dataproc Metastore.
Vous pouvez mettre à jour votre service Dataproc Metastore pour modifier les paramètres de configuration, ou pour activer ou désactiver des fonctionnalités facultatives.
Avant de commencer
Rôles requis
Pour obtenir l'autorisation dont vous avez besoin pour mettre à jour un service Dataproc Metastore, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet, conformément au principe du moindre privilège:
-
Accorder un contrôle total sur les ressources Dataproc Metastore (
roles/metastore.editor) -
Accorder un accès complet à toutes les ressources Dataproc Metastore, y compris l'administration des stratégies IAM (
roles/metastore.admin)
Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.
Ce rôle prédéfini contient l'autorisation metastore.services.update, qui est requise pour mettre à jour un service Metastore Dataproc.
Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.
Pour en savoir plus sur les rôles et les autorisations spécifiques de Dataproc Metastore, consultez la page Présentation de l'IAM Dataproc Metastore.À propos de la mise à jour d'un service
Vous pouvez mettre à jour les paramètres Dataproc Metastore suivants.
- Numéro de port Mettez à jour le numéro de port TCP de l'interface Apache Thrift.
- Niveau de service Basculez entre le niveau de service Développeur et le niveau de service Entreprise. Ces niveaux ont une incidence sur la capacité du service.
- Synchronisation Data Catalog Activez ou désactivez la fonctionnalité de synchronisation Data Catalog.
- Intervalle de maintenance : Modifiez la fréquence de votre intervalle de maintenance, y compris le jour de la semaine et l'heure de la journée.
- Kerberos Activez ou désactivez l'authentification Kerberos. Si vous l'aviez précédemment activé, vous pouvez mettre à jour vos fichiers de configuration Kerberos.
- Configurations du métastore Hive Modifiez l'emplacement de votre répertoire d'entrepôt Hive.
- Configuration de la version auxiliaire (Aperçu) Activez, désactivez ou ajoutez des versions auxiliaires supplémentaires.
- Étiquettes. Ajoutez ou supprimez des libellés facultatifs qui décrivent vos métadonnées.
- Facteur de scaling. Modifiez le facteur de scaling. Vous pouvez activer ou désactiver l'autoscaling, et modifier les facteurs de scaling minimal ou maximal.
Mettre à jour un service
Avant d'exécuter une mise à jour, tenez compte des points suivants:
- Vous ne pouvez exécuter qu'une seule tâche de mise à jour à la fois (pour chaque service Dataproc Metastore).
- Vous pouvez mettre à jour plusieurs paramètres dans un même job de mise à jour.
- Vous pouvez continuer à utiliser votre Dataproc Metastore pendant la mise à jour.
Une fois la mise à jour réussie, Dataproc Metastore passe automatiquement à l'état actif. En cas d'échec de la mise à jour, le service Dataproc Metastore revient à son état opérationnel précédent.
Les instructions suivantes vous expliquent comment mettre à jour un service Dataproc Metastore.
Console
Dans la console Google Cloud, ouvrez la page Dataproc Metastore:
Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez modifier.
La page Informations sur le service s'ouvre.
Page d'informations sur le service Dataproc Metastore Dans l'onglet Configuration, cliquez sur Modifier.
La page Modifier le service s'ouvre.
Choisissez les valeurs que vous souhaitez mettre à jour pour votre service.
Cliquez sur Envoyer.
Revenez sur la page Dataproc Metastore et vérifiez que votre service a bien été mis à jour.
CLI gcloud
Pour mettre à jour un service, exécutez la commande
gcloud metastore services updatesuivante:gcloud metastore services update SERVICE \ --location=LOCATION \ --port=PORT \ --tier=TIER \ --maintenance-window-day=MAINTENANCE_WINDOW_DAY \ --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \ --kerberos_principal=KERBEROS_PRINCIPAL \ --keytab=KEYTAB \ --krb5-config=KRB5_CONFIG \ --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \ --clear-hive-metastore-configs \ --remove-hive-metastore-configs=[KEY, ...] \ --update-labels=[KEY=VALUE, ...] \ --clear-labels \ --remove-labels=[KEY, ...]Remplacez les éléments suivants :
SERVICE: nom de votre service Dataproc Metastore.LOCATION: région Google Cloud dans laquelle se trouve votre service Dataproc Metastore.PORT: (facultatif) port TCP de l'interface Thrift que vous utilisez avec votre service Dataproc Metastore.TIER: (facultatif) Capacité de niveau de votre service Dataproc Metastore.MAINTENANCE_WINDOW_DAY(facultatif) : jour de la semaine du début de la période de service.MAINTENANCE_WINDOW_HOUR: (facultatif) Heure de la journée du début de la période de service.KERBEROS_PRINCIPAL: (facultatif) principal Kerberos existant dans le fichier keytab et le KDC. Un principal se présente généralement sous la forme "primary/instance@REALM", mais il n'existe pas de format strictement défini.KEYTAB: (facultatif) fichier keytab Kerberos utilisé pour authentifier un compte principal de service avec un centre de distribution de clés Kerberos.KRB5_CONFIG: (facultatif) le fichier krb5.config spécifie les informations du KDC et du domaine Kerberos, qui incluent les emplacements des KDC et les valeurs par défaut du domaine et des applications Kerberos.[KEY, ...]: (facultatif) configurations du métastore Hive que vous souhaitez mettre à jour. Si une variable existe dans ce champ, sa valeur est mise à jour. Sinon, une nouvelle variable est créée. Si cet indicateur est défini,-clear-hive-metastore-configsest également défini automatiquement.[KEY, ...]: (facultatif) configurations du métastore Hive que vous souhaitez supprimer.[KEY=VALUE, ...]: (facultatif) libellés ou configurations de paires clé-valeurs du métastore Hive que vous souhaitez mettre à jour.[KEY, ...]: (facultatif) libellés ou configurations de paires clé-valeurs du métastore Hive que vous souhaitez supprimer.
Vérifiez que la mise à jour a bien été effectuée.
REST
Suivez les instructions de l'API pour mettre à jour un service à l'aide de l'explorateur d'API.
Modifier la configuration de l'entrepôt Hive Metastore
Si votre répertoire d'entrepôt Hive se trouve sur Cloud Storage, vous devez définir un remplacement de configuration du métastore. Ce forçage définit votre entrepôt de données spécifique comme répertoire d'entrepôt par défaut pour Dataproc Metastore.
Avant de définir ce forçage, assurez-vous que votre service Dataproc Metastore dispose d'autorisations de lecture et d'écriture sur les objets pour accéder au répertoire de l'entrepôt. Pour en savoir plus, consultez la section Répertoire d'entrepôt Hive.
Les instructions suivantes vous expliquent comment mettre à jour un forçage de configuration Hive Metastore.
Console
Dans la console Google Cloud, ouvrez la page "Dataproc Metastore" :
Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez modifier.
La page Informations sur le service s'ouvre.
Dans l'onglet Configuration, cliquez sur Modifier.
La page Modifier le service s'ouvre.
Dans Remplacements de configuration du metastore, saisissez les éléments suivants:
- Clé: saisissez la valeur suivante:
hive.metastore.warehouse.dir. - Valeur: emplacement Cloud Storage de votre répertoire d'entrepôt. Par exemple,
gs://my-bucket/path/to/location.
- Clé: saisissez la valeur suivante:
Cliquez sur Envoyer.
Revenez sur la page Dataproc Metastore et vérifiez que votre service a bien été mis à jour.
gcloud
Pour mettre à jour un service, exécutez la commande
gcloud metastore services updatesuivante:gcloud metastore services update SERVICE \ --location=LOCATION \ --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"Remplacez les éléments suivants :
SERVICE: nom de votre service Dataproc Metastore.LOCATION: région Google Cloud dans laquelle se trouve votre service Dataproc Metastore.CUSTOMER_DIR: emplacement Cloud Storage de votre répertoire d'entrepôt. Par exemple :gs://my-bucket/path/to/location
Vérifiez que la mise à jour a bien été effectuée.