Aggiornare un servizio Dataproc Metastore

Questa pagina spiega come aggiornare un servizio Dataproc Metastore.

Puoi aggiornare il servizio Dataproc Metastore per modificare le impostazioni di configurazione o per attivare o disattivare le funzionalità facoltative.

Prima di iniziare

Ruoli obbligatori

Per ottenere l'autorizzazione necessaria per aggiornare un servizio Dataproc Metastore, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto, in base al principio del privilegio minimo:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene l'autorizzazione metastore.services.update necessaria per aggiornare un servizio Dataproc Metastore.

Potresti anche ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta la panoramica di IAM di Dataproc Metastore.

Informazioni sull'aggiornamento di un servizio

Puoi aggiornare i seguenti parametri di Dataproc Metastore.

  • Numero di porta. Aggiorna il numero di porta TCP dell'interfaccia Apache Thrift.
  • Livello di servizio. Passa dal livello di servizio Sviluppatore al livello di servizio Enterprise e viceversa. Questi livelli influiscono sulla capacità del servizio.
  • Sincronizzazione di Data Catalog. Attiva o disattiva la funzionalità di sincronizzazione di Data Catalog.
  • Periodo di manutenzione. Modifica la frequenza del periodo di manutenzione, inclusi Giorno della settimana e Ora del giorno.
  • Kerberos. Attiva o disattiva l'autenticazione Kerberos. Se abilitato in precedenza, puoi aggiornare i file di configurazione di Kerberos.
  • Configurazioni del metastore Hive. Aggiorna la posizione della directory del magazzino Hive.
  • Configurazione della versione ausiliaria (Anteprima). Attiva, disattiva o aggiungi altre versioni ausiliarie.
  • Etichette. Aggiungi o rimuovi etichette facoltative che descrivono i metadati.
  • Fattore di scalabilità. Modifica il fattore di scala. Puoi attivare o disattivare la scalabilità automatica e aggiornare i fattori di scalabilità minimi o massimi.

Aggiornare un servizio

Prima di eseguire un aggiornamento, tieni presente le seguenti considerazioni:

  • Puoi eseguire un solo job di aggiornamento alla volta (per ogni servizio Dataproc Metastore).
  • Puoi aggiornare più parametri in un unico job di aggiornamento.
  • Puoi comunque utilizzare Dataproc Metastore durante l'aggiornamento.

Se l'aggiornamento va a buon fine, Dataproc Metastore entra automaticamente in uno stato attivo. Se l'aggiornamento non va a buon fine, viene eseguito il rollback del servizio Dataproc Metastore allo stato precedente di integrità.

Le istruzioni riportate di seguito mostrano come aggiornare un servizio Dataproc Metastore.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio che vuoi aggiornare.

    Viene visualizzata la pagina Dettagli del servizio.

    Pagina dei dettagli del servizio
    Pagina dei dettagli del servizio Dataproc Metastore

  3. Nella scheda Configurazione, fai clic su Modifica.

    Viene visualizzata la pagina Modifica servizio.

  4. Scegli i valori da aggiornare per il servizio.

  5. Fai clic su Invia.

    Torna alla pagina Dataproc Metastore e verifica che il servizio sia stato aggiornato correttamente.

Interfaccia a riga di comando gcloud

  1. Per aggiornare un servizio, esegui il seguente comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Sostituisci quanto segue:

    • SERVICE: il nome del servizio Dataproc Metastore.
    • LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.
    • PORT: facoltativo. La porta TCP dell'interfaccia Thrift che utilizzi con il servizio Dataproc Metastore.
    • TIER: facoltativo. La capacità del livello del servizio Dataproc Metastore.
    • MAINTENANCE_WINDOW_DAY: facoltativo, il giorno della settimana in cui inizia la finestra di servizio.
    • MAINTENANCE_WINDOW_HOUR: facoltativo. L'ora del giorno in cui inizia la finestra di servizio.
    • KERBEROS_PRINCIPAL: facoltativo. Un'entità Kerberos che esiste sia nel file keytab sia nel KDC. Un'entità tipica ha la forma"principale/istanza@REALM", ma non esiste un formato esatto.
    • KEYTAB: facoltativo. Un file keytab Kerberos utilizzato per autenticare un'entità servizio con un Key Distribution Center Kerberos.
    • KRB5_CONFIG: facoltativo. Il file krb5.config specifica le informazioni sul KDC e sul realm Kerberos, tra cui le posizioni dei KDC e i valori predefiniti per il realm e le applicazioni Kerberos.
    • [KEY, ...]: facoltativo: le configurazioni del metastore Hive che vuoi aggiornare. Se in questo campo esiste una variabile, il relativo valore viene aggiornato. In caso contrario, viene creata una nuova variabile. Se questo flag è impostato, viene impostato automaticamente anche -clear-hive-metastore-configs.
    • [KEY, ...]: facoltativo: le configurazioni del metastore Hive che vuoi rimuovere.
    • [KEY=VALUE, ...]: (Facoltativo) Le etichette o le configurazioni delle coppie chiave-valore del metastore Hive da aggiornare.
    • [KEY, ...]: (Facoltativo) Le etichette o le configurazioni delle coppie chiave-valore del metastore Hive da rimuovere.

  2. Verifica che l'aggiornamento sia andato a buon fine.

REST

Segui le istruzioni dell'API per aggiornare un servizio utilizzando Explorer API.

Aggiorna la configurazione del magazzino Hive Metastore

Se la directory del magazzino Hive si trova su Cloud Storage, devi impostare un'override di Metastore config. Questa sostituzione imposta il tuo data warehouse specifico come directory del magazzino predefinita per Dataproc Metastore

Prima di impostare questa sostituzione, assicurati che il servizio Dataproc Metastore abbia autorizzazioni di lettura e scrittura degli oggetti per accedere alla directory del magazzino. Per ulteriori informazioni, consulta la directory del magazzino Hive.

Le istruzioni riportate di seguito mostrano come aggiornare una sostituzione della configurazione di Hive Metastore.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio che vuoi aggiornare.

    Viene visualizzata la pagina Dettagli del servizio.

  3. Nella scheda Configurazione, fai clic su Modifica.

    Viene visualizzata la pagina Modifica servizio.

  4. In Metastore config overrides (Sostituzioni di configurazione metastore), inserisci quanto segue:

    • Chiave: inserisci il seguente valore: hive.metastore.warehouse.dir.
    • Valore: la posizione di Cloud Storage della directory del tuo magazzino. Ad esempio: gs://my-bucket/path/to/location.

  5. Fai clic su Invia.

    Torna alla pagina Dataproc Metastore e verifica che il servizio sia stato aggiornato correttamente.

gcloud

  1. Per aggiornare un servizio, esegui il seguente comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Sostituisci quanto segue:

    • SERVICE: il nome del servizio Dataproc Metastore.
    • LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.
    • CUSTOMER_DIR: la posizione Cloud Storage della directory del tuo magazzino. Ad esempio: gs://my-bucket/path/to/location

  2. Verifica che l'aggiornamento sia andato a buon fine.

Passaggi successivi