Esportare i metadati da Dataproc Metastore

Questa pagina spiega come esportare i metadati da Dataproc Metastore.

La funzionalità di esportazione dei metadati ti consente di salvare i metadati in un formato di archiviazione portatile.

Dopo aver esportato i dati, puoi importare i metadati in un altro servizio Dataproc Metastore o in un metastore Hive autogestito (HMS).

Informazioni sull'esportazione dei metadati

Quando esporti i metadati da Dataproc Metastore, il servizio memorizza i dati in uno dei seguenti formati file:

  • Un insieme di file Avro archiviati in una cartella.
  • Un singolo file di dump MySQL archiviato in una cartella Cloud Storage.

Avro

Le esportazioni basate su Avro sono supportate solo per le versioni Hive 2.3.6 e 3.1.2. Quando espandi i file Avro, Dataproc Metastore crea un file <table-name>.avro per ogni tabella del database.

Per esportare i file Avro, il servizio Dataproc Metastore può utilizzare il tipo di database MySQL o Spanner.

MySQL

Le esportazioni basate su MySQL sono supportate per tutte le versioni di Hive. Quando esporti i file MySQL, Dataproc Metastore crea un singolo file SQL che contiene tutte le informazioni sulle tabelle.

Per esportare i file MySQL, il servizio Dataproc Metastore deve utilizzare il tipo di database MySQL. Il tipo di database Spanner non supporta le importazioni MySQL.

Prima di iniziare

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per esportare i metadati in Dataproc Metastore, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per esportare i metadati in Dataproc Metastore. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per esportare i metadati in Dataproc Metastore sono necessarie le seguenti autorizzazioni:

  • Per esportare i metadati: metastore.services.export nel servizio Metastore
  • Per MySQL e Avro, per utilizzare l'oggetto Cloud Storage per l'esportazione, concedi al tuo account utente e all'agente di servizio Dataproc Metastore: storage.objects.create sul bucket Cloud Storage

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta la panoramica di IAM di Dataproc Metastore.

Esporta metadati

Prima di esportare i metadati, tieni presente le seguenti considerazioni:

  • Durante l'esecuzione di un'esportazione, non puoi aggiornare un servizio Dataproc Metastore, ad esempio modificare le impostazioni di configurazione. Tuttavia, puoi comunque utilizzarlo per le normali operazioni, ad esempio per accedere ai relativi metadati da cluster Dataproc o autogestiti collegati.
  • La funzionalità di esportazione dei metadati esporta solo i metadati. I dati creati da Apache Hive nelle tabelle interne non vengono replicati nell'esportazione.

Per esportare i metadati da un servizio Dataproc Metastore, svolgi i seguenti passaggi.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio da cui vuoi esportare i metadati.

    Viene visualizzata la pagina Dettagli del servizio.

    Pagina dei dettagli del servizio
    Pagina dei dettagli del servizio Dataproc Metastore

  3. Nella barra di navigazione, fai clic su Esporta.

    Viene visualizzata la pagina Esporta metadati.

  4. Nella sezione Destinazione, scegli MySQL o Avro.

  5. Nel campo URI destinazione, fai clic su Sfoglia e seleziona l'URI Cloud Storage in cui vuoi esportare i file.

    Puoi anche inserire la posizione del bucket nel campo di testo fornito. Utilizza il formato seguente: bucket/object o bucket/folder/object.

  6. Per avviare l'esportazione, fai clic su Invia.

    Al termine, l'esportazione viene visualizzata in una tabella nella pagina Dettagli servizio della scheda Importa/Esporta.

    Al termine dell'esportazione, Dataproc Metastore ritorna automaticamente allo stato attivo, indipendentemente dal fatto che l'esportazione sia riuscita o meno.

Interfaccia a riga di comando gcloud

  1. Per esportare i metadati da un servizio, esegui il seguente comando gcloud metastore services export gcs:

    gcloud metastore services export gcs SERVICE \
    --location=LOCATION \
    --destination-folder=gs://bucket-name/path/to/folder \
    --dump-type=DUMP_TYPE

    Sostituisci quanto segue:

    • SERVICE: il nome del servizio Dataproc Metastore.
    • LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.
    • bucket-name/path/to/folder: la cartella di destinazione Cloud Storage in cui vuoi archiviare l'esportazione.
    • DUMP_TYPE: il tipo di dump del database da generare tramite l'esportazione. I valori accettati includono mysql e avro. Il valore predefinito è mysql.

  2. Verifica che l'esportazione sia riuscita.

    Al termine dell'esportazione, Dataproc Metastore ritorna automaticamente allo stato attivo, indipendentemente dal fatto che l'esportazione sia riuscita o meno.

REST

Segui le istruzioni dell'API per esportare i metadati in un servizio utilizzando Explorer API.

Al termine dell'esportazione, il servizio torna automaticamente allo stato attivo, indipendentemente dal fatto che l'operazione sia riuscita o meno.

Visualizzare la cronologia delle esportazioni

Per visualizzare la cronologia delle esportazioni di un servizio Dataproc Metastore nella console Google Cloud:

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore.

  2. Nella barra di navigazione, fai clic su Importazione/esportazione.

    La cronologia delle esportazioni viene visualizzata nella tabella Cronologia esportazioni.

    La cronologia mostra fino alle ultime 25 esportazioni.

L'eliminazione di un servizio Dataproc Metastore comporta anche l'eliminazione di tutta la cronologia delle esportazioni associata.

Risolvere i problemi comuni

Ecco alcuni problemi comuni:

Per ulteriore assistenza nella risoluzione dei problemi di risoluzione dei problemi più comuni, consulta Scenari di errore di importazione ed esportazione.

Passaggi successivi