Esportare i metadati da Dataproc Metastore

Questa pagina spiega come esportare i metadati da Dataproc Metastore.

La funzionalità di esportazione dei metadati consente di salvare i metadati in un formato di archiviazione portatile.

Dopo aver esportato i dati, puoi importare i metadati in un altro servizio Dataproc Metastore o in un metastore Hive autogestito (HMS).

Informazioni sull'esportazione dei metadati

Quando esporti i metadati da Dataproc Metastore, il servizio memorizza i dati in uno dei seguenti formati di file:

  • Un insieme di file Avro archiviati in una cartella.
  • Un singolo file di dump MySQL archiviato in una cartella Cloud Storage.

Avro

Le esportazioni basate su Avro sono supportate solo per le versioni 2.3.6 e 3.1.2 di Hive. Quando esporti i file Avro, Dataproc Metastore crea un file <table-name>.avro per ogni tabella del database.

Per esportare i file Avro, il servizio Dataproc Metastore può utilizzare il tipo di database MySQL o Spanner.

MySQL

Le esportazioni basate su MySQL sono supportate per tutte le versioni di Hive. Quando esporti i file MySQL, Dataproc Metastore crea un singolo file SQL che contiene tutte le informazioni sulle tabelle.

Per esportare i file MySQL, il servizio Dataproc Metastore deve utilizzare il tipo di database MySQL. Il tipo di database Spanner non supporta le importazioni MySQL.

Prima di iniziare

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per esportare i metadati in Dataproc Metastore, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per esportare i metadati in Dataproc Metastore. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per esportare i metadati in Dataproc Metastore sono necessarie le seguenti autorizzazioni:

  • Per esportare i metadati: metastore.services.export sul servizio metastore
  • Per MySQL e Avro, per utilizzare l'oggetto Cloud Storage per l'esportazione, concedi al tuo account utente e all'agente di servizio Dataproc Metastore: storage.objects.create sul bucket Cloud Storage

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta la panoramica di IAM di Dataproc Metastore.

Esporta metadati

Prima di esportare i metadati, tieni presente quanto segue:

  • Durante l'esecuzione di un'esportazione, non puoi aggiornare un servizio Dataproc Metastore, ad esempio modificando le impostazioni di configurazione. Tuttavia, puoi comunque utilizzarlo per le normali operazioni, ad esempio per accedere ai relativi metadati dai cluster Dataproc collegati o autogestiti.
  • La funzionalità di esportazione dei metadati esporta solo i metadati. I dati creati da Apache Hive nelle tabelle interne non vengono replicati nell'esportazione.

Per esportare i metadati da un servizio Dataproc Metastore, segui questi passaggi.

Console

  1. Nella console Google Cloud , apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio da cui vuoi esportare i metadati.

    Viene visualizzata la pagina Dettagli del servizio.

    Pagina dei dettagli del servizio
    Pagina dei dettagli del servizio Dataproc Metastore

  3. Nella barra di navigazione, fai clic su Esporta.

    Viene visualizzata la pagina Esporta metadati.

  4. Nella sezione Destinazione, scegli MySQL o Avro.

  5. Nel campo URI di destinazione, fai clic su Sfoglia e seleziona l'URI Cloud Storage in cui vuoi esportare i file.

    Puoi anche inserire la posizione del bucket nel campo di testo fornito. Utilizza il formato seguente: bucket/object o bucket/folder/object.

  6. Per avviare l'esportazione, fai clic su Invia.

    Al termine, l'esportazione viene visualizzata in una tabella nella pagina Dettagli servizio della scheda Importa/Esporta.

    Al termine dell'esportazione, Dataproc Metastore torna automaticamente allo stato attivo, indipendentemente dall'esito positivo o negativo dell'esportazione.

Interfaccia a riga di comando gcloud

  1. Per esportare i metadati da un servizio, esegui questo comando gcloud metastore services export gcs:

    gcloud metastore services export gcs SERVICE \
    --location=LOCATION \
    --destination-folder=gs://bucket-name/path/to/folder \
    --dump-type=DUMP_TYPE

    Sostituisci quanto segue:

    • SERVICE: il nome del servizio Dataproc Metastore.
    • LOCATION: la Google Cloud regione in cui si trova il servizio Dataproc Metastore.
    • bucket-name/path/to/folder: la cartella di destinazione Cloud Storage in cui vuoi archiviare l'esportazione.
    • DUMP_TYPE: il tipo di dump del database da generare con l'esportazione. I valori accettati includono mysql e avro. Il valore predefinito è mysql.

  2. Verifica che l'esportazione sia riuscita.

    Al termine dell'esportazione, Dataproc Metastore torna automaticamente allo stato attivo, indipendentemente dall'esito positivo o negativo dell'esportazione.

REST

Segui le istruzioni dell'API per esportare i metadati in un servizio utilizzando Explorer API.

Al termine dell'esportazione, il servizio torna automaticamente allo stato attivo, indipendentemente dall'esito positivo o negativo.

Visualizzare la cronologia delle esportazioni

Per visualizzare la cronologia delle esportazioni di un servizio Dataproc Metastore nella consoleGoogle Cloud , completa i seguenti passaggi:

  1. Nella console Google Cloud , apri la pagina Dataproc Metastore.

  2. Nella barra di navigazione, fai clic su Importa/Esporta.

    La cronologia delle esportazioni viene visualizzata nella tabella Cronologia delle esportazioni.

    La cronologia mostra fino alle ultime 25 esportazioni.

L'eliminazione di un servizio Dataproc Metastore comporta anche l'eliminazione di tutta la cronologia di esportazione associata.

Risolvere i problemi comuni

Alcuni problemi comuni includono:

Per ulteriore assistenza nella risoluzione dei problemi comuni, vedi Scenari di errore di importazione ed esportazione.

Passaggi successivi