Esegui la migrazione di un metastore MySQL autogestito a Dataproc Metastore

Questa pagina mostra come eseguire la migrazione del metastore MySQL autogestito esterno a Dataproc Metastore creando un file di dump MySQL e importando i metadati in un servizio Dataproc Metastore esistente.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Dataproc Metastore API.

    Enable the API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un metastore Dataproc e importare un metastore MYSQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare un metastore Dataproc e importare un metastore MYSQL. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per creare un Dataproc Metastore e importare un metastore MYSQL sono necessarie le seguenti autorizzazioni:

  • Per creare un servizio: metastore.services.create nel progetto.
  • Per importare i metadati: metastore.imports.create nel progetto.
  • Per utilizzare l'oggetto Cloud Storage (file di dump SQL) per l'importazione:
    • storage.objects.get nell'agente di servizio Dataproc Metastore. Ad esempio, service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
    • storage.objects.get nell'account utente.

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso a Dataproc con IAM.

Crea un servizio Dataproc Metastore

Le istruzioni riportate di seguito mostrano come creare un servizio Dataproc Metastore in cui eseguire la migrazione del file di dump SQL.

Console

  1. Nella console Google Cloud, apri la pagina Crea servizio:

    Vai a Crea servizio

    La pagina Crea servizio.
    La pagina Crea servizio di Dataproc Metastore

  2. Nel campo Nome servizio, inserisci example-service.

  3. Seleziona Località dei dati. Per informazioni sulla selezione di una regione, vedi Località cloud.

  4. Per le altre opzioni di configurazione del servizio, utilizza i valori predefiniti forniti.

  5. Per creare e avviare il servizio, fai clic sul pulsante Invia.

Il nuovo servizio viene visualizzato nell'elenco Servizi.

gcloud

Esegui il seguente comando gcloud metastore services create per creare un servizio:

 gcloud metastore services create example-service \
     --location=LOCATION

Sostituisci LOCATION con la regione Compute Engine in cui prevedi di creare il servizio. Assicurati che Dataproc Metastore sia disponibile nella regione.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Prepararsi per la migrazione

Ora devi preparare i metadati archiviati nel database del metastore di Hive per l'importazione creando un file dump di MySQL e inserendolo in un bucket Cloud Storage.

Per conoscere la procedura di preparazione della migrazione, consulta Preparare i file di importazione prima dell'importazione.

Importa i metadati

Ora che hai preparato il file dump, importalo nel servizio Dataproc Metastore.

Consulta Importare i file in Dataproc Metastore per conoscere la procedura per importare i metadati nel servizio example-service.

Crea e collega un cluster Dataproc

Dopo aver importato i metadati nel servizio Dataproc Metastoreexample-service, crea e collega un cluster Dataproc che utilizza il servizio come metastore Hive.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
  3. In the project list, select the project that you want to delete, and then click Delete.
  4. In the dialog, type the project ID, and then click Shut down to delete the project.

In alternativa, puoi eliminare le risorse utilizzate in questo tutorial:

  1. Elimina il servizio Dataproc Metastore.

    Console

    1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

      Apri Dataproc Metastore nella console Google Cloud

    2. A sinistra del nome del servizio, seleziona example-service selezionando la casella.

    3. Nella parte superiore della pagina Dataproc Metastore, fai clic su Elimina per eliminare il servizio.

    4. Nella finestra di dialogo, fai clic su Elimina per confermare l'eliminazione.

    Il servizio non è più visualizzato nell'elenco Servizi.

    gcloud

    Esegui il seguente comando gcloud metastore services delete per eliminare un servizio:

     gcloud metastore services delete example-service \
     --location=LOCATION

    Sostituisci LOCATION con la regione di Compute Engine in cui hai creato il servizio.

    REST

    Segui le istruzioni dell'API per eliminare un servizio utilizzando Explorer API.

    Tutte le eliminazioni vengono eseguite immediatamente.

  2. Elimina il bucket Cloud Storage per il servizio Dataproc Metastore.

Passaggi successivi