Esegui la migrazione di un metastore MySQL autogestito a Dataproc Metastore

Questa pagina mostra come eseguire la migrazione del metastore MySQL autogestito esterno a Dataproc Metastore creando un file di dump MySQL e importando i metadati in un servizio Dataproc Metastore esistente.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Enable the Dataproc Metastore API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MySQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MySQL. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare un metastore Dataproc e importare un metastore MySQL sono necessarie le seguenti autorizzazioni:

  • Per creare un servizio: metastore.services.create sul progetto.
  • Per importare i metadati: metastore.imports.create sul progetto.
  • Per utilizzare l'oggetto Cloud Storage (file di dump SQL) per l'importazione:
    • storage.objects.get nell'agente di servizio Dataproc Metastore. Ad esempio, service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
    • storage.objects.get sull'account utente.

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso a Dataproc con IAM.

Crea un servizio Dataproc Metastore

Le istruzioni riportate di seguito mostrano come creare un servizio Dataproc Metastore a cui puoi eseguire la migrazione del file di dump SQL.

Console

  1. Nella console Google Cloud , apri la pagina Crea servizio:

    Vai a Crea servizio

    La pagina Crea servizio.
    Dataproc MetastoreLa pagina Crea servizio

  2. Nel campo Nome servizio, inserisci example-service.

  3. Seleziona la Località dei dati. Per informazioni sulla selezione di una regione, vedi Località cloud.

  4. Per le altre opzioni di configurazione del servizio, utilizza i valori predefiniti forniti.

  5. Per creare e avviare il servizio, fai clic sul pulsante Invia.

Il nuovo servizio viene visualizzato nell'elenco Servizi.

gcloud

Esegui il seguente comando gcloud metastore services create per creare un servizio:

 gcloud metastore services create example-service \
     --location=LOCATION

Sostituisci LOCATION con la regione di Compute Engine in cui prevedi di creare il servizio. Assicurati che Dataproc Metastore sia disponibile nella regione.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Prepararsi alla migrazione

Ora devi preparare i metadati archiviati nel database Hive Metastore per l'importazione creando un file di dump MySQL e inserendolo in un bucket Cloud Storage.

Consulta Preparare i file di importazione prima dell'importazione per i passaggi di preparazione alla migrazione.

Importa i metadati

Ora che hai preparato il file di dump, importalo nel servizio Dataproc Metastore.

Consulta Importare i file in Dataproc Metastore per i passaggi per importare i metadati nel servizio example-service.

Crea e collega un cluster Dataproc

Dopo aver importato i metadati nel servizio Dataproc Metastore example-service, crea e collega un cluster Dataproc che utilizza il servizio come metastore Hive.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
  3. In the project list, select the project that you want to delete, and then click Delete.
  4. In the dialog, type the project ID, and then click Shut down to delete the project.

In alternativa, puoi eliminare le risorse utilizzate in questo tutorial:

  1. Elimina il servizio Dataproc Metastore.

    Console

    1. Nella console Google Cloud , apri la pagina Dataproc Metastore:

      Apri Dataproc Metastore nella console Google Cloud

    2. A sinistra del nome del servizio, seleziona example-service selezionando la casella.

    3. Nella parte superiore della pagina Dataproc Metastore, fai clic su Elimina per eliminare il servizio.

    4. Nella finestra di dialogo, fai clic su Elimina per confermare l'eliminazione.

    Il servizio non viene più visualizzato nell'elenco Servizi.

    gcloud

    Esegui questo comando gcloud metastore services delete per eliminare un servizio:

     gcloud metastore services delete example-service \
     --location=LOCATION

    Sostituisci LOCATION con la regione di Compute Engine in cui hai creato il servizio.

    REST

    Segui le istruzioni dell'API per eliminare un servizio utilizzando Explorer API.

    Tutte le eliminazioni vengono eseguite immediatamente.

  2. Elimina il bucket Cloud Storage per il servizio Dataproc Metastore.

Passaggi successivi