Risoluzione dei problemi

Questa pagina spiega vari scenari di errore e i passaggi per la risoluzione dei problemi per risolverli.

Scenari di errore di connettività e rete

Se il tuo servizio riscontra problemi di connettività o di rete, controlla gli scenari nelle sezioni seguenti per verificare se uno di questi sta causando il problema.

La creazione del servizio non riesce a causa del vincolo per limitare il peering VPC

Non impostare il vincolo della policy dell'organizzazione per limitare il peering VPC. Se specifichi constraints/compute.restrictVpcPeering, la richiesta di creazione non va a buon fine e viene visualizzato l'errore INVALID_ARGUMENT. Se devi impostare il vincolo, utilizza il seguente comando per consentire under:folders/270204312590:

gcloud resource-manager org-policies allow compute.restrictVpcPeering under:folders/270204312590 --organization ORGANIZATION_ID

Per saperne di più, consulta Vincoli delle policy dell'organizzazione.

Il deployment tra progetti non riesce se account di servizio potrebbe non esistere

Per creare un servizio Dataproc Metastore accessibile in una rete appartenente a un progetto diverso da quello a cui appartiene il servizio, devi concedere roles/metastore.serviceAgent all'agente di servizio Dataproc Metastore (service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) del progetto di servizio nel criterio IAM del progetto di rete.

gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
    --role "roles/metastore.serviceAgent" \
    --member "serviceAccount:service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com"

Per saperne di più, consulta Configurare un deployment tra progetti.

Impossibile creare il servizio Dataproc Metastore multiregionale

Quando crei un servizio Dataproc Metastore multiregionale, potresti visualizzare il seguente errore:

The Dataproc Service Agent does not have permission to GET Dataproc Metastore service
'projects/<dpmsproject>/locations/nam7/services/<service>'. If using a service from the
cluster's project, please ensure the service agent has the Cloud IAM role
'roles/dataproc.serviceAgent'. Please see
https://cloud.google.com/dataproc/docs/concepts/iam/dataproc-
principals#service_agent_control_plane_identity for information on the Dataproc Service
Agent, and https://cloud.google.com/iam/docs/granting-changing-revoking-access#granting-
gcloud-manual for information on granting access.

Questo errore si verifica se il cluster Dataproc si trova in un progetto diverso da Dataproc Metastore, ma non hai concesso le autorizzazioni corrette al tuo progetto.

Per risolvere questo errore, devi concedere l'autorizzazione metastore.services.get al account di servizio Dataproc contenuto nel progetto Dataproc Metastore.

L'IP privato è obbligatorio per la connettività di rete

Dataproc Metastore utilizza solo IP privati, quindi non viene esposto alcun IP pubblico. Ciò significa che solo le VM sulla rete Virtual Private Cloud (VPC) fornita o on-premise (connesse tramite Cloud VPN o Cloud Interconnect) possono accedere al servizio Dataproc Metastore.

Per ulteriori informazioni, vedi Accesso ai servizi.

Regola firewall in entrata obbligatoria per Kerberos

Kerberos richiede a Dataproc Metastore di avviare connessioni agli host nella rete del progetto. Devi creare una regola firewall che consenta l'ingresso TCP e UDP su tutte le porte dal blocco IP /17 che contiene l'IP Dataproc Metastore.

Per ulteriori informazioni, consulta Regole firewall sul KDC e Regole firewall per i servizi.

Errore di connessione causato da risorse di cui è stato eseguito il provisioning nelle reti VPC condiviso

Se il tuo Dataproc Metastore. In questo caso, Dataproc Metastore tenterà di riservare intervalli di indirizzi IP privati al di fuori degli intervalli RFC 1918 per la creazione del servizio. Per un elenco degli intervalli privati non RFC 1918 supportati, consulta Intervalli validi nella documentazione della rete VPC.} il servizio utilizza una rete appartenente a un progetto diverso e Compute Engine è protetto dal service perimeter, il progetto metastore e il progetto di rete devono trovarsi nello stesso perimetro.

Per aggiungere progetti Dataproc Metastore esistenti al perimetro, segui le istruzioni riportate in Aggiornamento di un perimetro di servizio.

Per ulteriori informazioni, consulta Controlli di servizio VPC con Dataproc Metastore.

L'intervallo IP allocato è esaurito

La rete VPC fornita potrebbe esaurire gli indirizzi RFC 1918 disponibili richiesti dai servizi Dataproc Metastore. In questo caso, Dataproc Metastore tenterà di riservare intervalli di indirizzi IP privati al di fuori degli intervalli RFC 1918 per la creazione del servizio. Per un elenco degli intervalli privati non RFC 1918 supportati, consulta Intervalli validi nella documentazione della rete VPC.

Gli indirizzi IP privati non RFC 1918 utilizzati in Dataproc Metastore potrebbero essere in conflitto con un intervallo in una rete on-premise connessa alla rete VPC fornita. Per controllare l'elenco degli indirizzi IP privati RFC 1918 e non RFC 1918 riservati da Dataproc Metastore:

gcloud compute addresses list \
    --project NETWORK_PROJECT_ID \
    --filter="purpose:VPC_PEERING AND name ~ cluster|resourcegroup"

Se viene rilevato un conflitto che non può essere mitigato riconfigurando la rete on-premise, elimina il servizio Dataproc Metastore in conflitto e ricrealo dopo 2 ore.

Per saperne di più, consulta Esaurimento dell'intervallo di indirizzi IP.

Scenari di errore di timeout dell'operazione

I seguenti scenari di errore comportano un servizio o un'operazione che non risponde ai timeout.

Utilizzare i log di controllo per risolvere i problemi di timeout dell'operazione

Per risolvere i problemi relativi ai timeout dell'operazione di servizio, utilizza Esplora log nella consoleGoogle Cloud per recuperare le voci del log di controllo per il tuo progetto Cloud.

Nel riquadro Generatore di query, seleziona Risorsa sottoposta ad audit o audited_resource come tipo di risorsa Google Cloud , seguito da Dataproc Metastore o metastore.googleapis.com come servizio. La selezione di un metodo è facoltativa.

Per saperne di più, consulta la sezione Visualizzazione dei log.

Indisponibilità del servizio

I servizi Dataproc Metastore possono non essere disponibili per vari motivi e causare errori. Alcuni motivi comuni per cui ciò potrebbe verificarsi includono un utilizzo elevato della CPU o errori di esaurimento della memoria.

Il problema può essere causato da un carico elevato o da molte tabelle e partizioni sottoposte a query. Per evitare questo problema, ti consigliamo di utilizzare il livello Enterprise, che offre scalabilità flessibile, tolleranza di errore e alta disponibilità multizona gestendo carichi di lavoro elevati.

Per risolvere i problemi relativi agli errori di memoria insufficiente, utilizza Esplora log nella consoleGoogle Cloud per recuperare le voci del log di controllo per il tuo progetto Cloud.

  1. In Esplora log, fai clic su Query Builder.
  2. Seleziona i seguenti filtri:
    • Tipo di risorsa: metastore.googleapis.com/Services
    • Gravità: ERROR
    • Parola chiave: OutofMemoryError

Per ulteriori informazioni, consulta la sezione Visualizzazione dei log.

Scenari di errore di importazione ed esportazione

Questa sezione descrive i problemi comuni di importazione ed esportazione di Dataproc Metastore.

L'importazione non riesce perché le versioni di Hive non corrispondono

Quando importi i metadati, le versioni di Hive metastore e Dataproc Metastore devono essere compatibili. L'importazione potrebbe non riuscire se i due valori non corrispondono.

Per ulteriori informazioni sulla compatibilità, consulta le norme relative alle versioni.

Puoi controllare Cloud Logging per verificare se hai riscontrato questo errore. Il seguente messaggio è un esempio di questo errore.

Metastore schema version is not compatible. Hive Version: 3.1.0, Database Schema Version: 2.3.0

L'importazione non riesce perché mancano i file della tabella Hive

Quando prepari l'importazione per Avro, deve essere presente un file per ogni tabella Hive, anche se la tabella è vuota, altrimenti l'importazione non andrà a buon fine.

Puoi utilizzare il toolkit Dataproc Metastore come riferimento per controllare gli schemi dei metadati Hive corretti.

L'agente di servizio o l'utente non dispone delle autorizzazioni necessarie

Il service agent Dataproc Metastore (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) e l'utente che importa i metadati devono disporre della seguente autorizzazione di lettura per il bucket Cloud Storage utilizzato per l'importazione:

  • Per MySQL, devono disporre dell'autorizzazione storage.objects.get per l'oggetto Cloud Storage (file di dump SQL) utilizzato per l'importazione.

  • Per Avro, devono disporre dell'autorizzazione storage.objects.get sul bucket Cloud Storage utilizzato per l'importazione.

Per le esportazioni, il service agent Dataproc Metastore (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) e l'utente che crea l'esportazione devono disporre dell'autorizzazione storage.objects.create sul bucket.

Il job non riesce perché il file di database è troppo grande

Se il file del database è troppo grande, il completamento del processo di importazione o esportazione può richiedere più tempo del limite di timeout del job. Se l'importazione non può essere completata entro il limite di timeout del job di 3 ore, puoi suddividere i metadati in più istanze Dataproc Metastore.

Scenari di errore di backup e ripristino

Questa sezione descrive i problemi comuni di backup e ripristino di Dataproc Metastore.

Impossibile creare un nuovo backup per un servizio

Se in un servizio sono già presenti 7 backup, devi prima eliminarne uno manualmente prima di crearne uno nuovo. Puoi eliminare i backup esistenti dalla scheda Backup/Ripristino.

L'utente non dispone delle autorizzazioni necessarie

Per eseguire il backup dei metadati, devi richiedere un ruolo IAM che contenga l'autorizzazione IAM metastore.backups.create.

Per ripristinare i metadati, devi richiedere un ruolo IAM che contenga le autorizzazioni IAM metastore.services.restore e metastore.backups.use.

Il job non riesce perché il file di metadati del servizio è troppo grande

Se il file di metadati del servizio è troppo grande, il completamento della procedura di backup o ripristino può richiedere più di un'ora, ovvero il limite di timeout del job.

Scenari di errore del cluster Dataproc

Le sezioni seguenti descrivono i problemi comuni dei cluster Dataproc e autogestiti.

Il collegamento del cluster Dataproc non riesce a causa di versioni non corrispondenti

Quando colleghi un cluster Dataproc, l'immagine Dataproc e la versione Hive di Dataproc Metastore devono essere compatibili. Controlla le seguenti pagine di controllo delle versioni delle immagini per assicurarti che la versione di Hive sia compatibile:

  • Versioni release 2.0.x di Dataproc
  • Versioni release 1.5.x di Dataproc
  • Versioni release 1.4.x di Dataproc

Per saperne di più, consulta Elenco delle versioni immagine di Dataproc.

La creazione del cluster Dataproc non riesce a causa di ruoli insufficienti

Quando crei un cluster Dataproc, la creazione non va a buon fine e viene visualizzato il seguente messaggio di errore:

gcloud.dataproc.clusters.create) INVALID_ARGUMENT: Default Service Account '**********-compute@developer.gserviceaccount.com' is missing required permissions: [dataproc.agents.create, dataproc.agents.delete, dataproc.agents.get, dataproc.agents.update, dataproc.tasks.lease, dataproc.tasks.listInvalidatedLeases, dataproc.tasks.reportStatus]. Service Accounts must have either 'Dataproc/Dataproc Worker' role or all permissions granted by the role.

Ciò può verificarsi quando tenti di creare un cluster Dataproc e di collegarlo a Dataproc Metastore.

Per risolvere il problema, concedi roles/dataproc.worker al tuo account di servizio. Il seguente esempio illustra come eseguire questa operazione utilizzando alcuni valori di esempio.

gcloud projects add-iam-policy-binding my_project \
    --member=219315-compute@developer.gserviceaccount.com \
    --role=roles/dataproc.worker

La connessione al metastore non riesce a causa di problemi di fuso orario

Il file Hive restituisce l'errore The server time zone value 'CDT' is unrecognized or represents more than one time zone.

Se non riesci a connetterti al metastore da Dataproc, devi eliminare il cluster corrente e aggiornare il comando gcloud dataproc clusters create o lo strumento di automazione per includere il seguente parametro del fuso orario:

--metadata "hive-metastore-uri=jdbc:mysql://10.207.26.77:3306/hive_metastore?serverTimezone=CST6CDT"

Risoluzione dei problemi di Google Cloud CLI

Se riscontri un problema per cui un comando gcloud CLI non è disponibile o se il comando si comporta in modo diverso da quanto documentato, prova ad aggiornare gcloud CLI:

gcloud components update

Passaggi successivi