Questa guida ti aiuta a comprendere, eseguire il deployment e utilizzare la soluzione già pronta Analytics lakehouse. Questa soluzione mostra come unificare data lake e data warehouse creando una lakehouse di analisi per archiviare, elaborare, analizzare e attivare i dati utilizzando uno stack di dati unificato.
I casi d'uso comuni per la creazione di una lakehouse di analisi includono quanto segue:
- Analisi su larga scala dei dati di telemetria combinati con i dati dei report.
- Unificazione dell'analisi dei dati strutturati e non strutturati.
- Fornisce funzionalità di analisi in tempo reale per un data warehouse.
Questo documento è destinato agli sviluppatori che hanno una certa esperienza con l'analisi dei dati e che hanno utilizzato un database o un data lake per eseguire un'analisi. Presuppone che tu abbia familiarità con i concetti di base del cloud, anche se non necessariamente Google Cloud. L'esperienza con Terraform è utile.
Obiettivi
- Scopri come configurare una lakehouse di analisi.
- Proteggi una lakehouse di analisi utilizzando un livello di governance comune.
- Crea dashboard dai dati per eseguire l'analisi dei dati.
- Crea un modello di machine learning per prevedere i valori dei dati nel tempo.
Prodotti utilizzati
La soluzione utilizza i seguenti prodotti Google Cloud :
- BigQuery: Un data warehouse completamente gestito e a elevata scalabilità con funzionalità di machine learning integrate.
- Dataproc: Un servizio completamente gestito per la modernizzazione dei data lake, l'ETL e attività di data science sicure su larga scala.
- Looker Studio: Piattaforma self-service di business intelligence per creare e condividere insight sui dati.
- Dataplex Universal Catalog: Scopri, gestisci, monitora e governa centralmente i dati su larga scala.
- Cloud Storage: Un servizio di livello enterprise che fornisce archiviazione di oggetti a basso costo e senza limiti per diversi tipi di dati. I dati sono accessibili dall'interno e dall'esterno di Google Cloud e vengono replicati con ridondanza geografica.
- BigLake: BigLake è un motore di archiviazione che unifica data warehouse e data lake consentendo a BigQuery e framework open source come Spark di accedere ai dati con un controllo dell'accesso dell'accesso granulare.
I seguenti prodotti Google Cloud vengono utilizzati per preparare i dati nella soluzione per il primo utilizzo:
- Workflows: Una piattaforma di orchestrazione completamente gestita che esegue i servizi in un ordine specificato come flusso di lavoro. Workflows può combinare servizi, inclusi servizi personalizzati ospitati su Cloud Run o Cloud Run Functions, serviziGoogle Cloud come BigQuery e qualsiasi API basata su HTTP.
Architettura
L'architettura lakehouse di esempio implementata da questa soluzione analizza un set di dati di e-commerce per comprendere il rendimento di un rivenditore nel tempo. Il seguente diagramma mostra l'architettura delle risorse Google Cloud che la soluzione esegue il deployment.
Flusso della soluzione
L'architettura rappresenta un flusso di dati comune per popolare e trasformare i dati in un'architettura di analytics lakehouse:
- I dati vengono inseriti nei bucket Cloud Storage.
- Viene creato un data lake in Dataplex Universal Catalog. I dati nei bucket sono organizzati in entità o tabelle nel data lake.
- Le tabelle nel data lake sono immediatamente disponibili in BigQuery come tabelle BigLake.
- Trasformazioni dei dati utilizzando Dataproc o BigQuery e con formati file aperti, tra cui Apache Iceberg.
- I dati possono essere protetti tramite tag di policy e policy di accesso alle righe.
- Alle tabelle è possibile applicare il machine learning.
- Le dashboard vengono create dai dati per eseguire più analisi utilizzando Looker Studio.
Costo
Per una stima del costo delle risorse Google Cloud utilizzate dalla soluzione di analytics lakehouse, consulta la stima precalcolata nel Google Cloud Calcolatore prezzi.
Utilizza la stima come punto di partenza per calcolare il costo del deployment. Puoi modificare la stima per riflettere le modifiche alla configurazione che prevedi di apportare alle risorse utilizzate nella soluzione.
La stima precalcolata si basa su ipotesi per determinati fattori, tra cui:
- Le Google Cloud posizioni in cui vengono eseguito il deployment delle risorse.
- Il periodo di tempo in cui vengono utilizzate le risorse.
Prima di iniziare
Per eseguire il deployment di questa soluzione, devi prima disporre di un progetto Google Cloud e di alcune autorizzazioni IAM.
Crea o scegli un Google Cloud progetto
Quando esegui il deployment della soluzione, scegli il progettoGoogle Cloud in cui vengono eseguito il deployment delle risorse. Puoi creare un nuovo progetto o utilizzarne uno esistente per il deployment.
Se vuoi creare un nuovo progetto, fallo prima di iniziare il deployment. L'utilizzo di un nuovo progetto può contribuire a evitare conflitti con le risorse di cui è stato eseguito il provisioning in precedenza, ad esempio le risorse utilizzate per i carichi di lavoro di produzione.
Per creare un progetto, completa i seguenti passaggi:
-
Ensure that you have the Project Creator IAM role
(
roles/resourcemanager.projectCreator
). Learn how to grant roles. -
In the Google Cloud console, go to the project selector page.
-
Click Create project.
-
Name your project. Make a note of your generated project ID.
-
Edit the other fields as needed.
-
Click Create.
Ottenere le autorizzazioni IAM richieste
Per avviare il processo di deployment, devi disporre delle autorizzazioni Identity and Access Management (IAM) elencate nella tabella seguente.
Se hai creato un nuovo progetto per questa soluzione, disponi del roles/owner
ruolo di base
in quel progetto e hai tutte le autorizzazioni necessarie. Se non disponi del ruolo roles/owner
, chiedi all'amministratore di concederti queste autorizzazioni (o i ruoli che le includono).
Autorizzazione IAM richiesta | Ruolo predefinito che include le autorizzazioni richieste |
---|---|
|
Service Usage Admin ( roles/serviceusage.serviceUsageAdmin ) |
|
Amministratore account di servizio ( roles/iam.serviceAccountAdmin ) |
|
Project IAM Admin ( roles/resourcemanager.projectIamAdmin ) |
config.deployments.create config.deployments.list |
Amministratore di Cloud Infrastructure Manager ( roles/config.admin ) |
iam.serviceAccount.actAs |
Utente service account ( roles/iam.serviceAccountUser ) |
Informazioni sulle autorizzazioni temporanee del account di servizio
Se avvii la procedura di deployment tramite la console, Google crea un service account per eseguire il deployment della soluzione per tuo conto (e per eliminare il deployment in un secondo momento, se vuoi). A questo account di servizio vengono assegnate determinate autorizzazioni IAM temporaneamente, ovvero le autorizzazioni vengono revocate automaticamente dopo il completamento delle operazioni di deployment ed eliminazione della soluzione. Google consiglia di eliminare l'account di servizio dopo aver eliminato il deployment, come descritto più avanti in questa guida.
Visualizza i ruoli assegnati all'account di servizio
Questi ruoli sono elencati qui nel caso in cui un amministratore del tuo progetto o della tua organizzazioneGoogle Cloud abbia bisogno di queste informazioni.
roles/biglake.admin
roles/bigquery.admin
roles/compute.admin
roles/datalineage.viewer
roles/dataplex.admin
roles/dataproc.admin
roles/iam.serviceAccountAdmin
roles/iam.serviceAccountUser
roles/resourcemanager.projectIamAdmin
roles/servicenetworking.serviceAgent
roles/serviceusage.serviceUsageViewer
roles/vpcaccess.admin
roles/storage.admin
roles/workflows.admin
Esegui il deployment della soluzione
Questa sezione ti guida nella procedura di deployment della soluzione.
Per aiutarti a eseguire il deployment di questa soluzione con il minimo sforzo, in GitHub è disponibile una configurazione Terraform. La configurazione Terraform definisce tutte le Google Cloud risorse necessarie per la soluzione.
Puoi eseguire il deployment della soluzione utilizzando uno dei seguenti metodi:
Tramite la console: utilizza questo metodo se vuoi provare la soluzione con la configurazione predefinita e vedere come funziona. Cloud Build esegue il deployment di tutte le risorse necessarie per la soluzione. Quando non hai più bisogno della soluzione di cui è stato eseguito il deployment, puoi eliminarla tramite la console. Le risorse che crei dopo il deployment della soluzione potrebbero dover essere eliminate separatamente.
Per utilizzare questo metodo di deployment, segui le istruzioni riportate in Deployment tramite la console.
Utilizzo della CLI Terraform: utilizza questo metodo se vuoi personalizzare la soluzione o se vuoi automatizzare il provisioning e la gestione delle risorse utilizzando l'approccio Infrastructure as Code (IaC). Scarica la configurazione di Terraform da GitHub, personalizza facoltativamente il codice in base alle esigenze e poi esegui il deployment della soluzione utilizzando la CLI Terraform. Dopo aver eseguito il deployment della soluzione, puoi continuare a utilizzare Terraform per gestirla.
Per utilizzare questo metodo di deployment, segui le istruzioni riportate in Esegui il deployment utilizzando l'interfaccia a riga di comando di Terraform.
Esegui il deployment tramite la console
Completa i seguenti passaggi per eseguire il deployment della soluzione preconfigurata.
Nel catalogo delle Google Cloud soluzioni già pronte, vai alla soluzione Analytics lakehouse.
Esamina le informazioni fornite nella pagina, ad esempio il costo stimato della soluzione e il tempo di deployment stimato.
Quando è tutto pronto per iniziare il deployment della soluzione, fai clic su Esegui il deployment.
Viene visualizzato un riquadro di configurazione passo passo.
Completa i passaggi nel riquadro di configurazione.
Prendi nota del nome che inserisci per il deployment. Questo nome è obbligatorio in un secondo momento, quando elimini il deployment.
Quando fai clic su Esegui il deployment, viene visualizzata la pagina Deployment di soluzioni. Il campo Stato di questa pagina mostra Deployment in corso.
Attendi il deployment della soluzione.
Se il deployment non riesce, nel campo Stato viene visualizzato Non riuscito. Puoi utilizzare il log di Cloud Build per diagnosticare gli errori. Per saperne di più, consulta Errori durante il deployment tramite la console.
Al termine del deployment, il campo Stato cambia in Eseguito il deployment.
Per visualizzare e utilizzare la soluzione, torna alla pagina Deployment di soluzioni nella console.
- Fai clic sul menu Azioni.
- Seleziona Visualizza dashboard di Looker Studio per aprire una dashboard basata sui dati di esempio trasformati utilizzando la soluzione.
- Seleziona Apri editor BigQuery per eseguire query e creare modelli di machine learning (ML) utilizzando i dati di esempio nella soluzione.
- Seleziona Visualizza Colab per eseguire query in un ambiente notebook.
Quando la soluzione non è più necessaria, puoi eliminare il deployment per evitare l'addebito continuo per le risorse Google Cloud . Per saperne di più, vedi Elimina il deployment.
Esegui il deployment utilizzando l'interfaccia a riga di comando di Terraform
Questa sezione descrive come personalizzare la soluzione o automatizzare il provisioning e la gestione della soluzione utilizzando la CLI Terraform. Le soluzioni di cui esegui il deployment utilizzando Terraform CLI non vengono visualizzate nella pagina Deployment di soluzioni nella console Google Cloud .
Configura il client Terraform
Puoi eseguire Terraform in Cloud Shell o sull'host locale. Questa guida descrive come eseguire Terraform in Cloud Shell, in cui Terraform è preinstallato e configurato per l'autenticazione con Google Cloud.
Il codice Terraform per questa soluzione è disponibile in un repository GitHub.
Clona il repository GitHub in Cloud Shell.
Viene visualizzato un prompt per confermare il download del repository GitHub in Cloud Shell.
Fai clic su Conferma.
Cloud Shell viene avviato in una scheda del browser separata e il codice Terraform viene scaricato nella directory
$HOME/cloudshell_open
dell'ambiente Cloud Shell.In Cloud Shell, controlla se la directory di lavoro attuale è
$HOME/cloudshell_open/terraform-google-analytics-lakehouse/
. Questa è la directory che contiene i file di configurazione Terraform per la soluzione. Se devi passare a questa directory, esegui questo comando:cd $HOME/cloudshell_open/terraform-google-analytics-lakehouse/
Inizializza Terraform eseguendo questo comando:
terraform init
Attendi finché non viene visualizzato il seguente messaggio:
Terraform has been successfully initialized!
Configura le variabili Terraform
Il codice Terraform che hai scaricato include variabili che puoi utilizzare per personalizzare il deployment in base ai tuoi requisiti. Ad esempio, puoi specificare il progetto Google Cloud e la regione in cui vuoi che venga eseguito il deployment della soluzione.
Assicurati che la directory di lavoro attuale sia
$HOME/cloudshell_open/terraform-google-analytics-lakehouse/
. In caso contrario, vai a quella directory.Nella stessa directory, crea un file di testo denominato
terraform.tfvars
.Nel file
terraform.tfvars
, copia il seguente snippet di codice e imposta i valori per le variabili richieste.- Segui le istruzioni fornite come commenti nello snippet di codice.
- Questo snippet di codice include solo le variabili per le quali devi impostare
i valori. La configurazione Terraform include altre variabili con valori predefiniti. Per esaminare tutte le variabili e i valori predefiniti, consulta
il file
variables.tf
disponibile nella directory$HOME/cloudshell_open/terraform-google-analytics-lakehouse/
. - Assicurati che ogni valore impostato nel file
terraform.tfvars
corrisponda al tipo di variabile dichiarato nel filevariables.tf
. Ad esempio, se il tipo definito per una variabile nel filevariables.tf
èbool
, devi specificaretrue
ofalse
come valore di quella variabile nel fileterraform.tfvars
.
# This is an example of the terraform.tfvars file. # The values in this file must match the variable types declared in variables.tf. # The values in this file override any defaults in variables.tf. # ID of the project in which you want to deploy the solution project_id = "PROJECT_ID" # Google Cloud region where you want to deploy the solution # Example: us-central1 region = "REGION" # Whether or not to enable underlying apis in this solution. # Example: true enable_apis = true # Whether or not to protect Cloud Storage and BigQuery resources from deletion when solution is modified or changed. # Example: false force_destroy = false
Convalida e rivedi la configurazione Terraform
Assicurati che la directory di lavoro attuale sia
$HOME/cloudshell_open/terraform-google-analytics-lakehouse/
. In caso contrario, vai a quella directory.Verifica che la configurazione di Terraform non contenga errori:
terraform validate
Se il comando restituisce errori, apporta le correzioni necessarie alla configurazione e poi esegui di nuovo il comando
terraform validate
. Ripeti questo passaggio finché il comando non restituisce il seguente messaggio:Success! The configuration is valid.
Esamina le risorse definite nella configurazione:
terraform plan
Se non hai creato il file
terraform.tfvars
come descritto in precedenza, Terraform ti chiede di inserire i valori per le variabili che non hanno valori predefiniti. Inserisci i valori richiesti.L'output del comando
terraform plan
è un elenco delle risorse di cui Terraform esegue il provisioning quando applichi la configurazione.Se vuoi apportare modifiche, modifica la configurazione ed esegui di nuovo i comandi
terraform validate
eterraform plan
.
Esegui il provisioning delle risorse
Quando non sono necessarie ulteriori modifiche nella configurazione Terraform, esegui il deployment delle risorse.
Assicurati che la directory di lavoro attuale sia
$HOME/cloudshell_open/terraform-google-analytics-lakehouse/
. In caso contrario, vai a quella directory.Applica la configurazione Terraform:
terraform apply
Se non hai creato il file
terraform.tfvars
come descritto in precedenza, Terraform ti chiede di inserire i valori per le variabili che non hanno valori predefiniti. Inserisci i valori richiesti.Terraform mostra un elenco delle risorse che verranno create.
Quando ti viene chiesto di eseguire le azioni, inserisci
yes
.Terraform mostra messaggi che indicano l'avanzamento del deployment.
Se il deployment non può essere completato, Terraform mostra gli errori che hanno causato l'errore. Esamina i messaggi di errore e aggiorna la configurazione per correggere gli errori. Quindi esegui di nuovo il comando
terraform apply
. Per assistenza con la risoluzione dei problemi relativi agli errori di Terraform, vedi Errori durante il deployment della soluzione utilizzando Terraform CLI.Una volta create tutte le risorse, Terraform visualizza il seguente messaggio:
Apply complete!
L'output di Terraform elenca anche le seguenti informazioni aggiuntive di cui avrai bisogno:
- L'URL di Looker Studio della dashboard di cui è stato eseguito il deployment.
- Il link per aprire l'editor BigQuery per alcune query di esempio.
- Il link per aprire il tutorial di Colab.
Il seguente esempio mostra l'aspetto dell'output:
lookerstudio_report_url = "https://lookerstudio.google.com/reporting/create?c.reportId=79675b4f-9ed8-4ee4-bb35-709b8fd5306a&ds.ds0.datasourceName=vw_ecommerce&ds.ds0.projectId=${var.project_id}&ds.ds0.type=TABLE&ds.ds0.datasetId=gcp_lakehouse_ds&ds.ds0.tableId=view_ecommerce" bigquery_editor_url = "https://console.cloud.google.com/bigquery?project=my-cloud-project&ws=!1m5!1m4!6m3!1smy-cloud-project!2sds_edw!3ssp_sample_queries" lakehouse_colab_url = "https://colab.research.google.com/github/GoogleCloudPlatform/terraform-google-analytics-lakehouse/blob/main/assets/ipynb/exploratory-analysis.ipynb"
Per visualizzare e utilizzare la dashboard ed eseguire query in BigQuery, copia gli URL di output del passaggio precedente e aprili in nuove schede del browser.
Gli editor di dashboard, notebook e BigQuery vengono visualizzati nelle nuove schede.
Quando la soluzione non è più necessaria, puoi eliminare il deployment per evitare l'addebito continuo per le risorse Google Cloud . Per saperne di più, vedi Elimina il deployment.
Personalizzare la soluzione
Questa sezione fornisce informazioni che gli sviluppatori di Terraform possono utilizzare per modificare la soluzione di analytics lakehouse al fine di soddisfare i propri requisiti tecnici e aziendali. Le indicazioni riportate in questa sezione sono pertinenti solo se esegui il deployment della soluzione utilizzando Terraform CLI.
Dopo aver visto come funziona la soluzione con i dati di esempio, potresti voler
lavorare con i tuoi dati. Per utilizzare i tuoi dati, inseriscili nel bucket Cloud Storage denominato edw-raw-hash
. L'hash è un insieme casuale di 8 caratteri generato durante il deployment. Puoi
modificare il codice Terraform nei seguenti modi:
- ID set di dati. Modifica il codice Terraform in modo che, quando crea il set di dati BigQuery, utilizzi l'ID set di dati che vuoi utilizzare per i tuoi dati.
- Schema. Modifica il codice Terraform in modo che crei l'ID tabella BigQuery che vuoi utilizzare per archiviare i tuoi dati. Ciò include lo schema della tabella esterna in modo che BigQuery possa leggere i dati da Cloud Storage.
- Zona. Crea le zone del lake che corrispondono alle tue esigenze aziendali (di solito una zonizzazione a due o tre livelli in base alla qualità e all'utilizzo dei dati).
- Dashboard di Looker. Modifica il codice Terraform che crea una dashboard Looker in modo che rifletta i dati che stai utilizzando.
- Job PySpark. Modifica il codice Terraform per eseguire i job PySpark utilizzando Dataproc.
Di seguito sono riportati gli oggetti lakehouse di analisi comuni, che mostrano il codice di esempio di Terraform in main.tf
.
-
Set di dati BigQuery: Lo schema in cui gli oggetti del database sono raggruppati e archiviati.
resource "google_bigquery_dataset" "ds_edw" { project = module.project-services.project_id dataset_id = "DATASET_PHYSICAL_ID" friendly_name = "DATASET_LOGICAL_NAME" description = "DATASET_DESCRIPTION" location = "REGION" labels = var.labels delete_contents_on_destroy = var.force_destroy }
-
Tabella BigQuery: Un oggetto di database che rappresenta i dati archiviati in BigQuery o uno schema di dati archiviato in Cloud Storage.
resource "google_bigquery_table" "tbl_edw_taxi" { dataset_id = google_bigquery_dataset.ds_edw.dataset_id table_id = "TABLE_NAME" project = module.project-services.project_id deletion_protection = var.deletion_protection ... }
-
Stored procedure BigQuery: Un oggetto di database che rappresenta una o più istruzioni SQL da eseguire quando viene chiamato. Ad esempio, per trasformare i dati da una tabella a un'altra o per caricare i dati da una tabella esterna in una tabella standard.
resource "google_bigquery_routine" "sp_sample_translation_queries" { project = module.project-services.project_id dataset_id = google_bigquery_dataset.ds_edw.dataset_id routine_id = "sp_sample_translation_queries" routine_type = "PROCEDURE" language = "SQL" definition_body = templatefile("${path.module}/assets/sql/sp_sample_translation_queries.sql", { project_id = module.project-services.project_id }) }
-
Workflow Cloud Workflows: Un workflow Workflows rappresenta una combinazione di passaggi da eseguire in un ordine specifico. Può essere utilizzato per configurare i dati o eseguire trasformazioni dei dati insieme ad altri passaggi di esecuzione.
resource "google_workflows_workflow" "copy_data" { name = "copy_data" project = module.project-services.project_id region = var.region description = "Copies data and performs project setup" service_account = google_service_account.workflows_sa.email source_contents = templatefile("${path.module}/src/yaml/copy-data.yaml", { public_data_bucket = var.public_data_bucket, textocr_images_bucket = google_storage_bucket.textocr_images_bucket.name, ga4_images_bucket = google_storage_bucket.ga4_images_bucket.name, tables_bucket = google_storage_bucket.tables_bucket.name, dataplex_bucket = google_storage_bucket.dataplex_bucket.name, images_zone_name = google_dataplex_zone.gcp_primary_raw.name, tables_zone_name = google_dataplex_zone.gcp_primary_staging.name, lake_name = google_dataplex_lake.gcp_primary.name }) }
Per personalizzare la soluzione, completa i seguenti passaggi in Cloud Shell:
Verifica che la directory di lavoro attuale sia
$HOME/cloudshell_open/terraform-google-analytics-lakehouse
. In caso contrario, vai alla directory:cd $HOME/cloudshell_open/terraform-google-analytics-lakehouse
Apri
main.tf
e apporta le modifiche che vuoi.Per ulteriori informazioni sugli effetti di questa personalizzazione su affidabilità, sicurezza, prestazioni, costi e operazioni, consulta Consigli di progettazione.
Suggerimenti di progettazione
Questa sezione fornisce suggerimenti per l'utilizzo della soluzione analytics lakehouse per sviluppare un'architettura che soddisfi i tuoi requisiti di sicurezza, affidabilità, costi e prestazioni.
Quando inizi a scalare la tua soluzione lakehouse, hai a disposizione diversi modi per migliorare le prestazioni delle query e ridurre la spesa totale. Questi metodi includono la modifica della modalità di archiviazione fisica dei dati, la modifica delle query SQL e la modifica della modalità di esecuzione delle query utilizzando tecnologie diverse. Per scoprire di più sui metodi per ottimizzare i carichi di lavoro Spark, consulta Best practice per la produzione di Dataproc.
Tieni presente quanto segue:
- Prima di apportare modifiche al design, valuta l'impatto sui costi e considera i potenziali compromessi con altre funzionalità. Puoi valutare l'impatto sui costi delle modifiche al design utilizzando il Calcolatore prezzi diGoogle Cloud .
- Per implementare le modifiche al design nella soluzione, devi avere competenze di programmazione Terraform e conoscenze avanzate dei servizi Google Cloud utilizzati nella soluzione.
- Se modifichi la configurazione Terraform fornita da Google e poi riscontri errori, crea problemi in GitHub. I problemi di GitHub vengono esaminati in base al principio del best effort e non sono destinati a domande di utilizzo generale.
- Per saperne di più sulla progettazione e la configurazione di ambienti di livello di produzione in Google Cloud, vedi Progettazione della landing zone in Google Cloud e Google Cloud Elenco di controllo della configurazione.
Elimina il deployment della soluzione
Quando il deployment della soluzione non è più necessario, per evitare l'addebito continuo dei costi per le risorse che hai creato, elimina il deployment.
Elimina il deployment tramite la console
Utilizza questa procedura se hai eseguito il deployment della soluzione tramite la console.
Nella console Google Cloud , vai alla pagina Deployment di soluzioni.
Vai a Deployment di soluzioni
Seleziona il progetto che contiene il deployment da eliminare.
Individua il deployment che vuoi eliminare.
Nella riga del deployment, fai clic su
Azioni e poi seleziona Elimina.Potrebbe essere necessario scorrere per visualizzare Azioni nella riga.
Inserisci il nome del deployment e fai clic su Conferma.
Il campo Stato mostra Eliminazione.
Se l'eliminazione non riesce, consulta le indicazioni per la risoluzione dei problemi in Errore durante l'eliminazione di un deployment.
Quando non hai più bisogno del progetto Google Cloud che hai utilizzato per la soluzione, puoi eliminarlo. Per saperne di più, consulta la sezione (Facoltativo) Elimina il progetto.
Elimina il deployment utilizzando la CLI Terraform
Utilizza questa procedura se hai eseguito il deployment della soluzione utilizzando Terraform CLI.
In Cloud Shell, assicurati che la directory di lavoro corrente sia
$HOME/cloudshell_open/terraform-google-analytics-lakehouse/
. In caso contrario, vai a quella directory.Rimuovi le risorse di cui è stato eseguito il provisioning da Terraform:
terraform destroy
Terraform mostra un elenco delle risorse che verranno eliminate.
Quando ti viene chiesto di eseguire le azioni, inserisci
yes
.Terraform mostra messaggi che indicano l'avanzamento. Dopo l'eliminazione di tutte le risorse, Terraform visualizza il seguente messaggio:
Destroy complete!
Se l'eliminazione non riesce, consulta le indicazioni per la risoluzione dei problemi in Errore durante l'eliminazione di un deployment.
Quando non hai più bisogno del progetto Google Cloud che hai utilizzato per la soluzione, puoi eliminarlo. Per saperne di più, consulta la sezione (Facoltativo) Elimina il progetto.
(Facoltativo) Elimina il progetto
Se hai eseguito il deployment della soluzione in un nuovo progetto Google Cloud e non ne hai più bisogno, eliminalo completando i seguenti passaggi:
- Nella console Google Cloud , vai alla pagina Gestisci risorse.
- Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
- Al prompt, digita l'ID progetto e fai clic su Chiudi.
Se decidi di conservare il progetto, elimina l'account di servizio creato per questa soluzione, come descritto nella sezione successiva.
(Facoltativo) Elimina il account di servizio
Se hai eliminato il progetto che hai utilizzato per la soluzione, salta questa sezione.
Come accennato in precedenza in questa guida, quando hai eseguito il deployment della soluzione, è stato creato un account di servizio per tuo conto. All'account di servizio sono state assegnate temporaneamente determinate autorizzazioni IAM, ovvero le autorizzazioni sono state revocate automaticamente al termine delle operazioni di deployment ed eliminazione della soluzione, ma l'account di servizio non viene eliminato. Google consiglia di eliminare questo account di servizio.
Se hai eseguito il deployment della soluzione tramite la console Google Cloud , vai alla pagina Deployment di soluzioni. Se ti trovi già in questa pagina, aggiorna il browser. Un processo viene attivato in background per eliminare ilaccount di serviziot. Non sono necessari ulteriori interventi.
Se hai eseguito il deployment della soluzione utilizzando Terraform CLI, completa i seguenti passaggi:
Nella Google Cloud console, vai alla pagina Service account.
Seleziona il progetto che hai utilizzato per la soluzione.
Seleziona l'account di servizio che vuoi eliminare.
L'ID email del account di servizio creato per la soluzione è nel seguente formato:
goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com
L'ID email contiene i seguenti valori:
- DEPLOYMENT_NAME: il nome del deployment.
- NNN: un numero casuale di tre cifre.
- PROJECT_ID: l'ID del progetto in cui hai implementato la soluzione.
Fai clic su Elimina.
Risolvere gli errori
Le azioni che puoi intraprendere per diagnosticare e risolvere gli errori dipendono dal metodo di deployment e dalla complessità dell'errore.
Errori durante il deployment della soluzione tramite la console
Se il deployment non va a buon fine quando utilizzi la console, procedi nel seguente modo:
Vai alla pagina Deployment di soluzioni.
Se il deployment non è riuscito, nel campo Stato viene visualizzato Non riuscito.
Visualizza i dettagli degli errori che hanno causato il problema:
Nella riga del deployment, fai clic su
Azioni.Potrebbe essere necessario scorrere per visualizzare Azioni nella riga.
Seleziona Visualizza i log di Cloud Build.
Esamina il log di Cloud Build e intraprendi le azioni appropriate per risolvere il problema che ha causato l'errore.
Errori durante il deployment della soluzione utilizzando la CLI Terraform
Se il deployment non riesce quando utilizzi Terraform, l'output del comando terraform
apply
include messaggi di errore che puoi esaminare per diagnosticare il problema.
Gli esempi nelle sezioni seguenti mostrano gli errori di deployment che potresti riscontrare quando utilizzi Terraform.
Errore API non abilitata
Se crei un progetto e poi tenti immediatamente di eseguire il deployment della soluzione nel nuovo progetto, il deployment potrebbe non riuscire e restituire un errore simile al seguente:
Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.
Se si verifica questo errore, attendi qualche minuto, quindi esegui di nuovo il comando terraform apply
.
Errore: impossibile assegnare l'indirizzo richiesto
Quando esegui il comando terraform apply
, potrebbe verificarsi un errore cannot assign requested address
con un messaggio simile al seguente:
Error: Error creating service account:
Post "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts:
dial tcp [2001:db8:ffff:ffff::5f]:443:
connect: cannot assign requested address
Se si verifica questo errore, esegui di nuovo il comando terraform apply
.
Errori di accesso ai dati in BigQuery o Looker Studio
Esiste un passaggio di provisioning che viene eseguito dopo i passaggi di provisioning di Terraform che carica i dati nell'ambiente. Se ricevi un errore durante il caricamento dei dati nella dashboard di Looker Studio o se non sono presenti oggetti quando inizi a esplorare BigQuery, attendi qualche minuto e riprova.
Errore durante l'eliminazione di un deployment
In alcuni casi, i tentativi di eliminare un deployment potrebbero non riuscire:
- Dopo aver eseguito il deployment di una soluzione tramite la console, se modifiche a qualsiasi risorsa di cui è stato eseguito il provisioning dalla soluzione e se poi provi a eliminare il deployment, l'eliminazione potrebbe non riuscire. Il campo Stato nella pagina Deployment di soluzioni mostra Non riuscito e il log di Cloud Build mostra la causa dell'errore.
- Dopo aver eseguito il deployment di una soluzione utilizzando Terraform CLI, se modifichi una risorsa utilizzando un'interfaccia non Terraform (ad esempio, la console) e poi provi a eliminare il deployment, l'eliminazione potrebbe non riuscire. I messaggi nell'output del comando
terraform destroy
mostrano la causa dell'errore.
Esamina i log e i messaggi di errore, identifica ed elimina le risorse che hanno causato l'errore, quindi prova di nuovo a eliminare il deployment.
Se un deployment basato sulla console non viene eliminato e non riesci a diagnosticare l'errore utilizzando il log di Cloud Build, puoi eliminare il deployment utilizzando la CLI Terraform, come descritto nella sezione successiva.
Elimina un deployment basato sulla console utilizzando la CLI Terraform
Questa sezione descrive come eliminare un deployment basato sulla console se si verificano errori quando tenti di eliminarlo tramite la console. In questo approccio, scarichi la configurazione Terraform per il deployment che vuoi eliminare e poi utilizzi Terraform CLI per eliminare il deployment.
Identifica la regione in cui sono archiviati il codice Terraform, i log e altri dati del deployment. Questa regione potrebbe essere diversa da quella che hai selezionato durante il deployment della soluzione.
Nella console Google Cloud , vai alla pagina Deployment di soluzioni.
Vai a Deployment di soluzioni
Seleziona il progetto che contiene il deployment da eliminare.
Nell'elenco dei deployment, individua la riga del deployment che vuoi eliminare.
Fai clic su
Visualizza tutti i contenuti della riga.Nella colonna Località, prendi nota della seconda località, come evidenziato nell'esempio seguente:
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Crea variabili di ambiente per l'ID progetto, la regione e il nome del deployment che vuoi eliminare:
export REGION="REGION" export PROJECT_ID="PROJECT_ID" export DEPLOYMENT_NAME="DEPLOYMENT_NAME"
In questi comandi, sostituisci quanto segue:
- REGION: la località che hai annotato in precedenza in questa procedura.
- PROJECT_ID: l'ID del progetto in cui hai implementato la soluzione.
- DEPLOYMENT_NAME: il nome del deployment che vuoi eliminare.
Recupera l'ID dell'ultima revisione del deployment che vuoi eliminare:
export REVISION_ID=$(curl \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \ | jq .latestRevision -r) echo $REVISION_ID
L'output è simile al seguente:
projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0
Recupera la posizione Cloud Storage della configurazione Terraform per il deployment:
export CONTENT_PATH=$(curl \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \ | jq .applyResults.content -r) echo $CONTENT_PATH
Di seguito è riportato un esempio di output di questo comando:
gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content
Scarica la configurazione Terraform da Cloud Storage a Cloud Shell:
gcloud storage cp $CONTENT_PATH $HOME --recursive cd $HOME/content/
Attendi che venga visualizzato il messaggio
Operation completed
, come mostrato nell'esempio seguente:Operation completed over 45 objects/268.5 KiB
Inizializza Terraform:
terraform init
Attendi finché non viene visualizzato il seguente messaggio:
Terraform has been successfully initialized!
Rimuovi le risorse di cui hai eseguito il deployment:
terraform destroy
Terraform mostra un elenco delle risorse che verranno eliminate.
Se vengono visualizzati avvisi relativi a variabili non dichiarate, ignorali.
Quando ti viene chiesto di eseguire le azioni, inserisci
yes
.Terraform mostra messaggi che indicano l'avanzamento. Dopo l'eliminazione di tutte le risorse, Terraform visualizza il seguente messaggio:
Destroy complete!
Elimina l'artefatto di deployment:
curl -X DELETE \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"
Attendi qualche secondo e verifica che l'artefatto di deployment sia stato eliminato:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \ | jq .error.message
Se l'output mostra
null
, attendi qualche secondo ed esegui di nuovo il comando.Dopo l'eliminazione dell'artefatto di deployment, viene visualizzato un messaggio come mostrato nell'esempio seguente:
Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found
- Per la documentazione, i tutorial nella console o la soluzione, utilizza il pulsante Invia feedback nella pagina.
- Per il codice Terraform non modificato, crea problemi nel repository GitHub. I problemi di GitHub vengono esaminati in base al principio del best effort e non sono destinati a domande di utilizzo generale.
- Per problemi relativi ai prodotti utilizzati nella soluzione, contatta l'assistenza clienti Google Cloud.
- Crea un data lake utilizzando Dataplex Universal Catalog
- Crea tabelle esterne BigLake per Apache Iceberg
- Utilizzare Apache Spark su Google Cloud
- Scopri di più su BigQuery
Invia feedback
Le soluzioni già pronte sono solo a scopo informativo e non sono prodotti supportati ufficialmente. Google può modificare o rimuovere le soluzioni senza preavviso.
Per risolvere gli errori, esamina i log di Cloud Build e l'output di Terraform.
Per inviare un feedback: