Solución Jump Start: lakehouse de analíticas

Last reviewed 2025-01-13 UTC

Esta guía te ayudará a entender, implementar y usar la solución de inicio rápido Analytics lakehouse. Esta solución muestra cómo puedes unificar lagos y almacenes de datos creando un lakehouse de analíticas para almacenar, procesar, analizar y activar datos con una pila de datos unificada.

Estos son algunos de los casos prácticos habituales para crear un lakehouse de analíticas:

  • Análisis a gran escala de datos de telemetría combinados con datos de informes.
  • Unificar el análisis de datos estructurados y sin estructurar.
  • Proporciona funciones de analíticas en tiempo real para un almacén de datos.

Este documento está dirigido a desarrolladores que tengan experiencia en análisis de datos y hayan usado una base de datos o un data lake para realizar un análisis. Se da por supuesto que conoces los conceptos básicos de la nube, aunque no necesariamenteGoogle Cloud. Tener experiencia con Terraform es útil.

Objetivos

  • Consulte cómo configurar un lakehouse de analíticas.
  • Protege un lakehouse de analíticas con una capa de gobernanza común.
  • Crea paneles a partir de los datos para realizar análisis de datos.
  • Crea un modelo de aprendizaje automático para predecir valores de datos a lo largo del tiempo.

Productos usados

La solución usa los siguientes productos de Google Cloud :

  • BigQuery Almacén de datos totalmente gestionado y muy escalable con aprendizaje automático integrado.
  • Dataproc un servicio totalmente gestionado para la modernización de lagos de datos, el proceso de extracción, transformación y carga (ETL) y la ciencia de datos segura a gran escala.
  • Looker Studio: Plataforma de autoservicio de inteligencia empresarial que te ayuda a crear y compartir información valiosa.
  • Dataplex Universal Catalog: Descubre, gestiona, monitoriza y gobierna datos a escala de forma centralizada.
  • Cloud Storage: un servicio listo para empresas que proporciona almacenamiento de objetos ilimitado y a un coste bajo para diversos tipos de datos. Se puede acceder a los datos desde dentro y fuera deGoogle Cloud , y se replican con redundancia geográfica.
  • BigLake BigLake es un motor de almacenamiento que unifica almacenes y lagos de datos permitiendo que BigQuery y frameworks de código abierto (como Spark) accedan a los datos con un control de acceso pormenorizado.

Los siguientes productos Google Cloud se usan para organizar los datos en la solución antes de usarlos por primera vez:

  • Workflows: una plataforma de orquestación totalmente gestionada que ejecuta servicios en un orden específico como flujo de trabajo. Los flujos de trabajo pueden combinar servicios, incluidos los servicios personalizados alojados en Cloud Run o Cloud Run Functions,Google Cloud servicios como BigQuery y cualquier API basada en HTTP.

Arquitectura

La arquitectura de data lakehouse de ejemplo que implementa esta solución analiza un conjunto de datos de comercio electrónico para comprender el rendimiento de un comercio a lo largo del tiempo. En el siguiente diagrama se muestra la arquitectura de los recursos de Google Cloud que implementa la solución.

Arquitectura de la infraestructura de la solución de almacén de datos.

Flujo de la solución

La arquitectura representa un flujo de datos común para rellenar y transformar datos en una arquitectura de lakehouse de analíticas:

  1. Los datos se depositan en segmentos de Cloud Storage.
  2. Se crea un data lake en Dataplex Universal Catalog. Los datos de los segmentos se organizan en entidades o tablas en el data lake.
  3. Las tablas del data lake están disponibles inmediatamente en BigQuery como tablas de BigLake.
  4. Transformaciones de datos con Dataproc o BigQuery, y con formatos de archivo abiertos, como Apache Iceberg.
  5. Los datos se pueden proteger con etiquetas de políticas y políticas de acceso a filas.
  6. El aprendizaje automático se puede aplicar a las tablas.
  7. Se crean paneles a partir de los datos para realizar más analíticas con Looker Studio.

Coste

Para obtener una estimación del coste de los Google Cloud recursos que utiliza la solución de lakehouse de analíticas, consulta la estimación precalculada en la Google Cloud calculadora de precios.

Usa la estimación como punto de partida para calcular el coste de tu implementación. Puedes modificar la estimación para reflejar los cambios de configuración que tengas previsto hacer en los recursos que se usan en la solución.

La estimación precalculada se basa en suposiciones sobre determinados factores, como los siguientes:

  • Las Google Cloud ubicaciones en las que se despliegan los recursos.
  • Tiempo durante el que se usan los recursos.

Antes de empezar

Para implementar esta solución, primero necesitas un Google Cloud proyecto y algunos permisos de gestión de identidades y accesos.

Crea o elige un Google Cloud proyecto

Cuando implementas la solución, eliges el Google Cloud proyecto en el que se implementan los recursos. Puede crear un proyecto o usar uno que ya tenga para la implementación.

Si quieres crear un proyecto, hazlo antes de empezar la implementación. Usar un proyecto nuevo puede ayudar a evitar conflictos con recursos aprovisionados anteriormente, como los que se usan para cargas de trabajo de producción.

Para crear un proyecto, sigue estos pasos:

  1. Ensure that you have the Project Creator IAM role (roles/resourcemanager.projectCreator). Learn how to grant roles.

  2. In the Google Cloud console, go to the project selector page.

    Go to project selector

  3. Click Create project.

  4. Name your project. Make a note of your generated project ID.

  5. Edit the other fields as needed.

  6. Click Create.

Obtener los permisos de gestión de identidades y accesos necesarios

Para iniciar el proceso de implementación, necesitas los permisos de gestión de identidades y accesos (IAM) que se indican en la siguiente tabla.

Si has creado un proyecto para esta solución, tienes el roles/owner rol básico en ese proyecto y todos los permisos necesarios. Si no tienes el rol roles/owner, pide a tu administrador que te conceda estos permisos (o los roles que los incluyan).

Se necesita el permiso de gestión de identidades y accesos Rol predefinido que incluye los permisos necesarios

serviceusage.services.enable

 Administrador de Uso de Servicio
(roles/serviceusage.serviceUsageAdmin)

iam.serviceAccounts.create

 Administrador de cuentas de servicio
(roles/iam.serviceAccountAdmin)

resourcemanager.projects.setIamPolicy

 Administrador de IAM del proyecto
(roles/resourcemanager.projectIamAdmin)
config.deployments.create
config.deployments.list		 Administrador de Cloud Infrastructure Manager
(roles/config.admin)
iam.serviceAccount.actAs Usuario de cuenta de servicio
(roles/iam.serviceAccountUser)

Acerca de los permisos temporales de cuentas de servicio

Si inicias el proceso de implementación a través de la consola, Google crea una cuenta de servicio para implementar la solución en tu nombre (y para eliminar la implementación más adelante si quieres). A esta cuenta de servicio se le asignan determinados permisos de gestión de identidades y accesos temporalmente, es decir, los permisos se revocan automáticamente una vez que se completan las operaciones de implementación y eliminación de la solución. Google recomienda que, después de eliminar la implementación, elimines la cuenta de servicio, tal como se describe más adelante en esta guía.

Ver los roles asignados a la cuenta de servicio

Estos roles se indican aquí por si un administrador de tuGoogle Cloud proyecto u organización necesita esta información.

  • roles/biglake.admin
  • roles/bigquery.admin
  • roles/compute.admin
  • roles/datalineage.viewer
  • roles/dataplex.admin
  • roles/dataproc.admin
  • roles/iam.serviceAccountAdmin
  • roles/iam.serviceAccountUser
  • roles/resourcemanager.projectIamAdmin
  • roles/servicenetworking.serviceAgent
  • roles/serviceusage.serviceUsageViewer
  • roles/vpcaccess.admin
  • roles/storage.admin
  • roles/workflows.admin

Desplegar la solución

En esta sección se explica el proceso de implementación de la solución.

Para ayudarte a desplegar esta solución con el mínimo esfuerzo, se proporciona una configuración de Terraform en GitHub. La configuración de Terraform define todos los Google Cloud recursos necesarios para la solución.

Puedes implementar la solución con uno de los siguientes métodos:

  • A través de la consola: usa este método si quieres probar la solución con la configuración predeterminada y ver cómo funciona. Cloud Build implementa todos los recursos necesarios para la solución. Cuando ya no necesites la solución implementada, puedes eliminarla a través de la consola. Es posible que tengas que eliminar por separado los recursos que crees después de implementar la solución.

    Para usar este método de implementación, sigue las instrucciones que se indican en el artículo Implementar a través de la consola.

  • Con la CLI de Terraform: usa este método si quieres personalizar la solución o automatizar el aprovisionamiento y la gestión de los recursos con el enfoque de infraestructura como código (IaC). Descarga la configuración de Terraform de GitHub, personaliza el código según sea necesario y, a continuación, despliega la solución con la CLI de Terraform. Una vez que hayas desplegado la solución, podrás seguir usando Terraform para gestionarla.

    Para usar este método de implementación, sigue las instrucciones que se indican en Implementar con la CLI de Terraform.

Implementar a través de la consola

Sigue estos pasos para implementar la solución preconfigurada.

  1. En el catálogo Google Cloud Soluciones Jump Start, vaya a la solución Lakehouse de Analytics.

    Ir a la solución de lakehouse de analíticas

  2. Revisa la información que se proporciona en la página, como el coste estimado de la solución y el tiempo de implementación estimado.

  3. Cuando lo tengas todo listo para empezar a implementar la solución, haz clic en Implementar.

    Se muestra un panel de configuración paso a paso.

  4. Completa los pasos del panel de configuración.

    Anota el nombre que le asignes a la implementación. Este nombre es obligatorio más adelante, cuando elimines la implementación.

    Cuando haces clic en Implementar, se muestra la página Implementaciones de soluciones. En el campo Estado de esta página se muestra el valor Implementando.

  5. Espera a que se implemente la solución.

    Si el despliegue falla, el campo Estado muestra Error. Puedes usar el registro de Cloud Build para diagnosticar los errores. Para obtener más información, consulta Errores al implementar a través de la consola.

    Una vez completada la implementación, el campo Estado cambia a Implementado.

  6. Para ver y usar la solución, vuelve a la página Implementaciones de soluciones de la consola.

    1. Haz clic en el menú Acciones.
    2. Selecciona Ver panel de Looker Studio para abrir un panel creado a partir de los datos de muestra transformados con la solución.
    3. Selecciona Abrir editor de BigQuery para ejecutar consultas y crear modelos de aprendizaje automático con los datos de muestra de la solución.
    4. Selecciona Ver Colab para ejecutar consultas en un entorno de cuaderno.

Cuando ya no necesites la solución, puedes eliminar la implementación para evitar que se te siga facturando por los Google Cloud recursos. Para obtener más información, consulta Eliminar la implementación.

Desplegar con la CLI de Terraform

En esta sección se describe cómo puedes personalizar la solución o automatizar el aprovisionamiento y la gestión de la solución mediante la CLI de Terraform. Las soluciones que despliegues con la CLI de Terraform no se mostrarán en la página Despliegues de soluciones de la consola de Google Cloud .

Configurar el cliente de Terraform

Puedes ejecutar Terraform en Cloud Shell o en tu host local. En esta guía se describe cómo ejecutar Terraform en Cloud Shell, que tiene Terraform preinstalado y configurado para autenticarse con Google Cloud.

El código de Terraform de esta solución está disponible en un repositorio de GitHub.

  1. Clona el repositorio de GitHub en Cloud Shell.

    Abrir en Cloud Shell

    Se muestra un mensaje para confirmar la descarga del repositorio de GitHub en Cloud Shell.

  2. Haz clic en Confirmar.

    Cloud Shell se inicia en una pestaña del navegador independiente y el código de Terraform se descarga en el directorio $HOME/cloudshell_open de tu entorno de Cloud Shell.

  3. En Cloud Shell, comprueba si el directorio de trabajo actual es $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Este es el directorio que contiene los archivos de configuración de Terraform de la solución. Si necesitas cambiar a ese directorio, ejecuta el siguiente comando:

    cd $HOME/cloudshell_open/terraform-google-analytics-lakehouse/

  4. Inicializa Terraform ejecutando el siguiente comando:

    terraform init

    Espera hasta que veas el siguiente mensaje:

    Terraform has been successfully initialized!

Configurar las variables de Terraform

El código de Terraform que has descargado incluye variables que puedes usar para personalizar la implementación según tus requisitos. Por ejemplo, puedes especificar el Google Cloud proyecto y la región en los que quieres que se implemente la solución.

  1. Asegúrate de que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Si no es así, ve a ese directorio.

  2. En el mismo directorio, crea un archivo de texto llamado terraform.tfvars.

  3. En el archivo terraform.tfvars, copia el siguiente fragmento de código y asigna valores a las variables obligatorias.

    • Sigue las instrucciones que se proporcionan como comentarios en el fragmento de código.
    • Este fragmento de código solo incluye las variables para las que debes definir valores. La configuración de Terraform incluye otras variables que tienen valores predeterminados. Para consultar todas las variables y los valores predeterminados, consulta el archivo variables.tf disponible en el directorio $HOME/cloudshell_open/terraform-google-analytics-lakehouse/.
    • Asegúrate de que cada valor que definas en el archivo terraform.tfvars coincida con el tipo de variable declarado en el archivo variables.tf. Por ejemplo, si el tipo definido para una variable en el archivo variables.tf es bool, debes especificar true o false como valor de esa variable en el archivo terraform.tfvars.
    # This is an example of the terraform.tfvars file.
# The values in this file must match the variable types declared in variables.tf.
# The values in this file override any defaults in variables.tf.

# ID of the project in which you want to deploy the solution
project_id = "PROJECT_ID"

# Google Cloud region where you want to deploy the solution
# Example: us-central1
region = "REGION"

# Whether or not to enable underlying apis in this solution.
# Example: true
enable_apis = true

# Whether or not to protect Cloud Storage and BigQuery resources from deletion when solution is modified or changed.
# Example: false
force_destroy = false

Validar y revisar la configuración de Terraform

  1. Asegúrate de que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Si no es así, ve a ese directorio.

  2. Verifica que la configuración de Terraform no tenga errores:

    terraform validate

    Si el comando devuelve algún error, haz las correcciones necesarias en la configuración y vuelve a ejecutar el comando terraform validate. Repite este paso hasta que el comando devuelva el siguiente mensaje:

    Success! The configuration is valid.

  3. Revisa los recursos definidos en la configuración:

    terraform plan

  4. Si no has creado el archivo terraform.tfvars como se ha descrito anteriormente, Terraform te pedirá que introduzcas valores para las variables que no tengan valores predeterminados. Introduce los valores necesarios.

    El resultado del comando terraform plan es una lista de los recursos que Terraform aprovisiona cuando aplicas la configuración.

    Si quieres hacer algún cambio, edita la configuración y vuelve a ejecutar los comandos terraform validate y terraform plan.

Aprovisionar los recursos

Cuando no sea necesario hacer más cambios en la configuración de Terraform, implementa los recursos.

  1. Asegúrate de que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Si no es así, ve a ese directorio.

  2. Aplica la configuración de Terraform:

    terraform apply

  3. Si no has creado el archivo terraform.tfvars como se ha descrito anteriormente, Terraform te pedirá que introduzcas valores para las variables que no tengan valores predeterminados. Introduce los valores necesarios.

    Terraform muestra una lista de los recursos que se crearán.

  4. Cuando se te pida que realices las acciones, escribe yes.

    Terraform muestra mensajes que indican el progreso de la implementación.

    Si no se puede completar la implementación, Terraform muestra los errores que han provocado el fallo. Revisa los mensajes de error y actualiza la configuración para corregirlos. A continuación, vuelve a ejecutar el comando terraform apply. Si necesitas ayuda para solucionar errores de Terraform, consulta Errores al desplegar la solución con la CLI de Terraform.

    Una vez que se hayan creado todos los recursos, Terraform mostrará el siguiente mensaje:

    Apply complete!

    El resultado de Terraform también incluye la siguiente información adicional que necesitará:

    • La URL de Looker Studio del panel de control que se ha implementado.
    • El enlace para abrir el editor de BigQuery de algunas consultas de ejemplo.
    • El enlace para abrir el tutorial de Colab.

    En el siguiente ejemplo se muestra el aspecto del resultado:

    lookerstudio_report_url = "https://lookerstudio.google.com/reporting/create?c.reportId=79675b4f-9ed8-4ee4-bb35-709b8fd5306a&ds.ds0.datasourceName=vw_ecommerce&ds.ds0.projectId=${var.project_id}&ds.ds0.type=TABLE&ds.ds0.datasetId=gcp_lakehouse_ds&ds.ds0.tableId=view_ecommerce"
bigquery_editor_url = "https://console.cloud.google.com/bigquery?project=my-cloud-project&ws=!1m5!1m4!6m3!1smy-cloud-project!2sds_edw!3ssp_sample_queries"
lakehouse_colab_url = "https://colab.research.google.com/github/GoogleCloudPlatform/terraform-google-analytics-lakehouse/blob/main/assets/ipynb/exploratory-analysis.ipynb"

  5. Para ver y usar el panel de control, así como para ejecutar consultas en BigQuery, copia las URLs de salida del paso anterior y ábrelas en pestañas nuevas del navegador.

    Los editores de panel de control, cuaderno y BigQuery aparecen en las nuevas pestañas.

Cuando ya no necesites la solución, puedes eliminar la implementación para evitar que se te siga facturando por los Google Cloud recursos. Para obtener más información, consulta Eliminar la implementación.

Personalizar la solución

En esta sección se proporciona información que los desarrolladores de Terraform pueden usar para modificar la solución de lakehouse de analíticas y adaptarla a sus requisitos técnicos y empresariales. Las instrucciones de esta sección solo son relevantes si despliega la solución mediante la CLI de Terraform.

Una vez que hayas visto cómo funciona la solución con los datos de ejemplo, puede que quieras trabajar con tus propios datos. Para usar tus propios datos, debes colocarlos en el segmento de Cloud Storage llamado edw-raw-hash. El hash es un conjunto aleatorio de 8 caracteres que se genera durante la implementación. Puedes cambiar el código de Terraform de las siguientes formas:

  1. ID de conjunto de datos. Cambia el código de Terraform para que, cuando cree el conjunto de datos de BigQuery, utilice el ID que quieras usar para tus datos.
  2. Esquema. Cambia el código de Terraform para que cree el ID de tabla de BigQuery que quieras usar para almacenar tus datos. Esto incluye el esquema de la tabla externa para que BigQuery pueda leer los datos de Cloud Storage.
  3. Zona. Crea las zonas del lago que se ajusten a tus necesidades empresariales (normalmente, una zonificación de dos o tres niveles basada en la calidad y el uso de los datos).
  4. Paneles de Looker. Cambia el código de Terraform que crea un panel de control de Looker para que refleje los datos que estás usando.
  5. Tareas de PySpark. Cambia el código de Terraform para ejecutar trabajos de PySpark con Dataproc.

A continuación se muestran objetos habituales de lakehouse de analíticas, con el código de ejemplo de Terraform en main.tf.

  • Conjunto de datos de BigQuery: es el esquema en el que se agrupan y almacenan los objetos de la base de datos.

    resource "google_bigquery_dataset" "ds_edw" {
      project = module.project-services.project_id
      dataset_id = "DATASET_PHYSICAL_ID"
      friendly_name = "DATASET_LOGICAL_NAME"
      description = "DATASET_DESCRIPTION"
      location = "REGION"
      labels = var.labels
      delete_contents_on_destroy = var.force_destroy
  }

  • Tabla de BigQuery: objeto de base de datos que representa los datos almacenados en BigQuery o que representa un esquema de datos almacenado en Cloud Storage.

    resource "google_bigquery_table" "tbl_edw_taxi" {
      dataset_id = google_bigquery_dataset.ds_edw.dataset_id
      table_id = "TABLE_NAME"
      project = module.project-services.project_id
      deletion_protection = var.deletion_protection
      ...
  }

  • Procedimiento almacenado de BigQuery: objeto de base de datos que representa una o varias instrucciones SQL que se ejecutan cuando se llama. Por ejemplo, para transformar datos de una tabla a otra o para cargar datos de una tabla externa en una tabla estándar. 

    resource "google_bigquery_routine" "sp_sample_translation_queries" {
      project = module.project-services.project_id
      dataset_id = google_bigquery_dataset.ds_edw.dataset_id
      routine_id = "sp_sample_translation_queries"
      routine_type = "PROCEDURE"
      language = "SQL"
      definition_body = templatefile("${path.module}/assets/sql/sp_sample_translation_queries.sql", { project_id = module.project-services.project_id })
    }

  • Flujo de trabajo de Cloud Workflows: Un flujo de trabajo de Workflows representa una combinación de pasos que se deben ejecutar en un orden específico. Se puede usar para configurar datos o realizar transformaciones de datos junto con otros pasos de ejecución. 

    resource "google_workflows_workflow" "copy_data" {
    name            = "copy_data"
    project         = module.project-services.project_id
    region          = var.region
    description     = "Copies data and performs project setup"
    service_account = google_service_account.workflows_sa.email
    source_contents = templatefile("${path.module}/src/yaml/copy-data.yaml", {
        public_data_bucket    = var.public_data_bucket,
        textocr_images_bucket = google_storage_bucket.textocr_images_bucket.name,
        ga4_images_bucket     = google_storage_bucket.ga4_images_bucket.name,
        tables_bucket         = google_storage_bucket.tables_bucket.name,
        dataplex_bucket       = google_storage_bucket.dataplex_bucket.name,
        images_zone_name      = google_dataplex_zone.gcp_primary_raw.name,
        tables_zone_name      = google_dataplex_zone.gcp_primary_staging.name,
        lake_name             = google_dataplex_lake.gcp_primary.name
    })
    }

Para personalizar la solución, sigue estos pasos en Cloud Shell:

  1. Verifica que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-analytics-lakehouse. Si no es así, ve a ese directorio:

    cd $HOME/cloudshell_open/terraform-google-analytics-lakehouse

  2. Abre main.tf y haz los cambios que quieras.

    Para obtener más información sobre los efectos de este tipo de personalización en la fiabilidad, la seguridad, el rendimiento, los costes y las operaciones, consulta las recomendaciones de diseño.

  3. Valida y revisa la configuración de Terraform.

  4. Aprovisiona los recursos.

Recomendaciones de diseño

En esta sección se ofrecen recomendaciones para usar la solución de lakehouse analítico con el fin de desarrollar una arquitectura que cumpla tus requisitos de seguridad, fiabilidad, coste y rendimiento.

A medida que empiece a ampliar su solución de lakehouse, tendrá a su disposición varias formas de mejorar el rendimiento de las consultas y reducir el gasto total. Estos métodos incluyen cambiar la forma en que se almacenan físicamente los datos, modificar las consultas SQL y cambiar la forma en que se ejecutan las consultas mediante diferentes tecnologías. Para obtener más información sobre los métodos para optimizar las cargas de trabajo de Spark, consulte las prácticas recomendadas de Dataproc para producción.

Ten en cuenta lo siguiente:

  • Antes de hacer cualquier cambio en el diseño, evalúa el impacto en los costes y ten en cuenta las posibles ventajas e inconvenientes de otras funciones. Puedes evaluar el impacto económico de los cambios de diseño con la Google Cloud calculadora de precios.
  • Para implementar cambios en el diseño de la solución, debes tener experiencia en la programación de Terraform y conocimientos avanzados de los servicios de Google Cloud que se usan en la solución.
  • Si modificas la configuración de Terraform proporcionada por Google y, después, se producen errores, crea incidencias en GitHub. Los problemas de GitHub se revisan en la medida de lo posible y no están pensados para responder preguntas de uso general.
  • Para obtener más información sobre cómo diseñar y configurar entornos de producción en Google Cloud, consulte Diseño de la zona de aterrizaje en Google Cloud y la lista de comprobación de la configuración deGoogle Cloud .

Eliminar la implementación de la solución

Cuando ya no necesites el despliegue de la solución, elimínalo para evitar que se te siga facturando por los recursos que has creado.

Eliminar la implementación a través de la consola

Sigue este procedimiento si has implementado la solución a través de la consola.

  1. En la Google Cloud consola, ve a la página Implementaciones de soluciones.

    Ir a Despliegues de soluciones

  2. Selecciona el proyecto que contenga la implementación que quieras eliminar.

  3. Busca el despliegue que quieras eliminar.

  4. En la fila de la implementación, haga clic en Acciones y, a continuación, seleccione Eliminar.

    Es posible que tengas que desplazarte para ver Acciones en la fila.

  5. Introduce el nombre del lanzamiento y haz clic en Confirmar.

    En el campo Estado se muestra Eliminando.

    Si no se puede eliminar, consulta la guía para solucionar problemas en Error al eliminar un despliegue.

Cuando ya no necesites el proyecto que has usado para la solución, puedes eliminarlo. Google Cloud Para obtener más información, consulta Opcional: Eliminar el proyecto.

Eliminar la implementación con la CLI de Terraform

Sigue este procedimiento si has desplegado la solución con la CLI de Terraform.

  1. En Cloud Shell, comprueba que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Si no es así, ve a ese directorio.

  2. Elimina los recursos aprovisionados por Terraform:

    terraform destroy

    Terraform muestra una lista de los recursos que se van a destruir.

  3. Cuando se te pida que realices las acciones, escribe yes.

    Terraform muestra mensajes que indican el progreso. Una vez que se hayan eliminado todos los recursos, Terraform mostrará el siguiente mensaje:

    Destroy complete!

    Si no se puede eliminar, consulta la guía para solucionar problemas en Error al eliminar un despliegue.

Cuando ya no necesites el proyecto que has usado para la solución, puedes eliminarlo. Google Cloud Para obtener más información, consulta Opcional: Eliminar el proyecto.

Opcional: Eliminar el proyecto

Si has implementado la solución en un proyecto nuevo y ya no lo necesitas, elimínalo siguiendo estos pasos: Google Cloud

  1. En la Google Cloud consola, ve a la página Gestionar recursos.

    Ir a Gestionar recursos

  2. En la lista de proyectos, selecciona el proyecto que quieras eliminar y haz clic en Eliminar.
  3. Cuando se te pida, escribe el ID del proyecto y haz clic en Cerrar.

Si decides conservar el proyecto, elimina la cuenta de servicio que se creó para esta solución, tal como se describe en la sección siguiente.

Opcional: Eliminar la cuenta de servicio

Si has eliminado el proyecto que has usado para la solución, puedes saltarte esta sección.

Como se ha mencionado anteriormente en esta guía, cuando implementaste la solución, se creó una cuenta de servicio en tu nombre. A la cuenta de servicio se le han asignado ciertos permisos de gestión de identidades y accesos temporalmente, es decir, los permisos se han revocado automáticamente una vez completadas las operaciones de implementación y eliminación de la solución, pero la cuenta de servicio no se ha eliminado. Google recomienda que elimines esta cuenta de servicio.

  • Si has implementado la solución a través de la Google Cloud consola, ve a la página Implementaciones de soluciones. Si ya estás en esa página, actualiza el navegador. Se activará un proceso en segundo plano para eliminar la cuenta de servicio. No es necesario hacer nada más.

  • Si has desplegado la solución con la CLI de Terraform, sigue estos pasos:

    1. En la Google Cloud consola, ve a la página Cuentas de servicio.

      Ir a Cuentas de servicio

    2. Selecciona el proyecto que has usado para la solución.

    3. Selecciona la cuenta de servicio que quieras eliminar.

      El ID de correo de la cuenta de servicio que se ha creado para la solución tiene el siguiente formato:

      goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com

      El ID de correo contiene los siguientes valores:

      • DEPLOYMENT_NAME: el nombre del despliegue.
      • NNN: un número aleatorio de 3 dígitos.
      • PROJECT_ID: el ID del proyecto en el que has implementado la solución.

    4. Haz clic en Eliminar.

Solución de errores

Las acciones que puedes llevar a cabo para diagnosticar y resolver errores dependen del método de implementación y de la complejidad del error.

Errores al implementar la solución a través de la consola

Si la implementación falla al usar la consola, haz lo siguiente:

  1. Ve a la página Implementaciones de soluciones.

    Si el despliegue ha fallado, en el campo Estado se muestra Error.

  2. Consulta los detalles de los errores que han provocado el fallo:

    1. En la fila de la implementación, haz clic en Acciones.

      Es posible que tengas que desplazarte para ver Acciones en la fila.

    2. Selecciona Ver registros de Cloud Build.

  3. Revisa el registro de Cloud Build y toma las medidas oportunas para solucionar el problema que ha provocado el fallo.

Errores al desplegar la solución con la CLI de Terraform

Si la implementación falla al usar Terraform, el resultado del comando terraform apply incluye mensajes de error que puedes revisar para diagnosticar el problema.

En los ejemplos de las siguientes secciones se muestran errores de implementación que pueden producirse al usar Terraform.

Error de API no habilitada

Si creas un proyecto y, a continuación, intentas implementar la solución en el nuevo proyecto, es posible que la implementación falle y se muestre un error como el siguiente:

Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.

Si se produce este error, espera unos minutos y vuelve a ejecutar el comando terraform apply.

Error al asignar la dirección solicitada

Cuando ejecutas el comando terraform apply, puede producirse un error cannot assign requested address con un mensaje como el siguiente:

Error: Error creating service account:
 Post "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts:
 dial tcp [2001:db8:ffff:ffff::5f]:443:
 connect: cannot assign requested address

Si se produce este error, vuelve a ejecutar el comando terraform apply.

Errores al acceder a datos en BigQuery o Looker Studio

Hay un paso de aprovisionamiento que se ejecuta después de los pasos de aprovisionamiento de Terraform y que carga datos en el entorno. Si se produce un error al cargar los datos en el panel de control de Looker Studio o no hay objetos cuando empiezas a explorar BigQuery, espera unos minutos y vuelve a intentarlo.

Error al eliminar una implementación

En algunos casos, es posible que no se pueda eliminar un despliegue:

  • Después de implementar una solución a través de la consola, si cambias algún recurso que haya aprovisionado la solución y, a continuación, intentas eliminar la implementación, es posible que no se pueda eliminar. En el campo Estado de la página Implementaciones de soluciones se muestra el valor Fallo y el registro de Cloud Build muestra la causa del error.
  • Después de desplegar una solución con la CLI de Terraform, si cambias algún recurso con una interfaz que no sea de Terraform (por ejemplo, la consola) y, a continuación, intentas eliminar el despliegue, es posible que no se pueda eliminar. Los mensajes de la salida del comando terraform destroy muestran la causa del error.

Revisa los registros y mensajes de error, identifica y elimina los recursos que han provocado el error y, a continuación, vuelve a intentar eliminar la implementación.

Si no se elimina un despliegue basado en la consola y no puedes diagnosticar el error con el registro de Cloud Build, puedes eliminar el despliegue con la CLI de Terraform, tal como se describe en la siguiente sección.

Eliminar un despliegue basado en consola con la CLI de Terraform

En esta sección se describe cómo eliminar una implementación basada en la consola si se producen errores al intentar eliminarla a través de la consola. Con este método, descargas la configuración de Terraform del despliegue que quieres eliminar y, a continuación, usas la CLI de Terraform para eliminarlo.

  1. Identifica la región en la que se almacenan el código de Terraform, los registros y otros datos de la implementación. Esta región puede ser diferente de la que seleccionaste al implementar la solución.

    1. En la Google Cloud consola, ve a la página Implementaciones de soluciones.

      Ir a Despliegues de soluciones

    2. Selecciona el proyecto que contenga la implementación que quieras eliminar.

    3. En la lista de implementaciones, busque la fila de la implementación que quiera eliminar.

    4. Haz clic en Ver todo el contenido de la fila.

    5. En la columna Ubicación, anota la segunda ubicación, tal como se destaca en el siguiente ejemplo:

      Ubicación del código de implementación, los registros y otros artefactos.

  2. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  3. Crea variables de entorno para el ID del proyecto, la región y el nombre de la implementación que quieras eliminar:

    export REGION="REGION"
export PROJECT_ID="PROJECT_ID"
export DEPLOYMENT_NAME="DEPLOYMENT_NAME"

    En estos comandos, sustituye lo siguiente:

    • REGION: la ubicación que has anotado anteriormente en este procedimiento.
    • PROJECT_ID: el ID del proyecto en el que has implementado la solución.
    • DEPLOYMENT_NAME: el nombre de la implementación que quieres eliminar.

  4. Obtén el ID de la última revisión del despliegue que quieras eliminar:

    export REVISION_ID=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .latestRevision -r)
    echo $REVISION_ID

    El resultado debería ser similar al siguiente:

    projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0

  5. Obtén la ubicación de Cloud Storage de la configuración de Terraform de la implementación:

    export CONTENT_PATH=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \
    | jq .applyResults.content -r)
    echo $CONTENT_PATH

    A continuación, se muestra un ejemplo del resultado de este comando:

    gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content

  6. Descarga la configuración de Terraform de Cloud Storage a Cloud Shell:

    gcloud storage cp $CONTENT_PATH $HOME --recursive
cd $HOME/content/

    Espera a que se muestre el mensaje Operation completed, como se muestra en el siguiente ejemplo:

    Operation completed over 45 objects/268.5 KiB

  7. Inicializa Terraform:

    terraform init

    Espera hasta que veas el siguiente mensaje:

    Terraform has been successfully initialized!

  8. Elimina los recursos implementados:

    terraform destroy

    Terraform muestra una lista de los recursos que se van a destruir.

    Si se muestra alguna advertencia sobre variables no declaradas, ignórala.

  9. Cuando se te pida que realices las acciones, escribe yes.

    Terraform muestra mensajes que indican el progreso. Una vez que se hayan eliminado todos los recursos, Terraform mostrará el siguiente mensaje:

    Destroy complete!

  10. Elimina el artefacto de implementación:

    curl -X DELETE \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"

  11. Espera unos segundos y, a continuación, comprueba que se ha eliminado el artefacto de implementación:

    curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .error.message

    Si el resultado muestra null, espera unos segundos y vuelve a ejecutar el comando.

    Una vez que se elimina el artefacto de implementación, se muestra un mensaje como el del ejemplo siguiente:

    Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found

    12. Enviar comentarios

    Las soluciones Jump Start se proporcionan únicamente con fines informativos y no son productos con asistencia oficial. Google puede cambiar o eliminar soluciones sin previo aviso.

    Para solucionar los errores, consulta los registros de Cloud Build y el resultado de Terraform.

    Para enviar comentarios, sigue estos pasos:

    • Para enviar comentarios sobre la documentación, los tutoriales de la consola o la solución, usa el botón Enviar comentarios de la página.
    • Si el código de Terraform no se ha modificado, crea incidencias en el repositorio de GitHub. Los problemas de GitHub se revisan en la medida de lo posible y no están pensados para responder preguntas de uso general.
    • Si tienes problemas con los productos que se usan en la solución, ponte en contacto con Cloud Customer Care.

    Siguientes pasos