Administra las recomendaciones de particiones y clústeres

En este documento, se describe cómo funciona el recomendador de particiones y clústeres, cómo ver las recomendaciones y estadísticas, y cómo aplicar las recomendaciones de particiones y clústeres.

Cómo funciona el recomendador

El recomendador de particiones y agrupamiento en clústeres de BigQuery genera recomendaciones de particiones o clústeres para optimizar tus tablas de BigQuery. El recomendador analiza los flujos de trabajo en tus tablas de BigQuery y ofrece recomendaciones para optimizar mejor tus flujos de trabajo y costos de consultas mediante la partición o el agrupamiento en clústeres de las tablas.

Para obtener más información sobre el servicio del recomendador, consulta la descripción general del recomendador.

El recomendador de partición y agrupamiento en clústeres usa los datos de ejecución de la carga de trabajo del proyecto de los últimos 30 días para analizar cada tabla de BigQuery para detectar parámetros de configuración de partición y agrupamiento en clústeres no óptimos. Además, este servicio usa el aprendizaje automático para predecir cuánto se podría optimizar la ejecución de la carga de trabajo con diferentes parámetros de configuración de partición o agrupamiento en clústeres. Si el recomendador descubre que la partición o el agrupamiento en clústeres de una tabla produce ahorros significativos, genera una recomendación. El recomendador de partición y agrupamiento en clústeres genera los siguientes tipos de recomendaciones:

Cada recomendación consta de tres partes:

• Orientación para particionar o agrupar en clústeres una tabla específica
• La columna específica de una tabla para particionar o agrupar en clústeres
• Ahorros mensuales estimados por aplicar la recomendación

Para calcular los posibles ahorros de cargas de trabajo, el recomendador supone que los datos históricos de carga de trabajo de ejecución de los últimos 30 días representan la carga de trabajo futura.

La API del recomendador también muestra información de las cargas de trabajo de la tabla en forma de estadísticas. Las estadísticas son hallazgos que te ayudan a comprender la carga de trabajo de tu proyecto y proporcionan más contexto sobre cómo una recomendación de particiones o clústeres podría mejorar los costos de carga de trabajo.

Limitaciones

• El recomendador de partición y agrupamiento en clústeres no admite tablas de BigQuery con SQL heredado. Cuando se genera una recomendación, el recomendador excluye cualquier consulta de SQL heredado en su análisis. Además, la aplicación de recomendaciones de partición en tablas de BigQuery con SQL heredado interrumpe los flujos de trabajo de SQL heredado en esa tabla.

  Antes de aplicar las recomendaciones de partición, migra tus flujos de trabajo de SQL heredado a GoogleSQL.

• BigQuery no admite el cambio del esquema de partición de una tabla. Solo puedes cambiar la partición de una tabla en una copia de la tabla. Para obtener más información, consulta Aplica recomendaciones de particiones.

Ubicaciones

El recomendador de partición y agrupamiento en clústeres está disponible en las siguientes ubicaciones de procesamiento:

	Descripción de la región	Nombre de la región	Detalles
Asia-Pacífico
	Delhi	asia-south2
	Hong Kong	asia-east2
	Yakarta	asia-southeast2
	Bombay	asia-south1
	Osaka	asia-northeast2
	Seúl	asia-northeast3
	Singapur	asia-southeast1
	Sídney	australia-southeast1
	Taiwán	asia-east1
	Tokio	asia-northeast1
Europa
	Bélgica	europe-west1	CO2 bajo
	Berlín	europe-west10	CO2 bajo
	UE multirregión	eu
	Fráncfort	europe-west3	CO2 bajo
	Londres	europe-west2	CO2 bajo
	Países Bajos	europe-west4	CO2 bajo
	Zúrich	europe-west6	CO2 bajo
América
	Iowa	us-central1	CO2 bajo
	Las Vegas	us-west4
	Los Ángeles	us-west2
	Montreal	northamerica-northeast1	CO2 bajo
	Virginia del Norte	us-east4
	Oregon	us-west1	CO2 bajo
	Salt Lake City	us-west3
	São Paulo	southamerica-east1	CO2 bajo
	Toronto	northamerica-northeast2	CO2 bajo
	EE.UU. multirregión	us

Antes de comenzar

• Asegúrate de que Gemini en BigQuery esté habilitado para tu proyecto de Google Cloud.
• Habilita la API del Recomendador.

Permisos necesarios

A fin de obtener los permisos que necesitas para acceder a las recomendaciones de particiones y clústeres, pídele a tu administrador que te otorgue el rol de IAM de visualizador del recomendador de agrupamiento en clústeres por particiones de BigQuery (roles/recommender.bigqueryPartitionClusterViewer). Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para acceder a las recomendaciones de particiones y clústeres. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para obtener más información sobre los roles y permisos de IAM en BigQuery, consulta Introducción a IAM.

Ver recomendaciones

En esta sección, se describe cómo ver recomendaciones y estadísticas de particiones y clústeres mediante la consola de Google Cloud, Google Cloud CLI o la API del recomendador.

Selecciona una de las opciones siguientes:

gcloud recommender recommendations list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --recommender=google.bigquery.table.PartitionClusterRecommender \
    --format=FORMAT_TYPE \

gcloud recommender insights list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --insight-type=google.bigquery.table.StatsInsight \
    --format=FORMAT_TYPE \

curl
    -H "Authorization: Bearer $GCLOUD_AUTH_TOKEN"
    -H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/my-project/locations/us/recommenders/google.bigquery.table.PartitionClusterRecommender/recommendations

curl
-H "Authorization: Bearer $GCLOUD_AUTH_TOKEN"
-H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/my-project/locations/us/insightTypes/google.bigquery.table.StatsInsight/insights

Aplica recomendaciones de clústeres

Para aplicar las recomendaciones de clústeres, haz una de las siguientes acciones:

• Aplicar clústeres directamente a la tabla original
• Aplicar clústeres a una tabla copiada
• Aplicar clústeres en una vista materializada

Aplicar clústeres directamente a la tabla original

Puedes aplicar recomendaciones de clústeres directamente a una tabla de BigQuery existente. Este método es más rápido que aplicar las recomendaciones a una tabla copiada, pero no conserva una tabla de copia de seguridad.

Sigue estos pasos para aplicar una especificación de agrupamiento en clústeres nueva a tablas no particionadas o particionadas.

1. En la herramienta de bq, actualiza la especificación de agrupamiento en clústeres de tu tabla para que coincida con el agrupamiento en clústeres nuevo:

    bq update --clustering_fields=CLUSTER_COLUMN DATASET.ORIGINAL_TABLE 

   Reemplaza lo siguiente:

   • CLUSTER_COLUMN: la columna en la que se agrupa en clústeres, por ejemplo, mycolumn
   • DATASET: el nombre del conjunto de datos que contiene la tabla; por ejemplo, mydataset
   • ORIGINAL_TABLE: el nombre de tu tabla original; por ejemplo, mytable

   También puedes llamar al método tables.update o tables.patch de la API para modificar la especificación del agrupamiento en clústeres.

2. Para agrupar todas las filas según la especificación de agrupamiento en clústeres nueva, ejecuta la siguiente declaración UPDATE:

   UPDATE DATASET.ORIGINAL_TABLE SET CLUSTER_COLUMN=CLUSTER_COLUMN WHERE true
   

Aplica clústeres a una tabla copiada

Cuando aplicas recomendaciones de clústeres a una tabla de BigQuery, primero puedes copiar la tabla original y, luego, aplicar la recomendación a la tabla copiada. Este método garantiza que se conserven los datos originales si necesitas revertir el cambio a la configuración de agrupamiento en clústeres.

Puedes usar este método para aplicar recomendaciones de clústeres a tablas no particionadas y particionadas.

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En el editor de consultas, crea una tabla vacía con los mismos metadatos (incluidas las especificaciones de agrupamiento en clústeres) de la tabla original mediante el operador LIKE:

   CREATE TABLE DATASET.COPIED_TABLE
   LIKE DATASET.ORIGINAL_TABLE
   

   Reemplaza lo siguiente:

   • DATASET: el nombre del conjunto de datos que contiene la tabla; por ejemplo, mydataset
   • COPIED_TABLE: un nombre para tu tabla copiada; por ejemplo, copy_mytable
   • ORIGINAL_TABLE: el nombre de tu tabla original; por ejemplo, mytable

3. En la consola de Google Cloud, abre el editor de Cloud Shell.

   Activar Cloud Shell

4. En el editor de Cloud Shell, actualiza la especificación de agrupamiento en clústeres de la tabla copiada para que coincida con el agrupamiento en clústeres recomendado mediante el comando bq update:

    bq update --clustering_fields=CLUSTER_COLUMN DATASET.COPIED_TABLE 

   Reemplaza CLUSTER_COLUMN por la columna en la que se agrupa en clústeres, por ejemplo, mycolumn.

   También puedes llamar al método tables.update o tables.patch de la API para modificar la especificación del agrupamiento en clústeres.

5. En el editor de consultas, recupera el esquema de la tabla con la configuración de partición y agrupamiento en clústeres de la tabla original, si existe. Puedes recuperar el esquema visualizando la vista INFORMATION_SCHEMA.TABLES de la tabla original:

   SELECT
     ddl
   FROM
     DATASET.INFORMATION_SCHEMA.TABLES
   WHERE
     table_name = 'DATASET.ORIGINAL_TABLE;'
   

   El resultado es la declaración completa del lenguaje de definición de datos (DDL) de ORIGINAL_TABLE, incluida la cláusula PARTITION BY. Para obtener más información sobre los argumentos en tu resultado de DDL, consulta declaración CREATE TABLE.

   El resultado de DDL indica el tipo de partición en la tabla original:

   Tipo de partición	Ejemplo de resultado
   Sin particionar	La cláusula PARTITION BY está ausente.
   Particionado por columna de tabla	PARTITION BY c0
   	PARTITION BY DATE(c0)
   	PARTITION BY DATETIME_TRUNC(c0, MONTH)
   Particionado por tiempo de transferencia	PARTITION BY _PARTITIONDATE
   	PARTITION BY DATETIME_TRUNC(_PARTITIONTIME, MONTH)

6. Transfiere datos a la tabla copiada. El proceso que uses se basa en el tipo de partición.

   • Si la tabla original no está particionada o está particionada por una columna de tabla, transfiere los datos de la tabla original a la tabla copiada:

     INSERT INTO DATASET.COPIED_TABLE
     SELECT * FROM DATASET.ORIGINAL_TABLE
     

   • Si la tabla original se particiona por tiempo de transferencia, sigue estos pasos:

     1. Recupera la lista de columnas para formar la expresión de transferencia de datos mediante la vista INFORMATION_SCHEMA.COLUMNS:

        SELECT
        ARRAY_TO_STRING((
        SELECT
          ARRAY(
          SELECT
            column_name
          FROM
            DATASET.INFORMATION_SCHEMA.COLUMNS
          WHERE
            table_name = 'ORIGINAL_TABLE')), ", ")
        

        El resultado es una lista separada por comas de los nombres de las columnas.

     2. Transfiere los datos de la tabla original a la tabla copiada:

        INSERT DATASET.COPIED_TABLE (COLUMN_NAMES, _PARTITIONTIME)
        SELECT *, _PARTITIONTIME FROM DATASET.ORIGINAL_TABLE
        

        Reemplaza COLUMN_NAMES por la lista de columnas que eran el resultado en el paso anterior, separadas por comas, por ejemplo, col1, col2, col3.

   Ahora tienes una tabla copiada agrupada con los mismos datos que la tabla original. En los siguientes pasos, reemplazarás la tabla original por una tabla recién agrupada.

7. Cambia el nombre de la tabla original al de una tabla de copia de seguridad:

   ALTER TABLE DATASET.ORIGINAL_TABLE
   RENAME TO DATASET.BACKUP_TABLE
   

   Reemplaza BACKUP_TABLE por un nombre para la tabla de copia de seguridad, por ejemplo, backup_mytable.

8. Cambia el nombre de la tabla copiada a la tabla original:

   ALTER TABLE DATASET.COPIED_TABLE
   RENAME TO DATASET.ORIGINAL_TABLE
   

   Ahora, tu tabla original se agrupa en clústeres según la recomendación de clústeres.

• Acceso y permisos, como los permisos de IAM, el acceso a nivel de fila o el acceso a nivel de columna
• Artefactos de tablas, como clonaciones de tablas, instantáneas de tablas o índices de la búsqueda
• El estado de los procesos de tabla en curso, como las vistas materializadas o cualquier trabajo que se haya ejecutado cuando copiaste la tabla
• La capacidad de acceder a los datos históricos de la tabla mediante el viaje en el tiempo
• Cualquier metadato asociado con la tabla original, por ejemplo, table_option_list o column_option_list Para obtener más información, consulta Declaraciones del lenguaje de definición de datos.

Si surge algún problema, debes migrar de forma manual los artefactos afectados a la tabla nueva.

    DROP TABLE DATASET.BACKUP_TABLE
    

Aplica clústeres en una vista materializada

Aplica recomendaciones de partición

Para aplicar recomendaciones de partición, debes aplicarlas a una copia de la tabla original. BigQuery no admite el cambio de un esquema de partición de una tabla en su lugar, como el cambio de una tabla no particionada a una tabla particionada, el cambio del esquema de partición de una tabla o la creación de una vista materializada con un esquema de partición diferente de la tabla base. Solo puedes cambiar la partición de una tabla en una copia de la tabla.

Aplica recomendaciones de partición a una tabla copiada

Cuando aplicas recomendaciones de partición a una tabla de BigQuery, primero debes copiar la tabla original y, luego, aplicar la recomendación a la tabla copiada. Este enfoque garantiza que se conserven los datos originales si necesitas revertir una partición.

En el siguiente procedimiento, se usa una recomendación de ejemplo para particionar una tabla por la unidad de tiempo de partición DAY.

1. Crea una tabla copiada con las recomendaciones de partición:

   CREATE TABLE DATASET.COPIED_TABLE
   PARTITION BY DATE_TRUNC(PARTITION_COLUMN, DAY)
   AS SELECT * FROM DATASET.ORIGINAL_TABLE
   

   Reemplaza lo siguiente:

   • DATASET: el nombre del conjunto de datos que contiene la tabla; por ejemplo, mydataset
   • COPIED_TABLE: un nombre para tu tabla copiada; por ejemplo, copy_mytable
   • PARTITION_COLUMN: la columna a la que realizas la partición; por ejemplo, mycolumn

   Para obtener más información sobre cómo crear tablas particionadas, consulta Crea tablas particionadas.

2. Cambia el nombre de la tabla original al de una tabla de copia de seguridad:

   ALTER TABLE DATASET.ORIGINAL_TABLE
   RENAME TO DATASET.BACKUP_TABLE
   

   Reemplaza BACKUP_TABLE por un nombre para la tabla de copia de seguridad, por ejemplo, backup_mytable.

3. Cambia el nombre de la tabla copiada a la tabla original:

   ALTER TABLE DATASET.COPIED_TABLE
   RENAME TO DATASET.ORIGINAL_TABLE
   

   La tabla original ahora está particionada según la recomendación de partición.

• Acceso y permisos, como los permisos de IAM, el acceso a nivel de fila o el acceso a nivel de columna
• Artefactos de tablas, como clonaciones de tablas, instantáneas de tablas o índices de la búsqueda
• El estado de los procesos de tabla en curso, como las vistas materializadas o cualquier trabajo que se haya ejecutado cuando copiaste la tabla
• La capacidad de acceder a los datos históricos de la tabla mediante el viaje en el tiempo
• Cualquier metadato asociado con la tabla original, por ejemplo, table_option_list o column_option_list Para obtener más información, consulta Declaraciones del lenguaje de definición de datos.
• Capacidad de usar SQL heredado para escribir resultados de consultas en tablas particionadas. El uso de SQL heredado no es compatible por completo en tablas particionadas. Una solución es migrar tus flujos de trabajo de SQL heredado a GoogleSQL antes de aplicar una recomendación de partición.

Si surge algún problema, debes migrar de forma manual los artefactos afectados a la tabla nueva.

    DROP TABLE DATASET.BACKUP_TABLE
    

Precios

Para obtener detalles sobre los precios de esta función, consulta la descripción general de los precios de Gemini en BigQuery.

• Costos de procesamiento. Cuando aplicas una recomendación, ejecutas una consulta de lenguaje de definición de datos (DDL) o de lenguaje de manipulación de datos (DML) en tu proyecto de BigQuery.
• Costos de almacenamiento. Si usas el método de copia de una tabla, usas almacenamiento adicional para la tabla copiada (o la copia de seguridad).

Se aplican cargos de procesamiento y almacenamiento estándar según la cuenta de facturación asociada con el proyecto. Si deseas obtener más información, consulta los Precios de BigQuery.

Cuotas y límites

Si deseas obtener información sobre las cuotas y los límites de esta función, consulta Cuotas para Gemini en BigQuery.

Soluciona problemas

Problema: No aparecen recomendaciones para una tabla específica.

Es posible que las recomendaciones de particiones y clústeres no aparezcan en las siguientes circunstancias:

• El tamaño de la tabla es inferior a 10 GB.
• La tabla tiene un costo de escritura alto por operaciones de lenguaje de manipulación de datos (DML).
• La tabla no se leyó en los últimos 30 días.
• El ahorro mensual estimado es demasiado insignificante (menos de 1 hora de ahorro).
• La tabla ya está agrupada en clústeres.