Reservar capacidad de BI Engine

Para comprar capacidad de BI Engine, debes crear una reserva. BI Engine solo está disponible en proyectos con una edición compatible. Las reservas se miden en GiBs de memoria. La reserva se asocia a un proyecto y a una región que se identifican al crearla. BI Engine usa esta capacidad para almacenar datos en caché. Para obtener información sobre el tamaño máximo de las reservas de BI Engine, consulta Cuotas y límites.

Si utilizas BI Engine, se te cobra en función de la capacidad de BI Engine que adquieras para el proyecto. Las reservas de BI Engine se cobran por GiB/hora y su precio varía según la región. Consulta los precios de BI Engine.

Roles obligatorios

Para obtener los permisos que necesitas para crear y eliminar reservas, pide a tu administrador que te asigne el rol de gestión de identidades y accesos Administrador de recursos de BigQuery (roles/bigquery.resourceAdmin) en el proyecto. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

Crear una reserva

Para reservar capacidad bajo demanda de BI Engine, sigue estos pasos:

Consola

  1. En la página de BigQuery, vaya a Administración y, a continuación, a la página BI Engine.

    Ir a BI Engine

  2. Haz clic en Crear reserva.

  3. En la página Crear reserva, sigue estos pasos: Paso 1

    • Verifica el nombre del proyecto.
    • Elige tu ubicación. La ubicación debe coincidir con la ubicación de los conjuntos de datos que estés consultando.

    • Ajusta el control deslizante a la cantidad de capacidad de memoria que quieras reservar. En el siguiente ejemplo se establece la capacidad en 2 GB. El máximo actual es de 250 GB. Puedes solicitar un aumento de la capacidad máxima de reserva de tus proyectos. Los aumentos de reserva están disponibles en la mayoría de las regiones y pueden tardar entre 3 días y una semana en procesarse.

      Ubicación de la capacidad de BI Engine

  4. Haz clic en Siguiente.

  5. Tablas preferidas (opcional). Tablas preferidas: te permiten limitar la aceleración de BI Engine a un conjunto de tablas específico. Todas las demás tablas usan slots de BigQuery normales.

    En el campo Table Id (ID de tabla), especifica la tabla que quieras acelerar con el siguiente patrón: PROJECT.DATASET.TABLE.

    Haz los cambios siguientes:

    • PROJECT: tu ID de proyecto Google Cloud
    • DATASET: el conjunto de datos
    • TABLE: la tabla que quieras acelerar

  6. Haz clic en Siguiente.

  7. En el paso 3, revisa los detalles de la reserva y haz clic en Crear.

Una vez que hayas confirmado la reserva, los detalles se mostrarán en la página Reservas.

SQL

Usa la declaración de DDL ALTER BI_CAPACITY SET OPTIONS para crear o modificar una reserva de BI Engine.

  1. En la Google Cloud consola, ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, introduce la siguiente instrucción:

    ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
SET OPTIONS (
  size_gb = VALUE,
  preferred_tables =
    ['TABLE_PROJECT_ID.DATASET.TABLE1',
    'TABLE_PROJECT_ID.DATASET.TABLE2']);

    Haz los cambios siguientes:

    • PROJECT_ID: ID opcional del proyecto que se beneficiará de la aceleración de BI Engine. Si se omite, se usará el proyecto predeterminado.
    • LOCATION_ID: la ubicación donde se deben almacenar los datos en caché, con el prefijo region-. Ejemplos: region-us, region-us-central1.
    • VALUE: el INT64 tamaño de la reserva de capacidad de BI Engine en gigabytes, de 1 a 250 GB. Puedes solicitar un aumento de la capacidad máxima de reserva de tus proyectos. Los aumentos de reserva están disponibles en la mayoría de las regiones y pueden tardar entre 3 días y una semana en procesarse. Si asignas el valor VALUE, se sustituirá el valor que ya tenga. Si se asigna el valor NULL, se borra el valor de esa opción.
    • TABLE_PROJECT_ID.DATASET.TABLE: lista opcional de tablas a las que se hace referencia a las que se debe aplicar la aceleración. Formato: TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE. Si se omite el proyecto, se usará el proyecto predeterminado.

  3. Haz clic en Ejecutar.

Para obtener más información sobre cómo ejecutar consultas, consulta Ejecutar una consulta interactiva.

bq

Usa el bq update comando y proporciona la instrucción del lenguaje de definición de datos (DDL) como parámetro de consulta:

bq --project_id=PROJECT_ID update \
    --bi_reservation_size=SIZE \
    --location=LOCATION \
    --reservation

Haz los cambios siguientes:

  • PROJECT_ID: el ID de tu proyecto
  • SIZE: la capacidad de memoria de la reserva en gigabytes, de 1 a 250 GB. Puedes solicitar un aumento de la capacidad máxima de reserva de tus proyectos. Los aumentos de reserva están disponibles en la mayoría de las regiones y pueden tardar entre 3 días y una semana en procesarse.
  • LOCATION: la ubicación del conjunto de datos que estás consultando

Estimar y medir la capacidad

Para estimar los requisitos de capacidad de una reserva de BI Engine, sigue estos pasos:

  1. Consulta la vista TOTAL_LOGICAL_BYTES para determinar el tamaño lógico de la tabla y úsalo para tu reserva inicial de BI Engine. Por ejemplo:

    SELECT
  SUM(TOTAL_LOGICAL_BYTES) / 1024.0 / 1024.0 / 1024.0 AS logical_size_gb
FROM
  `region-us.INFORMATION_SCHEMA.TABLE_STORAGE`
WHERE
  TABLE_NAME IN UNNEST(["Table1", "Table2"]);

    Por ejemplo, en el caso de las consultas en un conjunto de tablas que contengan un total de 200 GiB de datos, lo más recomendable es empezar con una reserva de BI Engine de 200 GiB. Las consultas más selectivas que solo usan un subconjunto de los campos o las particiones disponibles pueden empezar con un tamaño de reserva más pequeño.

  2. Ejecuta todas las consultas que necesiten optimización y que se hayan creado en el mismo proyecto y región que la reserva de BI Engine. El objetivo es aproximar la carga de trabajo que necesita optimizar. El aumento de la carga requiere más memoria para gestionar las consultas. Los datos se cargan en BI Engine después de recibir la consulta.

  3. Compara la reserva de RAM de BI Engine con el número de bytes usados reservation/used_bytes en las métricas de Cloud Monitoringbigquerybiengine.

  4. Ajusta la capacidad de reserva en función de los resultados. En muchos casos prácticos, una reserva más pequeña puede acelerar la mayoría de tus consultas, lo que te permite ahorrar dinero y recursos. Para obtener más información sobre la monitorización de BI Engine, consulta Monitorización de BI Engine.

Los siguientes factores afectan al tamaño de la reserva de BI Engine:

  • BI Engine solo almacena en caché las columnas y las filas a las que se accede con frecuencia y que se necesitan para procesar la consulta.
  • Cuando se utiliza por completo una reserva, BI Engine intenta descargar los datos que se han usado hace más tiempo para liberar capacidad para nuevas consultas.
  • Si varias consultas que requieren muchos recursos computacionales usan el mismo conjunto de datos, BI Engine carga copias adicionales de los datos para redistribuirlos y optimizar los tiempos de respuesta.

Modificar una reserva

Para modificar una reserva, sigue estos pasos:

Consola

Para especificar un conjunto de tablas para la aceleración en una reserva, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página BigQuery.

    Ir a BigQuery

  2. En el menú de navegación de BigQuery, haz clic en BI Engine.

    Si tu proyecto está configurado para usar tablas preferidas, se mostrará un conjunto de tablas en la columna Tablas preferidas.

    imagen

  3. En la fila de la reserva que quieras editar, haz clic en el icono de la columna Acciones y, a continuación, selecciona Editar.

  4. Ajusta el control deslizante GiB de capacidad a la cantidad de capacidad de memoria que quieras reservar. Haz clic en Siguiente.

  5. Tablas preferidas: para especificar un conjunto de tablas que se van a acelerar en una reserva, en el campo ID de tabla, especifique la tabla que quiera acelerar con el siguiente patrón: PROJECT.DATASET.TABLE.

    Haz los cambios siguientes:

    • PROJECT: tu ID de proyecto Google Cloud
    • DATASET: el conjunto de datos
    • TABLE: la tabla que quieras acelerar

    Los cambios pueden tardar hasta diez segundos en aplicarse. Solo las tablas de la lista de tablas preferidas pueden usar la aceleración de BI Engine.

    Haz clic en Siguiente.

  6. Confirma la reserva modificada. Si estás de acuerdo, haz clic en Actualizar.

SQL

Puedes usar la declaración de DDL ALTER BI_CAPACITY SET OPTIONS para crear o modificar una reserva de BI Engine.

  1. En la Google Cloud consola, ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, introduce la siguiente instrucción:

    ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
SET OPTIONS (
  size_gb = VALUE,
  preferred_tables =
    [`TABLE_PROJECT_ID.DATASET.TABLE1`,
    `TABLE_PROJECT_ID.DATASET.TABLE2`]);

    Haz los cambios siguientes:

    • PROJECT_ID: ID opcional del proyecto que se beneficiará de la aceleración de BI Engine. Si se omite, se usará el proyecto predeterminado.
    • LOCATION_ID: la ubicación donde se deben almacenar en caché los datos, con el prefijo region-. Ejemplos: region-us, region-us-central1.
    • VALUE: el INT64 de la reserva de capacidad de BI Engine en gigabytes, de 1 a 250 GB. Puedes solicitar un aumento de la capacidad máxima de reserva de tus proyectos. Los aumentos de reserva están disponibles en la mayoría de las regiones y pueden tardar entre 3 días y una semana en procesarse. Si asignas el valor VALUE, se sustituirá el valor que ya tenga. Si se asigna el valor NULL, se borra el valor de esa opción.
    • TABLE_PROJECT_ID.DATASET.TABLE: lista opcional de tablas preferidas a las que se debe aplicar la aceleración. Formato: TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE. Si se omite el proyecto, se usará el proyecto predeterminado.

  3. Haz clic en Ejecutar.

Para obtener más información sobre cómo ejecutar consultas, consulta Ejecutar una consulta interactiva.

Eliminar una reserva

Para eliminar una reserva de capacidad, sigue estos pasos:

Consola

  1. En la página de BigQuery, vaya a Administración y, a continuación, a la página BI Engine.

    Ir a BI Engine

  2. En la sección Reservas, busca la reserva.

  3. En la columna Acciones, haz clic en el icono situado a la derecha de tu reserva y elige Eliminar.

  4. En el cuadro de diálogo ¿Eliminar esta reserva?, escribe Eliminar y, a continuación, haz clic en ELIMINAR.

SQL

Define las opciones de capacidad de BI Engine.

  1. En la Google Cloud consola, ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, introduce la siguiente instrucción:

    ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
SET OPTIONS (
  size_gb = 0);

    Haz los cambios siguientes:

    • PROJECT_ID: ID opcional del proyecto que se beneficiará de la aceleración de BI Engine. Si se omite, se usará el proyecto predeterminado.
    • LOCATION_ID: la ubicación donde se deben almacenar en caché los datos, con el prefijo region-. Ejemplos: region-us, region-us-central1.

    Cuando eliminas todas las reservas de capacidad de un proyecto, BI Engine se inhabilita en ese proyecto.

  3. Haz clic en Ejecutar.

Para obtener más información sobre cómo ejecutar consultas, consulta Ejecutar una consulta interactiva.

bq

Usa el comando bq update y proporciona la instrucción DDL como parámetro de consulta.

bq --project_id="PROJECT_ID" \
update --reservation
    --bi_reservation_size=0 \
    --location=LOCATION

Haz los cambios siguientes:

  • PROJECT_ID: el ID de tu proyecto
  • LOCATION: la ubicación del conjunto de datos que estás consultando

Verificar la información de BI Engine

Para obtener información sobre tu capacidad de BI Engine, consulta las tablas INFORMATION_SCHEMA.

Verificar el estado de la reserva

Para verificar el estado de su reserva, incluido un conjunto de mesas preferidas, consulte la vista INFORMATION_SCHEMA.BI_CAPACITIES mediante una consulta SQL. Por ejemplo:

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITIES`;

En la Google Cloud consola, el resultado de esta consulta SQL tiene un aspecto similar al siguiente:

imagen

Ver cambios en la reserva

Para ver el historial de cambios de una reserva concreta, usa la vista INFORMATION_SCHEMA.BI_CAPACITY_CHANGES con una consulta de SQL. Por ejemplo:

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITY_CHANGES`
ORDER BY
  change_timestamp DESC
LIMIT 3;

En la Google Cloud consola, el resultado de esta consulta SQL tiene un aspecto similar al siguiente:

Filas de resultados con change_timestamp, project_id y project_number

Siguientes pasos