Estimar requisitos de capacidad de ranuras

Cuando compras ranuras reservadas en BigQuery, debes estimar el número adecuado de ranuras para tu carga de trabajo. El estimador de slots de BigQuery te ayuda a gestionar la capacidad de los slots en función de las métricas del historial de rendimiento.

Puedes usar el estimador de slots para tus ediciones, reservas y cargas de trabajo a demanda para hacer lo siguiente:

En el caso de las cargas de trabajo de la edición seleccionada:

• Consulte los datos de capacidad y utilización de las ranuras de los últimos 30 días e identifique los periodos de máxima utilización en los que se usan más ranuras.
• Consulta recomendaciones de costes óptimos para las ranuras de compromiso y de autoescalado con un rendimiento similar.
• Consulta los ajustes de reserva actuales de una edición específica.

Para cargas de trabajo de reservas específicas:

• Consulte los datos de capacidad y utilización de las ranuras de los últimos 30 días e identifique los periodos de máxima utilización en los que se usan más ranuras.
• Consulta los percentiles de latencia de los trabajos (P90, P95, etc.) para conocer el rendimiento de las consultas.
• Modeliza cómo puede afectar al rendimiento el aumento o la reducción de las franjas de reserva máximas.

En el caso de las cargas de trabajo de facturación bajo demanda:

• Consulta los datos de uso de ranuras bajo demanda de toda la organización o de un proyecto concreto de los últimos 30 días.
• Consulta recomendaciones de costes óptimos para los slots de compromiso y de escalado automático con un rendimiento similar si te cambias a la edición Enterprise.

Los clientes que usan la edición Enterprise, la edición Enterprise Plus o la facturación bajo demanda pueden usar el recomendador de ranuras de BigQuery para ver el uso de las ranuras, optimizar los compromisos y mejorar el rendimiento. Para obtener más información, consulta Ver recomendaciones de espacios publicitarios de edición.

Limitaciones

• Los datos se limitan a los últimos 30 días.
• Los modelos no incluyen tareas de ML_EXTERNAL. Si un porcentaje elevado de tus espacios publicitarios se usa para asignaciones ML_EXTERNAL, los resultados modelizados serán menos precisos.

Antes de empezar

Concede roles de gestión de identidades y accesos (IAM) que proporcionen a los usuarios los permisos necesarios para realizar cada tarea de este documento.

Permisos obligatorios

Para usar el estimador de franjas horarias con los datos de reservas, necesitas los siguientes permisos de gestión de identidades y accesos en el proyecto de administración:

• bigquery.reservations.list
• bigquery.reservationAssignments.list
• bigquery.capacityCommitments.list

Cada uno de los siguientes roles de gestión de identidades y accesos predefinidos incluye los permisos que necesitas para usar el estimador de slots:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer
• roles/bigquery.user

Para usar el estimador de ranuras con datos de uso bajo demanda, debes habilitar la API Reservations en un proyecto que quieras usar como proyecto de administración para gestionar las reservas. Además de los permisos anteriores, también necesitas uno de los siguientes permisos de gestión de identidades y accesos en tu organización para ver los datos a nivel de organización o en el proyecto para ver los datos a nivel de proyecto:

• bigquery.jobs.listExecutionMetadata (solo se puede aplicar a nivel de organización)
• bigquery.jobs.listAll (se puede aplicar a nivel de organización o de proyecto)

Cada uno de los siguientes roles de gestión de identidades y accesos predefinidos incluye los permisos que necesitas para usar el estimador de slots:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer

Para ver las recomendaciones de espacios de compromiso, también necesitas los permisos que se describen en el artículo Ver recomendaciones de espacios de edición.

Para obtener más información sobre los roles de gestión de identidades y accesos en BigQuery, consulta el artículo sobre roles y permisos predefinidos.

Ver la capacidad y la utilización de las ranuras

Para ver la capacidad y la utilización de las ranuras a lo largo del tiempo, vaya al estimador de ranuras:

1. En la Google Cloud consola, abre la página de BigQuery.

   Ir a BigQuery

2. Selecciona tu proyecto de administración.

   1. En la parte superior de la página, haz clic en la lista desplegable Seleccionar de.
   2. En la ventana Seleccionar de que aparece, selecciona tu proyecto.

3. En el menú de navegación, haz clic en Gestión de la capacidad.

4. Haga clic en la pestaña Estimador de espacios.

El gráfico de utilización muestra la capacidad y la utilización de las ranuras en los últimos 30 días, calculadas con una granularidad por horas.

En la pestaña Uso y utilización por porcentaje se muestra la utilización de las ranuras como porcentaje del uso de las ranuras por ranuras máximas.

En la pestaña Uso y utilización por capacidad se muestran las ranuras máximas y el uso como valores absolutos.

En el menú desplegable Fuente, puedes elegir una edición o una opción bajo demanda para ver las estadísticas de diferentes ámbitos. Al seleccionar una edición, se rellena el menú desplegable Reserva con las reservas correspondientes.

En las opciones bajo demanda, puedes elegir un proyecto concreto o toda la organización en el menú desplegable Recomendaciones para si tienes permisos a nivel de organización. La página Estimador de espacios solo muestra la información a nivel de proyecto si solo tiene permisos a nivel de proyecto.

Las estadísticas de la pestaña Uso y utilización por capacidad pueden variar ligeramente en función del ámbito:

• En el caso de la fuente de edición, se muestran los espacios máximos disponibles para toda la edición, los espacios comprometidos, la suma de los espacios de referencia, el uso medio de los espacios, el uso de los espacios del percentil 99 y el uso de los espacios del percentil 50.
• En el caso de una reserva específica, se muestran las ranuras de reserva máximas, las ranuras de referencia, el uso medio de las ranuras, el uso de las ranuras del percentil 99 y el uso de las ranuras del percentil 50.
• En el caso de las fuentes bajo demanda, se muestra el uso medio de las ranuras, el uso de las ranuras del percentil 99 y el uso de las ranuras del percentil 50.

Rendimiento de las ranuras del modelo

Cuando se selecciona una reserva, puede usar el estimador de ranuras para ver los datos de rendimiento de los trabajos y modelizar el efecto de cambiar el número máximo de ranuras. El estimador de espacios te permite modelizar cómo puede cambiar el rendimiento en diferentes niveles de capacidad, que van desde el 80% del valor mínimo del tamaño máximo de los espacios en el periodo de observación hasta el 150% del tamaño máximo actual de los espacios. Es decir, la disminución de las opciones no puede superar el 20% de la capacidad mínima del periodo de 30 días, mientras que el aumento de las opciones no puede superar el 50% de la capacidad actual.

Los modelos asumen una repetición del patrón de uso de los 30 días anteriores, en el que todo permanece igual excepto un cambio en los espacios publicitarios.

La mejora del rendimiento estimada se basa en varios factores. Los factores más importantes son el número de ranuras del modelo y la proporción de trabajos de cada grupo de percentiles que se han ejecutado durante los periodos de mayor actividad en comparación con los periodos normales. Los periodos punta se definen como los intervalos en los que se han usado casi todas las franjas horarias. Los trabajos que se ejecutan durante estos periodos son los que más se ven afectados por la contención de ranuras y, por lo tanto, los que más rendimiento obtienen de las ranuras adicionales. Por lo tanto, diferentes grupos de trabajos pueden experimentar efectos distintos con el mismo aumento de capacidad, en función de cuándo se ejecuten.

Para modelar el rendimiento de los espacios, sigue estos pasos:

1. En la Google Cloud consola, abre la página de BigQuery.

   Ir a BigQuery

2. Selecciona tu proyecto de administración.

   1. En la parte superior de la página, haz clic en la lista desplegable Seleccionar de.
   2. En la ventana Seleccionar de que aparece, selecciona tu proyecto.

3. En el menú de navegación, haz clic en Gestión de la capacidad.

4. Haga clic en la pestaña Estimador de espacios.

5. En el menú desplegable Reserva, selecciona una reserva concreta. El modelo incluye el número de espacios inactivos que la reserva pudo tomar prestados en cualquier momento.

6. En el menú desplegable Modelo con espacios adicionales en espacios máximos, selecciona uno o varios valores de espacios que quieras modelizar y haz clic en Aceptar.

La tabla de Cambios en el rendimiento de las tareas con ranuras adicionales muestra los datos de rendimiento de las tareas de los últimos 30 días, así como el cambio estimado en el rendimiento al aumentar o reducir las ranuras máximas. Los datos se agrupan en porcentajes por duración del trabajo de todos los trabajos que se han ejecutado en el periodo seleccionado. La columna marcada con el icono de la bombilla corresponde a la recomendación para mejorar el rendimiento de la reserva seleccionada.

Los datos de rendimiento se desglosan por percentil. La tabla divide los datos en un máximo de 12 segmentos: del percentil 10 al 90, más los percentiles 95, 99 y 100. El contenedor P100 representa el 1 % de los trabajos que tardaron más en ejecutarse; P99 incluye del 96 al 99 %; P95 incluye del 91 al 95 %; P90 incluye del 81 al 90 %, y así sucesivamente. En función de los datos, la tabla puede agruparlos en menos contenedores. En ese caso, la tabla contendrá menos filas.

En cada segmento de percentil, la tabla muestra la siguiente información:

• Percentil de duración del trabajo: el contenedor de percentil de esta fila.
• Duración media de las tareas: el tiempo medio que tardaron en ejecutarse las tareas de ese segmento de percentil.
• Número de tareas: el número de tareas de ese segmento de percentil.
• En cada modelo, se indica la duración media estimada de las tareas de ese percentil.

La tabla también incluye una estadística de "Cambio en 30 días" estimada para cada modelo. Este valor es el cambio estimado en el total de horas dedicadas a procesar los trabajos del historial de 30 días con diferentes capacidades de ranuras.

Interpretar los resultados de la modelización con el uso de espacios

En el caso de las reservas de capacidad fija, si se habilita la opción de compartir ranuras inactivas, las tareas de esa reserva podrán tomar prestadas ranuras inactivas de otras reservas. Por lo tanto, la utilización puede superar el 100% de las ranuras asignadas. Si una reserva toma prestadas ranuras inactivas de otras reservas de forma constante, puede que sea una señal para aumentar el tamaño de la reserva. Por otro lado, si una reserva rara vez utiliza toda su capacidad, puede que sea demasiado grande.

Las reservas que usan el autoescalado usan y añaden espacios en el siguiente orden de prioridad:

1. Espacios de referencia.
2. Compartir espacios inactivos (si está habilitado).
3. Ranuras de autoescalado.

Si una reserva de autoescalado alcanza constantemente el máximo de ranuras de autoescalado, puede ser una señal para aumentar el número máximo de ranuras de reserva. Para obtener información sobre cómo ver el uso de tus slots, consulta el artículo Ver gráficos de recursos administrativos.

Precios

Puedes usar el estimador de espacios sin coste económico.