Información sobre el uso de recursos del clúster

En esta página, se explica cómo usar la medición de uso de GKE para obtener información sobre los perfiles de uso de los clústeres de Google Kubernetes Engine (GKE) y vincular su uso a equipos individuales o unidades de negocios dentro de tu organización. La medición de uso de GKE no afecta la facturación de tu proyecto y te permite obtener información sobre el uso del recurso en un nivel detallado.

Descripción general

La medición de uso de GKE realiza un seguimiento de la información sobre las solicitudes de recursos y el uso real de los recursos de las cargas de trabajo de tu clúster. En la actualidad, la medición de uso de GKE realiza un seguimiento de la información sobre la CPU, la GPU, la TPU, la memoria, el almacenamiento y, de forma opcional, la salida de red. Puedes diferenciar el uso de los recursos con espacios de nombres o etiquetas de Kubernetes, o con una combinación de ambos.

Los datos se almacenan en BigQuery y puedes consultarlos directamente o exportarlos para analizarlos mediante herramientas externas como Looker Studio.

La medición de uso de GKE es útil en situaciones como las siguientes:

• Hacer un seguimiento del consumo real de recursos y de las solicitudes de recursos por usuario en un clúster multiusuario, en el que cada usuario opera dentro de un determinado espacio de nombres.
• Determinar el consumo de los recursos de una carga de trabajo en ejecución en un determinado clúster mediante la asignación de una etiqueta única a los objetos de Kubernetes asociados con la carga de trabajo.
• Identificar las cargas de trabajo cuyas solicitudes de recursos difieran de forma significativa del consumo real de los recursos, de manera que puedas asignar los recursos de manera más eficiente a cada carga de trabajo.

Antes de comenzar

Antes de comenzar, asegúrate de haber realizado las siguientes tareas:

• Habilita la API de Google Kubernetes Engine.
Habilitar la API de Google Kubernetes Engine
• Si deseas usar Google Cloud CLI para esta tarea, instala y, luego, inicializa gcloud CLI. Si ya instalaste gcloud CLI, ejecuta gcloud components update para obtener la versión más reciente.

Limitaciones

Puedes usar las consultas de ejemplo de BigQuery y la plantilla de Looker Studio para unir los datos de la medición de uso de GKE con los datos de facturación de Google Cloud exportados en BigQuery. Esto te permite estimar un desglose de costos por clúster, espacio de nombres y etiquetas.

Los datos de la medición de uso de GKE solo son orientativos y no afectan tu factura de Google Cloud. Para los datos de facturación, tu factura de Google Cloud es la única fuente verídica.

Se aplica la siguiente limitación:

• No se tienen en cuenta los descuentos o créditos especiales de contrato.
• El espacio de nombres o la etiqueta no realizan el seguimiento de los recursos creados fuera del alcance de GKE.
• El seguimiento de uso registra solo las etiquetas de los objetos PersistentVolumeClaim y de Pod.
• Solo se admiten PersistentVolumes de aprovisionamiento dinámico.
• Solo se admiten los tipos de disco pd-standard y pd-ssd. La medición de uso de GKE puede incluir costos para las versiones regionales de ambos tipos de disco con el mismo SKU.
• Looker Studio no admite la visualización de tipos de máquina capaces de aumentos de actividad.
• Solo puedes exportar datos a un conjunto de datos de BigQuery que se encuentre en el mismo proyecto que tu clúster.
• No debes usar los puertos 27304, 47082 y 47083, ya que estos puertos están reservados por el seguimiento de salida de red.
• No se admiten los objetos StorageClass personalizados.
• La medición de salida de red no es compatible con los nodos de Windows Server.
• La medición de salida de red no es compatible con la VPC compartida o el intercambio de tráfico entre redes de VPC.
• La medición de salida de red no es compatible con clústeres con más de 150 nodos.

Requisitos previos

Antes de usar la medición de uso de GKE, debes cumplir con los siguientes requisitos previos:

• Para realizar un seguimiento del consumo real de los recursos, el clúster debe usar GKE 1.14.2-gke.3 o una versión posterior.
• Si usas tipos de máquina E2 o N2, la versión del clúster debe ser GKE 1.15.11-gke.9 o posterior.
• La exportación de la facturación para BigQuery debe estar habilitada. Los cargos se asocian con el uso de BigQuery.
• Se necesita la versión 250.0.0 o una versión posterior del comando de gcloud. Usa gcloud --version para realizar una verificación.
• Debes habilitar la API de BigQuery en tu proyecto de Google Cloud. Si habilitaste GKE después de julio de 2018, la API ya está habilitada.

Habilitar la medición del uso de GKE

Para habilitar la medición de uso de GKE, primero debes crear un conjunto de datos de BigQuery en un clúster, en varios clústeres del proyecto o en todo el proyecto. Para obtener más información sobre cómo elegir una asignación entre conjuntos de datos y clústeres, consulta Cómo elegir uno o más conjuntos de datos de BigQuery.

Luego, debes habilitar la medición de uso de GKE cuando crees un clúster nuevo o modifiques un clúster existente.

De manera opcional, puedes crear un panel de Looker Studio para visualizar el uso de los recursos de tus clústeres.

Cree un conjunto de datos en BigQuery

Si quieres usar la medición de uso de GKE para los clústeres en tu proyecto de Google Cloud, primero, debes crear el conjunto de datos de BigQuery y, luego, configurar los clústeres a fin de que lo usen. Puedes usar un único conjunto de datos de BigQuery para almacenar información sobre el uso de los recursos de varios clústeres en el mismo proyecto.

Consulta Crea un conjunto de datos para obtener más detalles. Configura la Default table expiration del conjunto de datos como Never para que la tabla no caduque. Si una tabla caduca, se vuelve a crear de forma automática como una tabla vacía.

Habilita la medición de uso de GKE para un clúster

A fin de habilitar la medición de uso de GKE para un clúster nuevo o existente, usa el comando de gcloud o la consola de Google Cloud.

Habilitar la medición de uso de GKE también habilita la medición del consumo de recursos de forma predeterminada. Si quieres inhabilitar de forma selectiva la medición del consumo de los recursos, pero deseas seguir realizando un seguimiento de las solicitudes de recursos, consulta en este tema las instrucciones específicas de habilitación de la medición de uso de GKE mediante el comando de gcloud.

La medición de salida de red se encuentra inhabilitada de forma predeterminada. Para habilitarla, consulta las advertencias y las instrucciones en Cómo habilitar la medición de salida de red (opcional) en este tema.

Crea un clúster nuevo

Puedes crear un clúster mediante la CLI de gcloud o la consola de Google Cloud.

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Configura un clúster existente

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Habilita la medición de salida de red (opcional)

Según la configuración predeterminada, no se recopilan ni exportan los datos de salida de red. La medición de la salida de red requiere un agente de medición de red (NMA) que se ejecute en cada nodo. El NMA se ejecuta como un pod con privilegios, consume algunos recursos en el nodo (CPU, memoria y espacio en el disco) y habilita la marca nf_conntrack_acct sysctl en el kernel (para la contabilización de flujo de seguimiento de conexión).

Si no tienes problemas con estas condiciones, puedes habilitar el seguimiento de salida de red y usarlo con la medición de uso de GKE. Para habilitar el seguimiento de salida de red, incluye la opción --enable-network-egress-metering cuando crees o actualices el clúster, o selecciona la opción Habilitar medición de salida de red cuando habilites la medición de uso de GKE en la consola de Google Cloud.

Para inhabilitar la medición de salida de red, agrega la marca --no-enable-network-egress-metering cuando actualices tu clúster con la línea de comandos. Como alternativa, puedes borrar la opción Habilitar la medición de salida de red en la sección de medición de uso de GKE del clúster en la consola de Google Cloud.

Verifica que la medición de uso de GKE esté habilitada

Para verificar que la medición de uso de GKE esté habilitada en un clúster y confirmar qué conjunto de datos de BigQuery almacena los datos de uso de los recursos del clúster, ejecuta el siguiente comando:

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

Si la medición de uso de GKE no se encuentra habilitada, el resultado estará vacío; de lo contrario, mostrará el conjunto de datos de BigQuery que usó el clúster, como se muestra en el siguiente resultado:

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

Elige uno o más conjuntos de datos de BigQuery

Un conjunto de datos puede contener los datos de la medición de uso de GKE de uno o más clústeres en tu proyecto. El uso de uno o varios conjuntos de datos depende de tus necesidades de seguridad:

• Un único conjunto de datos para todo el proyecto simplifica la administración.
• Un conjunto de datos por clúster te permite delegar el acceso detallado a los conjuntos de datos.
• Un conjunto de datos por grupo relacionado de clústeres te permite encontrar la combinación correcta entre simplicidad y nivel de detalle para tus necesidades.

Visualiza los datos de la medición de uso de GKE mediante un panel de Looker Studio

Puedes ver los datos de la medición de uso de GKE con el panel de Looker Studio. Esto te permite filtrar los datos por nombre de clúster, espacio de nombres o etiqueta. También puedes ajustar el período del informe de manera dinámica. Si tienes experiencia con Looker Studio y BigQuery, puedes crear un panel personalizado. También puedes clonar un panel que creamos para la medición de uso de GKE en particular.

Puedes usar el panel para visualizar el consumo y las solicitudes de recursos de tus clústeres a lo largo del tiempo.

Requisitos previos

1. Habilita la opción Exportar datos de facturación de Google Cloud a BigQuery, si todavía no se encuentra habilitada.

   Durante este proceso, creas un conjunto de datos, pero la tabla dentro del conjunto de datos puede tardar hasta 5 horas en aparecer y comenzar a propagarse. Cuando aparece la tabla, su nombre es gcp_billing_export_v1_BILLING_ACCOUNT_ID.

2. Habilita la medición de uso de GKE en al menos un clúster del proyecto. Toma nota del nombre que elegiste para el conjunto de datos de BigQuery.

3. Habilita Looker Studio si esta opción todavía no está habilitada.

4. Recopila la siguiente información, que es necesaria para configurar el panel:

   • ID y tabla de datos del conjunto de datos de exportación de Cloud Billing
   • ID del conjunto de datos de la medición de uso de GKE

5. Asegúrate de tener la versión 2.0.58 o una versión posterior de la CLI de BigQuery. Si deseas verificar la versión, ejecuta bq version y gcloud components update para actualizar la CLI de BigQuery.

6. Los comandos de esta sección deben ejecutarse en una terminal de Linux o en Cloud Shell.

Crea la tabla de desglose de costos de BigQuery

1. Descarga una de las siguientes plantillas de consulta:

   • Si habilitaste el medidor de consumo, descarga this template.
   • Si no habilitaste el medidor de consumo, descarga this template.

   Si usas Cloud Shell, copia este archivo en el directorio en el que ejecutarás los siguientes comandos.

2. Ejecuta el siguiente comando para establecer variables de entorno:

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
   export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
   export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
   export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
   export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
   export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
   export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
   

   Reemplaza lo siguiente:

   • YOUR_BILLING_EXPORT_TABLE_PATH: Es la ruta de acceso a la tabla de exportación de facturación generada. Esta tabla tiene un nombre similar a PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx.
   • YOUR_USAGE_METERING_PROJECT_ID: El nombre de tu proyecto de Google Cloud.
   • YOUR_USAGE_METERING_DATASET_ID: Es el nombre del conjunto de datos que creaste en BigQuery, como all_billing_data.
   • YOUR_USAGE_METERING_START_DATE: La fecha de inicio de tu consulta en el formato YYYY-MM-DD.
   • YOUR_COST_BREAKDOWN_TABLE_ID: Es el nombre de una tabla nueva que elegiste, como usage_metering_cost_breakdown. Esta tabla se usa como entrada para Looker Studio.
   • YOUR_TEMPLATE_PATH: es el nombre de la plantilla de consulta que descargaste, ya sea usage_metering_query_template_request_and_consumption.sql o usage_metering_query_template_request_only.sql.
   • YOUR_RENDERED_QUERY_PATH: es el nombre de la ruta de acceso para la consulta renderizada que eliges, como cost_breakdown_query.sql.

   A modo de ejemplo, las variables de entorno pueden parecerse a las siguientes:

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
   export USAGE_METERING_PROJECT_ID=my-billing-project
   export USAGE_METERING_DATASET_ID=all_billing_data
   export USAGE_METERING_START_DATE=2022-05-01
   export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
   export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
   export USAGE_METERING_QUERY=cost_breakdown_query.sql
   

3. Renderiza la consulta desde la plantilla:

   sed \
   -e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
   -e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
   -e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
   -e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
   "$USAGE_METERING_QUERY_TEMPLATE" \
   > "$USAGE_METERING_QUERY"
   

4. Cree una nueva tabla de desglose de costos que se actualice cada 24 horas:

   bq query \
   --project_id=$USAGE_METERING_PROJECT_ID \
   --use_legacy_sql=false \
   --destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
   --schedule='every 24 hours' \
   --display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
   --replace=true \
   "$(cat $USAGE_METERING_QUERY)"
   

   Para obtener más información sobre cómo programar consultas, visita Configura consultas programadas.

Crea la fuente de datos de BigQuery

1. En Looker Studio, ve a Fuentes de datos.
2. Haz clic en add Crear y, luego, en Fuente de datos.
3. Selecciona BigQuery.
4. Nombra tu fuente de datos. En la barra de herramientas, haz clic en las palabras Fuente de datos sin título para reemplazar el texto por un nombre descriptivo.
5. Selecciona Consulta personalizada y, luego, selecciona el ID de tu proyecto.

6. Pega la siguiente consulta en el Editor de consultas.

   SELECT
     *
   FROM
     `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`
   

7. Haz clic en Conectar.

Crea el panel de Looker Studio

1. Copia el panel de medición de uso de GKE en tu proyecto.
2. Haz clic en more_vert Más opciones y, luego, en content_copy Crear una copia.
3. En el cuadro de diálogo Copiar este informe, en la lista Fuente de datos nueva, selecciona la fuente de datos que creaste.
4. Haz clic en Copiar informe.

Se crea el panel, y puedes acceder a él en cualquier momento en la lista de informes de Looker Studio de tu proyecto.

Usa el panel de Looker Studio

El panel contiene varios informes:

Desglose de uso

Este informe contiene la proporción general de uso del clúster entre todos los clústeres que envían los datos de la medición de uso a la misma fuente de datos de BigQuery. También se incluye información detallada sobre el tipo de recurso, como CPU, memoria o salida de red, por espacio de nombres. Puedes limitar los datos del informe a uno o más clústeres o espacios de nombres individuales.

Desglose de uso con recursos sin asignar

Este informe es similar al informe de desglose de uso, pero distribuye los recursos sin asignar de forma proporcional en todos los espacios de nombres. Los recursos sin asignar son los recursos inactivos y los recursos que no estén asignados a instancias específicas por la medición de uso de GKE.

Tendencias de costos * desglosadas por espacio de nombres

Son las tendencias de uso de todos los clústeres que envían datos de la medición de uso a la misma fuente de datos de BigQuery, por espacio de nombres. Puedes seleccionar uno o más clústeres, espacios de nombres, recursos o SKU individuales.

Tendencias de costos * desglosadas por etiqueta

Son las tendencias de costos de todos los clústeres que envían datos de la medición de uso a la misma fuente de datos de BigQuery. Puedes seleccionar uno o más clústeres, recursos, o nombres o valores de etiqueta individuales.

Medición basada en el consumo

Son las tendencias de consumo de todos los clústeres que envían datos de la medición de uso a la misma fuente de datos de BigQuery. Puedes seleccionar uno o más espacios de nombres, o claves o valores de etiqueta individuales. Este informe solo se propaga si la medición del consumo de los recursos se encuentra habilitada en al menos un clúster.

Puedes cambiar páginas con el menú de navegación. Puedes cambiar el plazo de una página con el selector de fecha. Para compartir el informe con los miembros de tu organización o revocar el acceso, haz clic en person_add_altCompartir informe.

Después de copiar el informe en tu proyecto, puedes personalizarlo con el editor de informes de Looker Studio. Incluso si la plantilla de informe proporcionada por Google cambia, tu copia no se verá afectada.

Explora los datos de la medición de uso de GKE con BigQuery

Para ver los datos de las solicitudes de recursos con BigQuery, consulta la tabla gke_cluster_resource_usage dentro del conjunto de datos relevante de BigQuery.

Para ver los datos del consumo real de los recursos, consulta la tabla gke_cluster_resource_consumption. Los datos del consumo de salida de red permanecen en la tabla gke_cluster_resource_usage, ya que no existe un concepto de solicitudes de recursos para las salidas.

Para obtener más información sobre cómo usar consultas en BigQuery, lee la sección Ejecuta consultas. Los campos en el esquema son estables, aunque se pueden agregar más campos en un futuro.

Estas consultas son ejemplos simples. Personaliza tu consulta para encontrar los datos que necesitas.

Consulta las solicitudes de recursos

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

Consulta el consumo de recursos

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

Reemplaza lo siguiente:

• CLUSTER_GCP_PROJECT: El nombre del proyecto de Google Cloud que contiene el clúster que deseas consultar.
• USAGE_METERING_DATASET: El nombre de tu tabla de medición de uso
• NAMESPACE: Es el nombre de tu espacio de nombres.

Más ejemplos

Amplía las siguientes secciones para ver ejemplos más detallados.

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC
  

Esquema de la medición de uso de GKE en BigQuery

En la siguiente tabla, se describe el esquema de las tablas de la medición de uso de GKE en el conjunto de datos de BigQuery. Si tu clúster ejecuta una versión de GKE que admite la medición del consumo de recursos y las solicitudes de recursos, se crea una tabla adicional con el mismo esquema.

Las unidades de la medición de uso de GKE deben interpretarse de la siguiente manera:

1. El usage.unit de CPU es de segundos, que es el tiempo de CPU total que un Pod solicitó o usó. Por ejemplo, si tenemos dos Pods que solicitan 30 CPU cada una y se ejecutan durante 15 minutos, la cantidad total de la tabla de solicitudes será de 54,000 segundos (2 Pods * 30 CPU * 15 minutos * 60 segundos / por minuto).

2. La memoria usage.unit es bytes por segundos, que es la integral de la memoria en el tiempo que un Pod solicitó o usó. Por ejemplo, si tenemos dos Pods que solicitan 30 GiB y se ejecutan durante 15 minutos, la cantidad total de la tabla de solicitudes será de 5,798 + 13 bytes-segundo (2 pods * 30 GiB * 15 minutos * 60 segundos/minuto * 1073741824 bytes/GiB).

Comprende cuándo se escriben los datos de la medición del uso de GKE en BigQuery

Existen dos condiciones en las que la medición del uso de GKE escribe registros de uso en las métricas de BigQuery:

1. La fase del Pod cambia a succeeded o failed, o cuando se borra el Pod.

2. Cuando se alcanza la marca de tiempo de la programación por hora para escribir registros mientras el Pod aún se está ejecutando.

   La medición del uso de GKE genera una programación por hora en la que escribe registros de uso del pod en BigQuery para todos los pods que se encuentran en ejecución en el momento. La marca de tiempo de la programación no es la misma en todos los clústeres.

   Si tienes varios Pods en ejecución en esa marca de tiempo, encontrarás varios registros de uso con el mismo end_time. El end_time de estos registros de uso indica la marca de tiempo de la programación por hora.

   Además, si tienes varios Pods que se ejecutaron durante varias horas, también tienes un conjunto de registros de uso con un end_time que coincide con el start_time de otro conjunto de registros de uso.

Inhabilita la medición de uso de GKE

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

¿Qué sigue?

• Clúster de instancia múltiple
• Documentación de Cloud Billing.
• Obtén más información sobre Looker Studio.