Registro y monitorización de balanceadores de carga de red de paso a través externos

En este documento se explica cómo configurar y usar Cloud Logging y Cloud Monitoring para balanceadores de carga de red de pases externos.

Los balanceadores de carga de red de paso a través externos basados en el servicio de backend admiten tanto el registro como la monitorización. Sin embargo, los balanceadores de carga de red de paso a través externos basados en grupos de destino solo admiten la monitorización.

Almacenamiento de registros

Los registros proporcionan información útil para solucionar problemas y monitorizar tu balanceador de carga de red de paso a través externo basado en el servicio de backend. Los registros se agregan por conexión y se exportan casi en tiempo real. Se generan registros de cada instancia con balanceo de carga para los flujos TCP, UDP, ESP, GRE, ICMP e ICMPv6 del tráfico de entrada y de salida. Para obtener más información sobre los campos proporcionados en la entrada de registro, consulta Campos de registro.

No se aplican cargos adicionales por usar los registros. En función de cómo importes los registros, se aplicarán los precios estándar de Cloud Logging, BigQuery o Pub/Sub. Habilitar los registros no afecta al rendimiento del balanceador de carga.

El registro ofrece las siguientes ventajas:

• Monitorización del tráfico del balanceador de carga de red de paso a través externo. El registro por conexión te permite saber cómo se enruta cada conexión a los backends de servicio.

• Solución de problemas de red. Puede utilizar los registros del balanceador de carga de red de paso a través externo para solucionar problemas. Para obtener más información, consulta el artículo Solucionar problemas de balanceadores de carga de red de paso a través externos.

Formato de registro de ejemplo para flujos de un cliente externo a una VM

En el siguiente diagrama se muestra el tráfico entrante y saliente de un cliente externo (203.0.113.7), un balanceador de carga de red de paso a través externo (198.51.100.99) y una instancia de backend (10.240.0.2).

Los registros de los balanceadores de carga de red de paso a través externos de las conexiones del cliente a la instancia de backend tienen el siguiente formato:

• connection.clientIp: 203.0.113.7
• connection.serverIp: 198.51.100.99
• bytesSent: 1256
• bytesReceived: 4521

Muestreo y recogida de registros

Google Cloud muestra los paquetes que salen y entran en las VMs de backend del balanceador de carga. Los paquetes muestreados se procesan para generar registros.

No se muestrean todos los paquetes. Google Cloud Muestrea un subconjunto variable de paquetes en función de la cantidad de tráfico del host físico. La frecuencia de muestreo más baja posible es de uno de cada 1024 paquetes. Google Cloudcontrola la frecuencia de muestreo de forma dinámica. No puedes ajustar la frecuencia de muestreo.

El muestreo de paquetes interactúa con las reglas de cortafuegos de las siguientes formas:

• Los paquetes se muestrean antes de que se apliquen las reglas de cortafuegos de salida.
• Los paquetes se muestrean después de aplicar las reglas de cortafuegos de entrada.

Después del muestreo de paquetes, Google Cloud procesa los paquetes muestreados siguiendo este procedimiento:

1. Agregación: los paquetes muestreados se agregan en un intervalo de cinco segundos para generar una sola entrada de flujo.

2. Muestreo de registros configurable (secundario): se trata de un segundo proceso de muestreo que toma muestras de los flujos. Controlas la fracción de las entradas de flujo que se emiten como entradas de registro según el parámetro logConfig.sampleRate. Cuando logConfig.sampleRate es 1.0 (100%), significa que se han procesado todos los paquetes muestreados.

3. Escribir en el registro: las entradas de registro se escriben en Cloud Logging.

Campos opcionales:

Los registros de registro contienen campos obligatorios y campos opcionales. En la sección Campos de registro se indica qué campos son opcionales y cuáles son obligatorios. Todos los campos obligatorios se incluyen siempre. Puedes personalizar los campos opcionales que quieras conservar.

• Si seleccionas Incluir todos los campos opcionales, se incluirán todos los campos opcionales del formato de registro en los registros de flujo. Cuando se añaden nuevos campos opcionales al formato de registro, los registros de flujo incluyen automáticamente los nuevos campos.

• Si selecciona Excluir todos los opcionales, se omitirán todos los campos opcionales.

• Si seleccionas Personalizado, puedes especificar los campos opcionales que quieras incluir por el campo principal, como serverInstance, o por sus nombres completos, como serverInstance.vm.

Cuando se añaden campos opcionales nuevos al formato de registro, los registros no los incluirán, a menos que sean campos nuevos dentro de un campo principal que hayas especificado que se incluya.

Si especifica un campo opcional personalizado mediante campos principales, cuando se añadan campos opcionales nuevos al formato de registro de ese campo principal, los registros incluirán automáticamente los campos nuevos. Por ejemplo, si elige incluir optionalFieldA, se incluirá automáticamente un nuevo campo añadido a los registros con el nombre optionalFieldA.subField1.

Para obtener instrucciones sobre cómo personalizar los campos opcionales, consulta el artículo Habilitar el registro en un nuevo servicio backend.

Requisitos de la dirección IP de origen del paquete de respuesta

El registro toma muestras de los paquetes de respuesta de las VMs de backend solo si la dirección IP de origen de esos paquetes coincide con la dirección IP de la regla de reenvío del balanceador de carga. En las conexiones TCP, los paquetes de respuesta siempre deben tener orígenes que coincidan con el destino del paquete de solicitud. Sin embargo, en otros protocolos, es posible que los paquetes de respuesta usen una dirección IP de origen diferente. Para obtener más información, consulta Direcciones IP de paquetes de solicitud y de retorno.

El proceso de muestreo de paquetes que usa el registro del balanceador de carga de red de paso a través externo omite los paquetes de respuesta de las VMs de backend si esos paquetes de respuesta tienen orígenes que no coinciden con una dirección IP de una regla de reenvío de un balanceador de carga de red de paso a través externo.

Habilitar el registro en un servicio de backend nuevo

    gcloud compute backend-services create BACKEND_SERVICE \
      --region=REGION \
      --enable-logging \
      --logging-sample-rate=SAMPLE_RATE \
      --logging-optional=LOGGING_OPTIONAL \
      --logging-optional-fields=OPTIONAL_FIELDS
    

    POST https://compute.googleapis.com/compute/v1/projects/`PROJECT_ID`/regions/`REGION`/backendServices
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Habilitar el registro en un servicio de backend

    gcloud compute backend-services update BACKEND_SERVICE \
      --region=REGION \
      --enable-logging \
      --logging-sample-rate=SAMPLE_RATE \
      --logging-optional=LOGGING_OPTIONAL \
      --logging-optional-fields=OPTIONAL_FIELDS
    

      PATCH https://compute.googleapis.com/compute/v1/projects/`PROJECT_ID`/regions/`REGION`/backendServices/`BACKEND_SERVICE`
     

     "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "EXCLUDE_ALL_OPTIONAL"
      }
     

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Inhabilitar el registro en un servicio backend

gcloud compute backend-services update BACKEND_SERVICE \
  --region=REGION \
  --no-enable-logging

 PATCH https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/backendServices/BACKEND_SERVICE

 {
 "logConfig": {
   "enable": false
  }
 }
 

Ver registros

Cuando los registros se ingieren en Cloud Logging y no se excluyen mediante un sumidero del enrutador de registros, puedes leerlos con la API de Cloud Logging y la CLI de Google Cloud.

Para ver todos los registros del balanceador de carga de red de paso a través externo, sigue estos pasos:

Ver los registros de un servicio backend específico

Para ver los registros de un balanceador de carga de red de paso a través externo de un servicio de backend específico, sigue estos pasos:

Ver los registros de un grupo de instancias de backend

Para ver los registros del balanceador de carga de red de paso a través externo de un grupo de instancias de backend específico, sigue estos pasos:

Campos de registro

Los registros de log contienen campos obligatorios, que son los campos predeterminados de todos los registros de log, y campos opcionales que añaden información adicional. Los campos opcionales se pueden omitir para ahorrar costes de almacenamiento.

Algunos campos de registro tienen un formato de varios campos, con más de un dato en un campo determinado. Por ejemplo, el campo connection tiene el formato IpConnection y contiene la dirección IP y el puerto de origen y de destino, además del protocolo, en un solo campo. Estos campos de varios campos se describen en la siguiente tabla de formato de registro.

El recurso monitorizado es loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule.

Formato de campo IpConnection

Formato de campo InstanceDetails

Formato del campo GeographicDetails

Formato del campo GkeDetails

Formato del campo ClusterDetails

Formato del campo PodDetails

Formato del campo ServiceDetails

Formato del campo NetworkTierDetails

Supervisión

Los balanceadores de carga de red de paso a través externos exportan métricas clave a Cloud Monitoring.

Las métricas de monitorización se pueden usar para lo siguiente:

• Evaluar la configuración, el uso y el rendimiento de un balanceador de carga
• Solucionar problemas
• Mejorar la utilización de recursos y la experiencia de usuario

Además de los paneles predefinidos de Monitoring, puedes crear paneles personalizados, configurar alertas y consultar las métricas a través de la API Monitoring.

Ver paneles de control de monitorización

Definir paneles de control personalizados de monitorización

Puede crear paneles de control de Monitoring personalizados con métricas de balanceadores de carga de red de paso a través externos.

Consulta la lista de métricas y tipos de recursos para ver las métricas recogidas. Consulta la sección Filtros para ver las listas de atributos que puedes usar para filtrar los resultados.

Definir alertas de Monitoring

Puede definir alertas de Monitoring en varias métricas de balanceadores de carga de red de paso a través externos:

Frecuencia de los informes de métricas y retención

Las métricas de los balanceadores de carga de red de paso a través externos se exportan a Monitoring en lotes con una granularidad de un minuto. Los datos de monitorización se conservan durante seis semanas. Las métricas se basan en el tráfico muestreado (la tasa de muestreo es dinámica y no se puede ajustar). El panel de control ofrece análisis de datos en intervalos predeterminados de una hora (1H), seis horas (6H), un día (1D), una semana (1W) y seis semanas (6W). Puede solicitar manualmente un análisis en cualquier intervalo de entre seis semanas y sesenta segundos.

Métricas y tipos de recursos

En esta sección se describen las métricas y los tipos de recursos de los balanceadores de carga de red de paso a través externos.

Métricas

Las siguientes métricas de los balanceadores de carga de red de paso a través externos se registran en Monitoring. Puede usar estos nombres de métricas al hacer solicitudes a la API.

Tipos de recursos

Los balanceadores de carga de red de paso a través externos usan los siguientes tipos de recursos:

• tcp_lb_rule
• udp_lb_rule
• loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Un balanceador de carga de red de paso a través externo puede admitir tráfico TCP, UDP, ESP, GRE, ICMP e ICMPv6.

Puede especificar el tipo de recurso como tcp_lb_rule o udp_lb_rule para limitar los datos monitorizados a los protocolos TCP o UDP. Puedes especificar el tipo de recurso como loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule para monitorizar todos los protocolos admitidos, incluidos los protocolos TCP, UDP, ESP, GRE, ICMP e ICMPv6.

Filtros

Las métricas se agregan para cada balanceador de carga de red de paso a través externo. Puede filtrar las métricas agregadas por las siguientes dimensiones.

Etiquetas de recursos de tcp_lb_rule o udp_lb_rule

Puedes restringir tu consulta por recurso. También puedes agrupar los resultados por estos valores.

resource.label.<var>LABEL_KEY</var>:

Etiquetas de recursos de loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Puedes restringir tu consulta por recurso. También puedes agrupar los resultados por estos valores.

resource.label.<var>LABEL_KEY</var>:

Etiquetas de métricas

Puedes restringir tu consulta por etiqueta de métrica. También puedes agrupar los resultados por estos valores.

metric.label.<var>LABEL_KEY</var>:

Monitorizar solicitudes a la API

Puedes crear consultas arbitrarias sobre métricas de balanceadores de carga de red de paso a través externos mediante la solicitud projects.timeSeries.list de la versión 3 de la API Monitoring. La estructura exacta de las distintas definiciones sigue la semántica genérica de los filtros de monitorización.

Solicitudes de ejemplo a la API

• Obtiene todos los bytes enviados desde todos los balanceadores de carga de red de paso a través externos del proyecto entre las 12:00 y las 12:02 (UTC) del 1 de julio del 2019 con agregaciones de 1 minuto.

  Parámetros de timeSeries.list:

  • name: projects/PROJECT_ID
  • Filtro: resource.type = "tcp_lb_rule" Y metric.name="loadbalancing.googleapis.com/l3/external/egress_bytes_count"
  • interval.start_time: 2019-07-01T12:00:00Z
  • interval.end_time: 2019-07-01T12:02:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.perSeriesAligner: ALIGN_SUM

• Obtén la medición de la mediana del RTT de todos los balanceadores de carga de red de paso a través externos del proyecto entre las 12:19 y las 12:20 (UTC) del 1 de julio del 2019, desglosada por país del cliente.

  Parámetros de timeSeries.list:

  • name: projects/PROJECT_ID
  • Filtro: resource.type = "tcp_lb_rule" Y metric.name="loadbalancing.googleapis.com/l3/external/rtt_latencies"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2019-07-01T12:20:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_country
  • aggregation.perSeriesAligner: ALIGN_PERCENTILE_50

• Obtener el total de bytes de un balanceador de carga de red con paso a través externo específico entre las 12:19 y las 12:20 (UTC) del 1 de julio del 2019, desglosado por zona de endpoint y continente del cliente.

  Parámetros de timeSeries.list:

  • name: projects/PROJECT_ID
  • Filtro: resource.type = "tcp_lb_rule" Y resource.label.load_balancer_name = "netlb-bs-1" Y metric.name="loadbalancing.googleapis.com/l3/external/ingress_bytes_count"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2017-07-01T12:20:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_continent
  • aggregation.groupByFields: resource.label.endpoint_zone
  • aggregation.perSeriesAligner: ALIGN_SUM

Siguientes pasos

• Consulta la información conceptual sobre los balanceadores de carga de red de paso a través externos.
• Configurar un balanceador de carga de red de paso a través externo
• Consulta información sobre las métricas, las series temporales y los recursos de Monitoring.
• Consulta información sobre las reglas de reenvío.
• Consulta información sobre cómo solucionar problemas de registro.