Métricas de Cloud Storage FUSE

En esta página se ofrece una descripción general de las métricas de Cloud Storage FUSE y se explica cómo recopilar, exportar y analizar datos de métricas.

Información general

Cloud Storage proporciona métricas detalladas de Cloud Storage FUSE cuando usas Cloud Storage FUSE para montar tus segmentos en Cloud Storage como sistemas de archivos. Las métricas pueden ayudarte a monitorizar continuamente el rendimiento, identificar posibles cuellos de botella que puedan afectar al rendimiento y a la latencia, y solucionar los problemas rápidamente a medida que se produzcan.

Para fines de diagnóstico, puede recoger métricas en segundo plano cuando use Cloud Storage FUSE. Cloud Storage ofrece dos formas de recoger, exportar y analizar métricas:

  • Exportador de Cloud Monitoring: las métricas se recogen y se exportan directamente desde Cloud Storage FUSE a Cloud Monitoring. Las métricas exportadas se pueden ver en la Google Cloud consola.

  • Puerto de Prometheus: las métricas se exportan en el formato de texto de métricas de Prometheus en un puerto de Prometheus especificado, como http://Host:prometheus-port/metrics, mediante el kit de herramientas de monitorización y alertas de código abierto de Prometheus. Las métricas se pueden ver como resultado mediante una URL de cliente, como curl http://host:port/metrics

Precios

Las métricas de Cloud Storage FUSE se cobran en función del uso que hagas. Para obtener más información sobre los precios, consulta la página Precios de Google Cloud Observability.

Usar el exportador de Cloud Monitoring

Para usar el exportador de Cloud Monitoring y exportar, recoger y analizar tus métricas de Cloud Storage FUSE a Cloud Monitoring, debes completar los pasos que se indican en las siguientes secciones.

Obtener los roles necesarios

Para obtener los permisos que necesitas para usar el exportador de Cloud Monitoring, asigna el rol de gestión de identidades y accesos Escritor de métricas de Monitoring (roles/monitoring.metricWriter) al proyecto del que quieras recoger métricas.

Este rol predefinido contiene los permisos necesarios para usar el exportador de Cloud Monitoring. Para obtener más información sobre el rol Escritor de métricas de Monitoring, consulta la documentación de gestión de identidades y accesos sobre roles/monitoring.metricWriter.

Para obtener instrucciones sobre cómo asignar roles a proyectos, consulta Gestionar el acceso a proyectos.

Antes de empezar

  1. Habilita la API Cloud Monitoring.

  2. Habilita la API de Cloud Storage.

    Ir a la API de Cloud Storage

Configurar el exportador de Cloud Monitoring

Para configurar el exportador de Cloud Monitoring de forma que recoja, exporte y analice métricas de Cloud Storage FUSE, especifica un valor entero en segundos en el campo de configuración metrics:cloud-metrics-export-interval-secs mediante un archivo de configuración de Cloud Storage FUSE o --cloud-metrics-export-interval-secs mediante la CLI de Cloud Storage FUSE.

Ver métricas con la Google Cloud consola

Para ver las métricas de Cloud Storage FUSE con la Google Cloud consola, sigue estas instrucciones:

  1. En la Google Cloud consola, ve a la página Explorador de métricas.

    Ir a Explorador de métricas

  2. Selecciona el proyecto cuyas métricas quieras ver.

  3. En el menú desplegable Métrica, haga clic en Seleccionar una métrica.

  4. Selecciona Instancia de VM, haz clic en Personalizada e introduce el nombre de la métrica que quieras ver. Para ver qué métricas ofrece Cloud Storage para Cloud Storage FUSE, consulta Métricas disponibles.

Usar Prometheus para exportar, recoger y analizar métricas

En las siguientes secciones se describe cómo configurar y usar Prometheus para exportar, recoger y analizar métricas de Cloud Storage FUSE.

Configurar Prometheus

Para configurar Prometheus, sigue las instrucciones que se indican en el artículo Configurar Prometheus para el agente de operaciones.

Usar Prometheus

  1. Especifica el puerto HTTP al que quieres exportar las métricas mediante la opción de configuración prometheus-port en un archivo de configuración de FUSE de Cloud Storage o la opción de la interfaz de línea de comandos --prometheus-port con la interfaz de línea de comandos de FUSE de Cloud Storage.

  2. Valida el endpoint de métricas de Prometheus con el siguiente comando:

     curl https://localhost:8080/metrics

    Si la acción se realiza correctamente, el comando devuelve un resultado que contiene texto similar al siguiente:

     # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
 # TYPE file_cache_read_bytes_count counter
 file_cache_read_bytes_count{read_type="Random"} 0
 file_cache_read_bytes_count{read_type="Sequential"} 80
 # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
 # TYPE file_cache_read_count counter
 file_cache_read_count{cache_hit="false",read_type="Random"} 215
 file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
 # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
 # TYPE file_cache_read_latencies histogram
 file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
 file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
 ...
 file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
 file_cache_read_latencies_count{cache_hit="false"} 220
 # HELP fs_ops_count The cumulative number of ops processed by the file system.
 # TYPE fs_ops_count counter
 fs_ops_count{fs_op="FlushFile"} 9
 fs_ops_count{fs_op="GetInodeAttributes"} 91
 fs_ops_count{fs_op="LookUpInode"} 584
 fs_ops_count{fs_op="OpenDir"} 122
 fs_ops_count{fs_op="OpenFile"} 9
 fs_ops_count{fs_op="ReadDir"} 184
 fs_ops_count{fs_op="ReadFile"} 220
 fs_ops_count{fs_op="ReleaseDirHandle"} 122
 fs_ops_count{fs_op="ReleaseFileHandle"} 9
 fs_ops_count{fs_op="StatFS"} 10
 # HELP fs_ops_error_count The cumulative number of errors generated by file system operations
 # TYPE fs_ops_error_count counter
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
 fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
 fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
 # HELP fs_ops_latency The cumulative distribution of file system operation latencies
 # TYPE fs_ops_latency histogram
 fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
 ...
 fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
 fs_ops_latency_count{fs_op="FlushFile"} 9
 # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from GCS along with type - Sequential/Random
 # TYPE gcs_download_bytes_count counter
 gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
 # HELP gcs_read_count Specifies the number of gcs reads made along with type - Sequential/Random
 # TYPE gcs_read_count counter
 gcs_read_count{read_type="Sequential"} 5
 ```

Métricas disponibles

Cloud Storage FUSE proporciona las siguientes métricas.

Métricas del sistema de archivos

Las métricas del sistema de archivos proporcionan información valiosa sobre las operaciones realizadas en el bucket montado, como la latencia y las tasas de error.

Nombre de la métrica Descripción de la métrica
fs/ops_count Número de operaciones procesadas por el sistema de archivos. Esta métrica permite agrupar por op_type para obtener recuentos de operaciones individuales.
fs/ops_error_count Número de errores generados por las operaciones del sistema de archivos. Esta métrica se puede agrupar por op_type y error_category. Cada error se asigna a un error_category en una relación de muchos a uno.
fs/ops_latency La distribución acumulativa de las latencias de las operaciones del sistema de archivos. Esta métrica se puede agrupar por op_type.

Métricas de Cloud Storage

Las métricas de Cloud Storage proporcionan información valiosa sobre las interacciones entre Cloud Storage FUSE y Cloud Storage.

Nombre de la métrica Descripción de la métrica
gcs/download_bytes_count Número de bytes descargados de Cloud Storage junto con el tipo de lectura. El tipo de lectura especifica lecturas secuenciales, aleatorias o paralelas.
gcs/read_bytes_count Número de bytes leídos de objetos de Cloud Storage, que es diferente de download_bytes_count. Por ejemplo, se obtienen más datos de Cloud Storage de los que realmente usa la aplicación.
gcs/read_count El número de lecturas de Cloud Storage y el tipo de lectura (secuencial, aleatoria o paralela).
gcs/reader_count Número de lectores de objetos de Cloud Storage que se han abierto o cerrado. Los datos de esta métrica se agrupan por el tipo de método de entrada/salida (E/S), como opened o closed.
gcs/request_count Número de solicitudes de Cloud Storage procesadas.
gcs/request_latencies Distribución total de las latencias de las solicitudes de Cloud Storage.
gcs/retry_count Número de solicitudes de reintento enviadas a Cloud Storage. Esta métrica se puede agrupar por retry_error_category, que especifica la categoría del error que ha activado un reintento.

Métricas de caché de archivos

Las métricas de la caché de archivos proporcionan información valiosa sobre el rendimiento y el comportamiento de las operaciones de almacenamiento en caché de archivos de Cloud Storage FUSE.

Nombre de la métrica Descripción de la métrica
file_cache/read_bytes_count El número de bytes leídos de la caché de archivos y el tipo de lectura, que puede ser secuencial o aleatorio.
file_cache/read_latencies La distribución total de las latencias de lectura de la caché de archivos y el acierto de caché, que puede ser verdadero o falso.
file_cache/read_count El número de solicitudes de lectura realizadas mediante la caché de archivos, el tipo de solicitud (por ejemplo, secuencial o aleatoria) y si se ha encontrado o no en la caché.

Siguientes pasos