Métricas de Cloud Storage FUSE

En esta página, se proporciona una descripción general de las métricas de Cloud Storage FUSE y cómo recopilar, exportar y analizar datos de métricas.

Descripción general

Cloud Storage proporciona métricas detalladas para Cloud Storage FUSE cuando usas Cloud Storage FUSE para activar tus buckets en Cloud Storage como sistemas de archivos. Las métricas pueden ayudarte a supervisar el rendimiento de forma continua, identificar posibles cuellos de botella que pueden afectar el rendimiento y la latencia, y abordar los problemas rápidamente a medida que ocurren.

Para fines de diagnóstico, puedes recopilar métricas en segundo plano cuando usas FUSE de Cloud Storage. Cloud Storage ofrece dos formas de recopilar, exportar y analizar métricas:

  • Exportador de Cloud Monitoring: Las métricas se recopilan y exportan directamente desde FUSE de Cloud Storage a Cloud Monitoring. Luego, las métricas exportadas se pueden ver en la consola de Google Cloud.

  • Puerto de Prometheus: Las métricas se exportan en el formato basado en texto de las métricas de Prometheus en un puerto de Prometheus especificado, como http://Host:prometheus-port/metrics, con el kit de herramientas de supervisión y alerta de código abierto de Prometheus. Luego, las métricas se pueden ver como un resultado con una URL de cliente, como curl http://host:port/metrics.

Precios

Las métricas de Cloud Storage FUSE se cobran según tu uso. Para obtener más información sobre los precios, consulta los precios de Google Cloud Observability.

Usa el exportador de Cloud Monitoring

Para usar el exportador de Cloud Monitoring y exportar, recopilar y analizar tus métricas de FUSE de Cloud Storage a Cloud Monitoring, debes completar los pasos que se describen en las siguientes secciones.

Obtén las funciones necesarias

Para obtener los permisos que necesitas para usar el exportador de Cloud Monitoring, otorga el rol de IAM de Escritor de métricas de supervisión (roles/monitoring.metricWriter) en el proyecto para el que deseas recopilar métricas.

Este rol predefinido contiene los permisos necesarios para usar el exportador de Cloud Monitoring. Para obtener más información sobre el rol de escritor de métricas de supervisión, consulta la documentación de IAM sobre roles/monitoring.metricWriter.

Si deseas obtener instrucciones para otorgar roles a proyectos, consulta Administra el acceso a los proyectos.

Antes de comenzar

  1. Habilita la API de Cloud Monitoring.

  2. Habilita la API de Cloud Storage.

    Ir a la API de Cloud Storage

Configura el exportador de Cloud Monitoring

Para configurar el exportador de Cloud Monitoring para recopilar, exportar y analizar las métricas de Cloud Storage FUSE, especifica un valor entero en segundos con la opción de configuración cloud-metrics-export-interval-secs con un archivo de configuración de Cloud Storage FUSE o el --cloud-metrics-export-interval-secs con la CLI de Cloud Storage FUSE.

Cómo ver métricas con la consola de Google Cloud

Para ver las métricas de Cloud Storage FUSE con la consola de Google Cloud, sigue estas instrucciones:

  1. En la consola de Google Cloud, ve a la página Explorador de métricas.

    Ir al Explorador de métricas

  2. Selecciona el proyecto del que deseas ver las métricas.

  3. En el menú desplegable Métrica, haz clic en Seleccionar una métrica.

  4. Selecciona Instancia de VM, haz clic en Personalizada y, luego, ingresa el nombre de la métrica que deseas ver. Para ver qué métricas ofrece Cloud Storage para Cloud Storage FUSE, consulta Métricas disponibles.

Usa Prometheus para exportar, recopilar y analizar métricas

En las siguientes secciones, se describe cómo configurar y usar Prometheus para exportar, recopilar y analizar métricas de Cloud Storage FUSE.

Configura Prometheus

Para configurar Prometheus, sigue las instrucciones que se indican en Configuración de Prometheus para el Agente de operaciones.

Usa Prometheus

  1. Especifica el puerto HTTP al que deseas exportar las métricas con la opción de configuración prometheus-port en un archivo de configuración de Cloud Storage FUSE o la opción de CLI --prometheus-port con la CLI de Cloud Storage FUSE.

  2. Valida el extremo de métricas de Prometheus con el siguiente comando:

     curl https://localhost:8080/metrics

    Si se completa correctamente, el comando muestra un resultado que contiene un texto similar al siguiente:

     # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
 # TYPE file_cache_read_bytes_count counter
 file_cache_read_bytes_count{read_type="Random"} 0
 file_cache_read_bytes_count{read_type="Sequential"} 80
 # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
 # TYPE file_cache_read_count counter
 file_cache_read_count{cache_hit="false",read_type="Random"} 215
 file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
 # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
 # TYPE file_cache_read_latencies histogram
 file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
 file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
 ...
 file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
 file_cache_read_latencies_count{cache_hit="false"} 220
 # HELP fs_ops_count The cumulative number of ops processed by the file system.
 # TYPE fs_ops_count counter
 fs_ops_count{fs_op="FlushFile"} 9
 fs_ops_count{fs_op="GetInodeAttributes"} 91
 fs_ops_count{fs_op="LookUpInode"} 584
 fs_ops_count{fs_op="OpenDir"} 122
 fs_ops_count{fs_op="OpenFile"} 9
 fs_ops_count{fs_op="ReadDir"} 184
 fs_ops_count{fs_op="ReadFile"} 220
 fs_ops_count{fs_op="ReleaseDirHandle"} 122
 fs_ops_count{fs_op="ReleaseFileHandle"} 9
 fs_ops_count{fs_op="StatFS"} 10
 # HELP fs_ops_error_count The cumulative number of errors generated by file system operations
 # TYPE fs_ops_error_count counter
 fs_ops_error_count{fs_error="function not implemented",fs_error_category="function not implemented",fs_op="GetXattr"} 1
 fs_ops_error_count{fs_error="function not implemented",fs_error_category="function not implemented",fs_op="ListXattr"} 1
 fs_ops_error_count{fs_error="interrupted system call",fs_error_category="interrupt errors",fs_op="LookUpInode"} 58
 fs_ops_error_count{fs_error="no such file or directory",fs_error_category="no such file or directory",fs_op="LookUpInode"} 6
 # HELP fs_ops_latency The cumulative distribution of file system operation latencies
 # TYPE fs_ops_latency histogram
 fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
 ...
 fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
 fs_ops_latency_count{fs_op="FlushFile"} 9
 # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from GCS along with type - Sequential/Random
 # TYPE gcs_download_bytes_count counter
 gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
 # HELP gcs_read_count Specifies the number of gcs reads made along with type - Sequential/Random
 # TYPE gcs_read_count counter
 gcs_read_count{read_type="Sequential"} 5
 ```

Métricas disponibles

Cloud Storage FUSE proporciona las siguientes métricas.

Métricas del sistema de archivos

Las métricas del sistema de archivos proporcionan estadísticas sobre las operaciones que se realizan en el bucket activado, como la latencia y las tasas de error.

Nombre de la métrica Descripción de la métrica
fs/ops_count Es la cantidad de operaciones que procesa el sistema de archivos. Esta métrica permite agrupar por op_type para obtener recuentos de operaciones individuales.
fs/ops_error_count Es la cantidad de errores que generan las operaciones del sistema de archivos. Esta métrica se puede agrupar por op_type y error_category. Cada error se asigna a un error_category en una relación de varios a uno.
fs/ops_latency La distribución acumulada de las latencias de operación del sistema de archivos Esta métrica se puede agrupar por op_type.

Métricas de Cloud Storage

Las métricas de Cloud Storage proporcionan estadísticas sobre las interacciones entre Cloud Storage FUSE y Cloud Storage.

Nombre de la métrica Descripción de la métrica
gcs/download_bytes_count Es la cantidad de bytes que se descargaron de Cloud Storage junto con el tipo de lectura. El tipo de lectura especifica lecturas secuenciales, aleatorias o paralelas.
gcs/read_bytes_count Es la cantidad de bytes leídos de los objetos de Cloud Storage, que es diferente de download_bytes_count. Por ejemplo, se recuperan más datos de Cloud Storage que los que realmente usa la aplicación.
gcs/reader_count Es la cantidad de lectores de objetos de Cloud Storage que se abren o cierran. Los datos de esta métrica se agrupan por el tipo de método de entrada/salida (E/S), como opened o closed.
gcs/request_count Es la cantidad de solicitudes de Cloud Storage procesadas.
gcs/request_latencies La distribución total de las latencias de las solicitudes de Cloud Storage.

Métricas de caché de archivos

Las métricas de la caché de archivos proporcionan estadísticas sobre el rendimiento y el comportamiento de las operaciones de almacenamiento en caché de archivos de Cloud Storage FUSE.

Nombre de la métrica Descripción de la métrica
file_cache/read_bytes_count La cantidad de bytes leídos de la caché de archivos y el tipo de lectura, ya sea secuencial o aleatoria.
file_cache/read_latencies La distribución total de las latencias de lectura de la caché de archivos y el acierto de la caché, ya sea verdadero o falso.
file_cache/read_count La cantidad de solicitudes de lectura realizadas con la caché de archivos, el tipo de solicitud, como secuencial o aleatoria, y el acierto de caché, ya sea verdadero o falso.

¿Qué sigue?