Métricas de Cloud Storage FUSE

En esta página, se proporciona una descripción general de las métricas de Cloud Storage FUSE y cómo recopilar, exportar y analizar datos de métricas.

Descripción general

Cloud Storage proporciona métricas detalladas para Cloud Storage FUSE cuando lo usas para activar tus buckets en Cloud Storage como sistemas de archivos. Las métricas pueden ayudarte a supervisar el rendimiento de forma continua, identificar posibles cuellos de botella que pueden afectar el rendimiento y la latencia, y abordar los problemas rápidamente a medida que ocurren.

Para fines de diagnóstico, puedes recopilar métricas en segundo plano cuando usas Cloud Storage FUSE. Cloud Storage ofrece dos formas de recopilar, exportar y analizar métricas:

  • Exportador de Cloud Monitoring: Las métricas se recopilan y exportan directamente desde Cloud Storage FUSE a Cloud Monitoring. Luego, las métricas exportadas se pueden ver en la consola de Google Cloud .

  • Puerto de Prometheus: Las métricas se exportan en el formato de texto de métricas de Prometheus en un puerto de Prometheus especificado, como http://Host:prometheus-port/metrics, con el kit de herramientas de alerta y supervisión de código abierto de Prometheus. Luego, las métricas se pueden ver como un resultado con una URL del cliente, como curl http://host:port/metrics.

Precios

Las métricas de Cloud Storage FUSE se cobran según tu uso. Para obtener más información sobre los precios, consulta los precios de Google Cloud Observability.

Usa el exportador de Cloud Monitoring

Para usar el exportador de Cloud Monitoring y exportar, recopilar y analizar tus métricas de Cloud Storage FUSE a Cloud Monitoring, debes completar los pasos que se describen en las siguientes secciones.

Obtén las funciones necesarias

Para obtener los permisos que necesitas para usar el exportador de Cloud Monitoring, otorga el rol de IAM de Escritor de métricas de Monitoring (roles/monitoring.metricWriter) en el proyecto para el que deseas recopilar métricas.

Este rol predefinido contiene los permisos necesarios para usar el exportador de Cloud Monitoring. Para obtener más información sobre el rol de Monitoring Metric Writer, consulta la documentación de IAM sobre roles/monitoring.metricWriter.

Si deseas obtener instrucciones para otorgar roles a proyectos, consulta Administra el acceso a los proyectos.

Antes de comenzar

  1. Habilita la API de Cloud Monitoring.

  2. Habilita la API de Cloud Storage.

    Ir a la API de Cloud Storage

Configura el exportador de Cloud Monitoring

Para configurar el exportador de Cloud Monitoring para recopilar, exportar y analizar las métricas de Cloud Storage FUSE, especifica un valor entero en segundos con el campo de configuración metrics:cloud-metrics-export-interval-secs usando un archivo de configuración de Cloud Storage FUSE o --cloud-metrics-export-interval-secs con la CLI de Cloud Storage FUSE.

Visualiza métricas con la consola de Google Cloud

Para ver las métricas de Cloud Storage FUSE con la consola de Google Cloud , sigue estas instrucciones:

  1. En la Google Cloud consola, ve a la página Explorador de métricas.

    Ir al Explorador de métricas

  2. Selecciona el proyecto cuyas métricas deseas ver.

  3. En el menú desplegable Métrica, haz clic en Seleccionar una métrica.

  4. Selecciona Instancia de VM, luego haz clic en Personalizada y, luego, ingresa el nombre de la métrica que deseas ver. Para ver qué métricas ofrece Cloud Storage para Cloud Storage FUSE, consulta Métricas disponibles.

Usa Prometheus para exportar, recopilar y analizar métricas

En las siguientes secciones, se describe cómo configurar y usar Prometheus para exportar, recopilar y analizar las métricas de Cloud Storage FUSE.

Configura Prometheus

Para configurar Prometheus, sigue las instrucciones que se indican en Configura Prometheus para el Agente de operaciones.

Usa Prometheus

  1. Especifica el puerto HTTP al que deseas exportar las métricas con la opción de configuración prometheus-port en un archivo de configuración de Cloud Storage FUSE o la opción de CLI --prometheus-port con la CLI de Cloud Storage FUSE.

  2. Valida el extremo de las métricas de Prometheus con el siguiente comando:

     curl https://localhost:8080/metrics

    Si se completa correctamente, el comando muestra un resultado que contiene un texto similar al siguiente:

     # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
 # TYPE file_cache_read_bytes_count counter
 file_cache_read_bytes_count{read_type="Random"} 0
 file_cache_read_bytes_count{read_type="Sequential"} 80
 # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
 # TYPE file_cache_read_count counter
 file_cache_read_count{cache_hit="false",read_type="Random"} 215
 file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
 # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
 # TYPE file_cache_read_latencies histogram
 file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
 file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
 ...
 file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
 file_cache_read_latencies_count{cache_hit="false"} 220
 # HELP fs_ops_count The cumulative number of ops processed by the file system.
 # TYPE fs_ops_count counter
 fs_ops_count{fs_op="FlushFile"} 9
 fs_ops_count{fs_op="GetInodeAttributes"} 91
 fs_ops_count{fs_op="LookUpInode"} 584
 fs_ops_count{fs_op="OpenDir"} 122
 fs_ops_count{fs_op="OpenFile"} 9
 fs_ops_count{fs_op="ReadDir"} 184
 fs_ops_count{fs_op="ReadFile"} 220
 fs_ops_count{fs_op="ReleaseDirHandle"} 122
 fs_ops_count{fs_op="ReleaseFileHandle"} 9
 fs_ops_count{fs_op="StatFS"} 10
 # HELP fs_ops_error_count The cumulative number of errors generated by file system operations
 # TYPE fs_ops_error_count counter
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
 fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
 fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
 # HELP fs_ops_latency The cumulative distribution of file system operation latencies
 # TYPE fs_ops_latency histogram
 fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
 ...
 fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
 fs_ops_latency_count{fs_op="FlushFile"} 9
 # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from GCS along with type - Sequential/Random
 # TYPE gcs_download_bytes_count counter
 gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
 # HELP gcs_read_count Specifies the number of gcs reads made along with type - Sequential/Random
 # TYPE gcs_read_count counter
 gcs_read_count{read_type="Sequential"} 5
 ```

Métricas disponibles

Cloud Storage FUSE proporciona las siguientes métricas.

Métricas del sistema de archivos

Las métricas del sistema de archivos proporcionan estadísticas sobre las operaciones que se realizan en el bucket activado, como la latencia y las tasas de error.

Nombre de la métrica Descripción de la métrica
fs/ops_count Es la cantidad de operaciones procesadas por el sistema de archivos. Esta métrica permite agrupar por op_type para obtener recuentos de operaciones individuales.
fs/ops_error_count Es la cantidad de errores que generan las operaciones del sistema de archivos. Esta métrica se puede agrupar por op_type y error_category. Cada error se asigna a un error_category en una relación de varios a uno.
fs/ops_latency Es la distribución acumulativa de las latencias de las operaciones del sistema de archivos. Esta métrica se puede agrupar por op_type.

Métricas de Cloud Storage

Las métricas de Cloud Storage proporcionan estadísticas sobre las interacciones entre Cloud Storage FUSE y Cloud Storage.

Nombre de la métrica Descripción de la métrica
gcs/download_bytes_count Es la cantidad de bytes descargados de Cloud Storage junto con el tipo de lectura. El tipo de lectura especifica lecturas secuenciales, aleatorias o paralelas.
gcs/read_bytes_count Cantidad de bytes leídos de los objetos de Cloud Storage, que es diferente de download_bytes_count. Por ejemplo, se recuperan más datos de Cloud Storage de los que realmente usa la aplicación.
gcs/read_count Cantidad de lecturas de Cloud Storage y tipo de lectura, ya sea secuencial, aleatoria o paralela.
gcs/reader_count Es la cantidad de lectores de objetos de Cloud Storage que se abrieron o cerraron. Los datos de esta métrica se agrupan por el tipo de método de entrada/salida (E/S), como opened o closed.
gcs/request_count Es la cantidad de solicitudes de Cloud Storage procesadas.
gcs/request_latencies Es la distribución total de las latencias de solicitudes de Cloud Storage.

Métricas de caché de archivos

Las métricas de caché de archivos proporcionan información sobre el rendimiento y el comportamiento de las operaciones de almacenamiento en caché de archivos de Cloud Storage FUSE.

Nombre de la métrica Descripción de la métrica
file_cache/read_bytes_count Cantidad de bytes leídos desde la caché de archivos y el tipo de lectura, ya sea secuencial o aleatoria.
file_cache/read_latencies Es la distribución total de las latencias de lectura de la caché de archivos y el acierto de caché, que puede ser verdadero o falso.
file_cache/read_count Cantidad de solicitudes de lectura realizadas con la caché de archivos, el tipo de solicitud (secuencial o aleatoria) y el acierto de caché (verdadero o falso).

¿Qué sigue?