Métriques Cloud Storage FUSE

Cette page présente les métriques de Cloud Storage FUSE et explique comment collecter, exporter et analyser les données de métriques.

Présentation

Cloud Storage fournit des métriques détaillées pour Cloud Storage FUSE lorsque vous utilisez Cloud Storage FUSE pour installer vos buckets sur Cloud Storage en tant que systèmes de fichiers. Les métriques peuvent vous aider à surveiller en continu les performances, à identifier les goulots d'étranglement potentiels qui peuvent affecter le débit et la latence, et à résoudre rapidement les problèmes lorsqu'ils se produisent.

À des fins de diagnostic, vous pouvez collecter des métriques en arrière-plan lorsque vous utilisez Cloud Storage FUSE. Cloud Storage propose deux méthodes pour collecter, exporter et analyser les métriques:

  • Exportateur Cloud Monitoring: les métriques sont collectées et exportées directement depuis Cloud Storage FUSE vers Cloud Monitoring. Les métriques exportées peuvent ensuite être consultées dans la console Google Cloud.

  • Port Prometheus: les métriques sont exportées au format textuel des métriques Prometheus sur un port Prometheus spécifié, tel que http://Host:prometheus-port/metrics, à l'aide du kit d'outils de surveillance et d'alerte Open Source Prometheus. Les métriques peuvent ensuite être affichées en tant que sortie à l'aide d'une URL client telle que curl http://host:port/metrics.

Tarifs

Les métriques Cloud Storage FUSE sont facturées en fonction de votre utilisation. Pour en savoir plus sur les tarifs, consultez la page Tarifs de Google Cloud Observability.

Utiliser l'exportateur Cloud Monitoring

Pour utiliser l'exportateur Cloud Monitoring afin d'exporter, de collecter et d'analyser vos métriques de Cloud Storage FUSE vers Cloud Monitoring, vous devez suivre les étapes décrites dans les sections suivantes.

Obtenir les rôles requis

Pour obtenir les autorisations nécessaires pour utiliser l'exportateur Cloud Monitoring, attribuez le rôle IAM Écrivain de métriques de surveillance (roles/monitoring.metricWriter) au projet pour lequel vous souhaitez collecter des métriques.

Ce rôle prédéfini contient les autorisations requises pour utiliser l'exportateur Cloud Monitoring. Pour en savoir plus sur le rôle Écrivain de métriques de surveillance, consultez la documentation IAM sur roles/monitoring.metricWriter.

Pour savoir comment attribuer des rôles aux projets, consultez la page Gérer l'accès aux projets.

Avant de commencer

  1. Activez l'API Cloud Monitoring.

  2. Activez l'API Cloud Storage.

    Accéder à l'API Cloud Storage

Configurer l'exportateur Cloud Monitoring

Pour configurer l'exportateur Cloud Monitoring afin de collecter, d'exporter et d'analyser les métriques Cloud Storage FUSE, spécifiez une valeur entière en secondes à l'aide de l'option de configuration cloud-metrics-export-interval-secs à l'aide d'un fichier de configuration Cloud Storage FUSE ou de --cloud-metrics-export-interval-secs à l'aide de la CLI Cloud Storage FUSE.

Afficher les métriques à l'aide de la console Google Cloud

Pour afficher les métriques Cloud Storage FUSE à l'aide de la console Google Cloud, suivez les instructions ci-dessous:

  1. Dans la console Google Cloud, accédez à la page Explorateur de métriques.

    Accéder à l'explorateur de métriques

  2. Sélectionnez le projet pour lequel vous souhaitez afficher les métriques.

  3. Dans le menu déroulant Métrique, cliquez sur Sélectionner une métrique.

  4. Sélectionnez Instance de VM, puis cliquez sur Personnalisée et saisissez le nom de la métrique que vous souhaitez afficher. Pour connaître les métriques proposées par Cloud Storage pour Cloud Storage FUSE, consultez la section Métriques disponibles.

Utiliser Prometheus pour exporter, collecter et analyser des métriques

Les sections suivantes expliquent comment configurer et utiliser Prometheus pour exporter, collecter et analyser les métriques Cloud Storage FUSE.

Configurer Prometheus

Pour configurer Prometheus, suivez les instructions de la section Configurer Prometheus pour l'Agent Ops.

Utiliser Prometheus

  1. Spécifiez le port HTTP vers lequel vous souhaitez exporter les métriques à l'aide de l'option de configuration prometheus-port dans un fichier de configuration Cloud Storage FUSE ou de l'option de CLI --prometheus-port à l'aide de la CLI Cloud Storage FUSE.

  2. Validez le point de terminaison des métriques Prometheus à l'aide de la commande suivante:

     curl https://localhost:8080/metrics

    Si l'opération réussit, la commande renvoie un résultat contenant du texte semblable à ce qui suit:

     # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
 # TYPE file_cache_read_bytes_count counter
 file_cache_read_bytes_count{read_type="Random"} 0
 file_cache_read_bytes_count{read_type="Sequential"} 80
 # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
 # TYPE file_cache_read_count counter
 file_cache_read_count{cache_hit="false",read_type="Random"} 215
 file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
 # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
 # TYPE file_cache_read_latencies histogram
 file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
 file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
 ...
 file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
 file_cache_read_latencies_count{cache_hit="false"} 220
 # HELP fs_ops_count The cumulative number of ops processed by the file system.
 # TYPE fs_ops_count counter
 fs_ops_count{fs_op="FlushFile"} 9
 fs_ops_count{fs_op="GetInodeAttributes"} 91
 fs_ops_count{fs_op="LookUpInode"} 584
 fs_ops_count{fs_op="OpenDir"} 122
 fs_ops_count{fs_op="OpenFile"} 9
 fs_ops_count{fs_op="ReadDir"} 184
 fs_ops_count{fs_op="ReadFile"} 220
 fs_ops_count{fs_op="ReleaseDirHandle"} 122
 fs_ops_count{fs_op="ReleaseFileHandle"} 9
 fs_ops_count{fs_op="StatFS"} 10
 # HELP fs_ops_error_count The cumulative number of errors generated by file system operations
 # TYPE fs_ops_error_count counter
 fs_ops_error_count{fs_error="function not implemented",fs_error_category="function not implemented",fs_op="GetXattr"} 1
 fs_ops_error_count{fs_error="function not implemented",fs_error_category="function not implemented",fs_op="ListXattr"} 1
 fs_ops_error_count{fs_error="interrupted system call",fs_error_category="interrupt errors",fs_op="LookUpInode"} 58
 fs_ops_error_count{fs_error="no such file or directory",fs_error_category="no such file or directory",fs_op="LookUpInode"} 6
 # HELP fs_ops_latency The cumulative distribution of file system operation latencies
 # TYPE fs_ops_latency histogram
 fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
 ...
 fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
 fs_ops_latency_count{fs_op="FlushFile"} 9
 # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from GCS along with type - Sequential/Random
 # TYPE gcs_download_bytes_count counter
 gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
 # HELP gcs_read_count Specifies the number of gcs reads made along with type - Sequential/Random
 # TYPE gcs_read_count counter
 gcs_read_count{read_type="Sequential"} 5
 ```

Métriques disponibles

Cloud Storage FUSE fournit les métriques suivantes.

Métriques du système de fichiers

Les métriques du système de fichiers fournissent des informations sur les opérations effectuées sur le bucket installé, telles que la latence et les taux d'erreur.

Nom de la métrique Description de la métrique
fs/ops_count Nombre d'opérations traitées par le système de fichiers. Cette métrique permet de regrouper par op_type pour obtenir des totaux pour des opérations individuelles.
fs/ops_error_count Nombre d'erreurs générées par les opérations du système de fichiers. Cette métrique peut être regroupée par op_type et error_category. Chaque erreur est mappée à un error_category dans une relation plusieurs-à-un.
fs/ops_latency Distribution cumulative des latences des opérations du système de fichiers. Cette métrique peut être regroupée par op_type.

Métriques Cloud Storage

Les métriques Cloud Storage fournissent des insights sur les interactions entre Cloud Storage FUSE et Cloud Storage.

Nom de la métrique Description de la métrique
gcs/download_bytes_count Nombre d'octets téléchargés depuis Cloud Storage, ainsi que le type de lecture. Le type de lecture spécifie les lectures séquentielles, aléatoires ou parallèles.
gcs/read_bytes_count Nombre d'octets lus à partir d'objets Cloud Storage, qui est différent de download_bytes_count. Par exemple, plus de données sont extraites de Cloud Storage que celles réellement utilisées par l'application.
gcs/reader_count Nombre de lecteurs d'objets Cloud Storage ouverts ou fermés. Les données de cette métrique sont regroupées par type de méthode d'entrée/sortie (E/S), par exemple opened ou closed.
gcs/request_count Nombre de requêtes Cloud Storage traitées.
gcs/request_latencies Distribution totale des latences des requêtes Cloud Storage.

Métriques du cache de fichiers

Les métriques de cache de fichiers fournissent des informations sur les performances et le comportement des opérations de mise en cache de fichiers Cloud Storage FUSE.

Nom de la métrique Description de la métrique
file_cache/read_bytes_count Nombre d'octets lus à partir du cache de fichiers et type de lecture, séquentielle ou aléatoire.
file_cache/read_latencies Distribution totale des latences de lecture du cache de fichiers et de la réussite du cache, soit "true", soit "false".
file_cache/read_count Nombre de requêtes de lecture effectuées à l'aide du cache de fichiers, type de requête (séquentielle ou aléatoire, par exemple) et succès de cache (vrai ou faux).

Étape suivante