Métriques Cloud Storage FUSE

Cette page présente les métriques de Cloud Storage FUSE, et explique comment collecter, exporter et analyser les données de métriques.

Présentation

Cloud Storage fournit des métriques détaillées pour Cloud Storage FUSE lorsque vous utilisez Cloud Storage FUSE pour installer vos buckets sur Cloud Storage en tant que systèmes de fichiers. Les métriques peuvent vous aider à surveiller en continu les performances, à identifier les goulots d'étranglement potentiels qui peuvent avoir un impact sur le débit et la latence, et à résoudre rapidement les problèmes à mesure qu'ils se produisent.

À des fins de diagnostic, vous pouvez collecter des métriques en arrière-plan lorsque vous utilisez Cloud Storage FUSE. Cloud Storage propose deux façons de collecter, d'exporter et d'analyser les métriques :

  • Exportateur Cloud Monitoring : les métriques sont collectées et exportées directement depuis Cloud Storage FUSE vers Cloud Monitoring. Les métriques exportées peuvent ensuite être consultées dans la console Google Cloud .

  • Port Prometheus : les métriques sont exportées au format texte des métriques Prometheus sur un port Prometheus spécifié, tel que http://Host:prometheus-port/metrics, à l'aide de la boîte à outils de surveillance et d'alerte Open Source Prometheus. Les métriques peuvent ensuite être affichées en tant que résultat à l'aide d'une URL client telle que curl http://host:port/metrics.

Tarifs

Les métriques Cloud Storage FUSE sont facturées en fonction de votre utilisation. Pour en savoir plus sur les tarifs, consultez la page Tarifs de Google Cloud Observability.

Utiliser l'exportateur Cloud Monitoring

Pour utiliser l'exportateur Cloud Monitoring afin d'exporter, de collecter et d'analyser vos métriques depuis Cloud Storage FUSE vers Cloud Monitoring, vous devez suivre les étapes décrites dans les sections suivantes.

Obtenir les rôles requis

Pour obtenir les autorisations nécessaires pour utiliser l'exportateur Cloud Monitoring, accordez le rôle IAM Rédacteur de métriques Monitoring (roles/monitoring.metricWriter) sur le projet pour lequel vous souhaitez collecter des métriques.

Ce rôle prédéfini contient les autorisations requises pour utiliser l'exportateur Cloud Monitoring. Pour en savoir plus sur le rôle "Auteur de métriques Monitoring", consultez la documentation IAM concernant roles/monitoring.metricWriter.

Pour savoir comment attribuer des rôles aux projets, consultez la page Gérer l'accès aux projets.

Avant de commencer

  1. Activez l'API Cloud Monitoring.

  2. Activez l'API Cloud Storage.

    Accéder à l'API Cloud Storage

Configurer l'exportateur Cloud Monitoring

Pour configurer l'exportateur Cloud Monitoring afin de collecter, d'exporter et d'analyser les métriques Cloud Storage FUSE, spécifiez une valeur entière en secondes dans le champ de configuration metrics:cloud-metrics-export-interval-secs à l'aide d'un fichier de configuration Cloud Storage FUSE ou de --cloud-metrics-export-interval-secs à l'aide de la CLI Cloud Storage FUSE.

Afficher les métriques à l'aide de la console Google Cloud

Pour afficher les métriques Cloud Storage FUSE à l'aide de la console Google Cloud , suivez les instructions ci-dessous :

  1. Dans la console Google Cloud , accédez à la page Explorateur de métriques.

    Accéder à "Explorateur de métriques"

  2. Sélectionnez le projet pour lequel vous souhaitez afficher les métriques.

  3. Dans le menu déroulant Métrique, cliquez sur Sélectionner une métrique.

  4. Sélectionnez Instance de VM, puis cliquez sur Personnalisé et saisissez le nom de la métrique que vous souhaitez afficher. Pour connaître les métriques proposées par Cloud Storage pour Cloud Storage FUSE, consultez Métriques disponibles.

Utiliser Prometheus pour exporter, collecter et analyser des métriques

Les sections suivantes décrivent comment configurer et utiliser Prometheus pour exporter, collecter et analyser les métriques Cloud Storage FUSE.

Configurer Prometheus

Pour configurer Prometheus, suivez les instructions de la section Configurer Prometheus pour l'agent Ops.

Utiliser Prometheus

  1. Spécifiez le port HTTP vers lequel vous souhaitez exporter les métriques à l'aide de l'option de configuration prometheus-port dans un fichier de configuration Cloud Storage FUSE ou de l'option de CLI --prometheus-port à l'aide de la CLI Cloud Storage FUSE.

  2. Validez le point de terminaison des métriques Prometheus à l'aide de la commande suivante :

     curl https://localhost:8080/metrics

    Si l'opération réussit, la commande renvoie un résultat contenant du texte semblable à ce qui suit :

     # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
 # TYPE file_cache_read_bytes_count counter
 file_cache_read_bytes_count{read_type="Random"} 0
 file_cache_read_bytes_count{read_type="Sequential"} 80
 # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
 # TYPE file_cache_read_count counter
 file_cache_read_count{cache_hit="false",read_type="Random"} 215
 file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
 # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
 # TYPE file_cache_read_latencies histogram
 file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
 file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
 ...
 file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
 file_cache_read_latencies_count{cache_hit="false"} 220
 # HELP fs_ops_count The cumulative number of ops processed by the file system.
 # TYPE fs_ops_count counter
 fs_ops_count{fs_op="FlushFile"} 9
 fs_ops_count{fs_op="GetInodeAttributes"} 91
 fs_ops_count{fs_op="LookUpInode"} 584
 fs_ops_count{fs_op="OpenDir"} 122
 fs_ops_count{fs_op="OpenFile"} 9
 fs_ops_count{fs_op="ReadDir"} 184
 fs_ops_count{fs_op="ReadFile"} 220
 fs_ops_count{fs_op="ReleaseDirHandle"} 122
 fs_ops_count{fs_op="ReleaseFileHandle"} 9
 fs_ops_count{fs_op="StatFS"} 10
 # HELP fs_ops_error_count The cumulative number of errors generated by file system operations
 # TYPE fs_ops_error_count counter
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
 fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
 fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
 # HELP fs_ops_latency The cumulative distribution of file system operation latencies
 # TYPE fs_ops_latency histogram
 fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
 ...
 fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
 fs_ops_latency_count{fs_op="FlushFile"} 9
 # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from GCS along with type - Sequential/Random
 # TYPE gcs_download_bytes_count counter
 gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
 # HELP gcs_read_count Specifies the number of gcs reads made along with type - Sequential/Random
 # TYPE gcs_read_count counter
 gcs_read_count{read_type="Sequential"} 5
 ```

Métriques disponibles

Cloud Storage FUSE fournit les métriques suivantes.

Métriques du système de fichiers

Les métriques du système de fichiers fournissent des informations sur les opérations effectuées sur le bucket installé, telles que la latence et les taux d'erreur.

Nom de la métrique Description de la métrique
fs/ops_count Nombre d'opérations traitées par le système de fichiers. Cette métrique permet de regrouper les données par op_type pour obtenir le nombre d'opérations individuelles.
fs/ops_error_count Nombre d'erreurs générées par les opérations du système de fichiers. Cette métrique peut être regroupée par op_type et error_category. Chaque erreur est mappée à un error_category dans une relation plusieurs-à-un.
fs/ops_latency Distribution cumulée des latences d'opération du système de fichiers. Cette métrique peut être regroupée par op_type.

Métriques Cloud Storage

Les métriques Cloud Storage fournissent des informations sur les interactions entre Cloud Storage FUSE et Cloud Storage.

Nom de la métrique Description de la métrique
gcs/download_bytes_count Nombre d'octets téléchargés depuis Cloud Storage, ainsi que le type de lecture. Le type de lecture spécifie les lectures séquentielles, aléatoires ou parallèles.
gcs/read_bytes_count Nombre d'octets lus à partir d'objets Cloud Storage, qui est différent de download_bytes_count. Par exemple, plus de données sont extraites de Cloud Storage que celles réellement utilisées par l'application.
gcs/read_count Nombre de lectures à partir de Cloud Storage et type de lecture (séquentielle, aléatoire ou parallèle).
gcs/reader_count Nombre de lecteurs d'objets Cloud Storage ouverts ou fermés. Les données de cette métrique sont regroupées par type de méthode d'entrée/sortie (E/S), comme opened ou closed.
gcs/request_count Nombre de requêtes Cloud Storage traitées.
gcs/request_latencies Distribution totale des latences des requêtes Cloud Storage.

Métriques du cache de fichiers

Les métriques du cache de fichiers fournissent des informations sur les performances et le comportement des opérations de mise en cache de fichiers Cloud Storage FUSE.

Nom de la métrique Description de la métrique
file_cache/read_bytes_count Nombre d'octets lus à partir du cache de fichiers et type de lecture (séquentielle ou aléatoire).
file_cache/read_latencies Distribution totale des latences de lecture du cache de fichiers et de l&#succès de cache (hit) (touché ou non).
file_cache/read_count Nombre de requêtes de lecture effectuées à l'aide du cache de fichiers, type de requête (séquentielle ou aléatoire, par exemple) et succès de cache (hit) (vrai ou faux).

Étapes suivantes