Métricas do Cloud Storage FUSE

Esta página oferece uma visão geral das métricas do Cloud Storage FUSE e como coletar, exportar e analisar dados de métricas.

Visão geral

O Cloud Storage fornece métricas detalhadas para o Cloud Storage FUSE quando você usa o Cloud Storage FUSE para montar seus buckets no Cloud Storage como sistemas de arquivos. As métricas podem ajudar a monitorar continuamente a performance, identificar possíveis gargalos que possam afetar a taxa de transferência e a latência e resolver problemas rapidamente à medida que eles ocorrem.

Para fins de diagnóstico, é possível coletar métricas em segundo plano ao usar o Cloud Storage FUSE. O Cloud Storage oferece duas maneiras de coletar, exportar e analisar métricas:

  • Exportador do Cloud Monitoring: as métricas são coletadas e exportadas diretamente do FUSE do Cloud Storage para o Cloud Monitoring. As métricas exportadas podem ser visualizadas no console do Google Cloud.

  • Porta do Prometheus: as métricas são exportadas no formato de texto das métricas do Prometheus em uma porta especificada do Prometheus, como http://Host:prometheus-port/metrics, usando o kit de ferramentas de monitoramento e alerta de código aberto do Prometheus. As métricas podem ser visualizadas como uma saída usando um URL do cliente, como curl http://host:port/metrics

Preços

As métricas do Cloud Storage FUSE são cobradas com base no seu uso. Para mais informações sobre preços, consulte Preços do Google Cloud Observability.

Usar o exportador do Cloud Monitoring

Para usar o exportador do Cloud Monitoring e exportar, coletar e analisar suas métricas do FUSE do Cloud Storage para o Cloud Monitoring, siga as etapas descritas nas seções a seguir.

Acessar os papéis necessários

Para receber as permissões necessárias para usar o exportador do Cloud Monitoring, conceda o papel de IAM Gravador de métricas do Monitoring (roles/monitoring.metricWriter) no projeto em que você quer coletar métricas.

Esse papel predefinido contém as permissões necessárias para usar o exportador do Cloud Monitoring. Para mais informações sobre o papel de escritor de métricas de monitoramento, consulte a documentação do IAM sobre roles/monitoring.metricWriter.

Para instruções sobre como conceder papéis a projetos, consulte Gerenciar o acesso aos projetos.

Antes de começar

  1. Ative a API Cloud Monitoring.

  2. Ative a API Cloud Storage.

    Acessar a API Cloud Storage

Configurar o exportador do Cloud Monitoring

Para configurar o exportador do Cloud Monitoring a fim de coletar, exportar e analisar as métricas do Cloud Storage FUSE, especifique um valor inteiro em segundos usando a opção de configuração cloud-metrics-export-interval-secs com um arquivo de configuração do Cloud Storage FUSE ou o --cloud-metrics-export-interval-secs com a CLI do Cloud Storage FUSE.

Conferir métricas usando o console do Google Cloud

Para conferir as métricas do Cloud Storage FUSE usando o console do Google Cloud, siga estas instruções:

  1. No Console do Google Cloud, acesse a página do Metrics Explorer.

    Acesse o Metrics Explorer

  2. Selecione o projeto para o qual você quer conferir as métricas.

  3. No menu suspenso Métrica, clique em Selecionar uma métrica.

  4. Selecione Instância de VM, clique em Personalizado e insira o nome da métrica que você quer consultar. Para saber quais métricas o Cloud Storage oferece para o Cloud Storage FUSE, consulte Métricas disponíveis.

Usar o Prometheus para exportar, coletar e analisar métricas

As seções a seguir descrevem como configurar e usar o Prometheus para exportar, coletar e analisar métricas do Cloud Storage FUSE.

Configurar o Prometheus

Para configurar o Prometheus, siga as instruções em Como configurar o Prometheus para o agente de operações.

Usar o Prometheus

  1. Especifique a porta HTTP para onde você quer exportar as métricas usando a opção de configuração prometheus-port em um arquivo de configuração do Cloud Storage FUSE ou --prometheus-port na opção de CLI usando a CLI do Cloud Storage FUSE.

  2. Valide o endpoint de métricas do Prometheus usando o seguinte comando:

     curl https://localhost:8080/metrics

    Se bem-sucedido, o comando vai retornar uma saída com um texto semelhante a este:

     # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
 # TYPE file_cache_read_bytes_count counter
 file_cache_read_bytes_count{read_type="Random"} 0
 file_cache_read_bytes_count{read_type="Sequential"} 80
 # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
 # TYPE file_cache_read_count counter
 file_cache_read_count{cache_hit="false",read_type="Random"} 215
 file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
 # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
 # TYPE file_cache_read_latencies histogram
 file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
 file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
 ...
 file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
 file_cache_read_latencies_count{cache_hit="false"} 220
 # HELP fs_ops_count The cumulative number of ops processed by the file system.
 # TYPE fs_ops_count counter
 fs_ops_count{fs_op="FlushFile"} 9
 fs_ops_count{fs_op="GetInodeAttributes"} 91
 fs_ops_count{fs_op="LookUpInode"} 584
 fs_ops_count{fs_op="OpenDir"} 122
 fs_ops_count{fs_op="OpenFile"} 9
 fs_ops_count{fs_op="ReadDir"} 184
 fs_ops_count{fs_op="ReadFile"} 220
 fs_ops_count{fs_op="ReleaseDirHandle"} 122
 fs_ops_count{fs_op="ReleaseFileHandle"} 9
 fs_ops_count{fs_op="StatFS"} 10
 # HELP fs_ops_error_count The cumulative number of errors generated by file system operations
 # TYPE fs_ops_error_count counter
 fs_ops_error_count{fs_error="function not implemented",fs_error_category="function not implemented",fs_op="GetXattr"} 1
 fs_ops_error_count{fs_error="function not implemented",fs_error_category="function not implemented",fs_op="ListXattr"} 1
 fs_ops_error_count{fs_error="interrupted system call",fs_error_category="interrupt errors",fs_op="LookUpInode"} 58
 fs_ops_error_count{fs_error="no such file or directory",fs_error_category="no such file or directory",fs_op="LookUpInode"} 6
 # HELP fs_ops_latency The cumulative distribution of file system operation latencies
 # TYPE fs_ops_latency histogram
 fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
 ...
 fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
 fs_ops_latency_count{fs_op="FlushFile"} 9
 # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from GCS along with type - Sequential/Random
 # TYPE gcs_download_bytes_count counter
 gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
 # HELP gcs_read_count Specifies the number of gcs reads made along with type - Sequential/Random
 # TYPE gcs_read_count counter
 gcs_read_count{read_type="Sequential"} 5
 ```

Métricas disponíveis

O Cloud Storage FUSE fornece as seguintes métricas.

Métricas do sistema de arquivos

As métricas do sistema de arquivos oferecem insights sobre as operações realizadas no bucket montado, como latência e taxas de erro.

Nome da métrica Descrição da métrica
fs/ops_count O número de operações processadas pelo sistema de arquivos. Essa métrica permite agrupar por op_type para receber contagens de operações individuais.
fs/ops_error_count O número de erros gerados por operações do sistema de arquivos. Essa métrica pode ser agrupada por op_type e error_category. Cada erro é mapeado para um error_category em uma relação de muitos para um.
fs/ops_latency A distribuição cumulativa de latências de operação do sistema de arquivos. Essa métrica pode ser agrupada por op_type.

Métricas do Cloud Storage

As métricas do Cloud Storage fornecem insights sobre as interações entre o Cloud Storage FUSE e o Cloud Storage.

Nome da métrica Descrição da métrica
gcs/download_bytes_count O número de bytes transferidos por download do Cloud Storage junto com o tipo de leitura. O tipo de leitura especifica leituras sequenciais, aleatórias ou simultâneas.
gcs/read_bytes_count O número de bytes lidos dos objetos do Cloud Storage, que é diferente de download_bytes_count. Por exemplo, mais dados são buscados do Cloud Storage do que são realmente usados pelo aplicativo.
gcs/reader_count O número de leitores de objetos do Cloud Storage que estão abertos ou fechados. Os dados dessa métrica são agrupados pelo tipo de método de entrada/saída (E/S), como opened ou closed.
gcs/request_count O número de solicitações do Cloud Storage processadas.
gcs/request_latencies A distribuição total de latências de solicitações do Cloud Storage.

Métricas de cache de arquivos

As métricas de cache de arquivos fornecem insights sobre o desempenho e o comportamento das operações de armazenamento em cache de arquivos do Cloud Storage FUSE.

Nome da métrica Descrição da métrica
file_cache/read_bytes_count O número de bytes lidos do cache de arquivos e o tipo de leitura, sequencial ou aleatório.
file_cache/read_latencies A distribuição total das latências de leitura do cache de arquivos e a correspondência de cache, verdadeira ou falsa.
file_cache/read_count O número de solicitações de leitura feitas usando o cache de arquivos, o tipo de solicitação, como sequencial ou aleatória, e a ocorrência de cache, verdadeiro ou falso.

A seguir