Métricas do Cloud Storage FUSE

Esta página oferece uma visão geral das métricas do Cloud Storage FUSE e de como coletar, exportar e analisar dados de métricas.

Visão geral

O Cloud Storage fornece métricas detalhadas para o Cloud Storage FUSE quando você o usa para ativar seus buckets no Cloud Storage como sistemas de arquivos. As métricas ajudam a monitorar continuamente a performance, identificar possíveis gargalos que podem afetar a capacidade e a latência e resolver problemas rapidamente à medida que ocorrem.

Para fins de diagnóstico, é possível coletar métricas em segundo plano ao usar o Cloud Storage FUSE. O Cloud Storage oferece duas maneiras de coletar, exportar e analisar métricas:

  • Exportador do Cloud Monitoring: as métricas são coletadas e exportadas diretamente do FUSE do Cloud Storage para o Cloud Monitoring. As métricas exportadas podem ser visualizadas no console do Google Cloud .

  • Porta do Prometheus: as métricas são exportadas no formato de texto de métricas do Prometheus em uma porta especificada do Prometheus, como http://Host:prometheus-port/metrics usando o kit de ferramentas de monitoramento e alerta de código aberto do Prometheus. As métricas podem ser visualizadas como uma saída usando um URL do cliente, como curl http://host:port/metrics

Preços

As métricas do Cloud Storage FUSE são cobradas com base no seu uso. Para mais informações sobre preços, consulte Preços do Google Cloud Observability.

Usar o exportador do Cloud Monitoring

Para usar o exportador do Cloud Monitoring e exportar, coletar e analisar suas métricas do Cloud Storage FUSE para o Cloud Monitoring, conclua as etapas descritas nas seções a seguir.

Acessar os papéis necessários

Para receber as permissões necessárias para usar o exportador do Cloud Monitoring, conceda o papel do IAM Gravador de métricas do Monitoring (roles/monitoring.metricWriter) no projeto em que você quer coletar métricas.

Esse papel predefinido contém as permissões necessárias para usar o exportador do Cloud Monitoring. Para mais informações sobre o papel de gravador de métricas do Monitoring, consulte a documentação do IAM sobre roles/monitoring.metricWriter.

Para instruções sobre como conceder papéis a projetos, consulte Gerenciar o acesso aos projetos.

Antes de começar

  1. Ative a API Cloud Monitoring.

  2. Ative a API Cloud Storage.

    Acessar a API Cloud Storage

Configurar o exportador do Cloud Monitoring

Para configurar o exportador do Cloud Monitoring para coletar, exportar e analisar métricas do Cloud Storage FUSE, especifique um valor inteiro em segundos usando o campo de configuração metrics:cloud-metrics-export-interval-secs com um arquivo de configuração do Cloud Storage FUSE ou o --cloud-metrics-export-interval-secs usando a CLI do Cloud Storage FUSE.

Ver métricas usando o console do Google Cloud

Para conferir as métricas do Cloud Storage FUSE usando o console Google Cloud , siga estas instruções:

  1. No console Google Cloud , acesse a página Metrics Explorer.

    Acesse o Metrics Explorer

  2. Selecione o projeto para o qual você quer ver as métricas.

  3. No menu suspenso Métrica, clique em Selecionar uma métrica.

  4. Selecione Instância de VM, clique em Personalizada e insira o nome da métrica que você quer visualizar. Para saber quais métricas o Cloud Storage oferece para o Cloud Storage FUSE, consulte Métricas disponíveis.

Usar o Prometheus para exportar, coletar e analisar métricas

As seções a seguir descrevem como configurar e usar o Prometheus para exportar, coletar e analisar métricas do Cloud Storage FUSE.

Configurar o Prometheus

Para configurar o Prometheus, siga as instruções em Configurar o Prometheus para o Agente de operações.

Usar o Prometheus

  1. Especifique a porta HTTP para onde você quer exportar as métricas usando a opção de configuração prometheus-port em um arquivo de configuração do Cloud Storage FUSE ou a opção da CLI --prometheus-port usando a CLI do Cloud Storage FUSE.

  2. Valide o endpoint de métricas do Prometheus usando o seguinte comando:

     curl https://localhost:8080/metrics

    Se for bem-sucedido, o comando vai retornar uma saída com um texto semelhante ao seguinte:

     # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
 # TYPE file_cache_read_bytes_count counter
 file_cache_read_bytes_count{read_type="Random"} 0
 file_cache_read_bytes_count{read_type="Sequential"} 80
 # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
 # TYPE file_cache_read_count counter
 file_cache_read_count{cache_hit="false",read_type="Random"} 215
 file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
 # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
 # TYPE file_cache_read_latencies histogram
 file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
 file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
 ...
 file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
 file_cache_read_latencies_count{cache_hit="false"} 220
 # HELP fs_ops_count The cumulative number of ops processed by the file system.
 # TYPE fs_ops_count counter
 fs_ops_count{fs_op="FlushFile"} 9
 fs_ops_count{fs_op="GetInodeAttributes"} 91
 fs_ops_count{fs_op="LookUpInode"} 584
 fs_ops_count{fs_op="OpenDir"} 122
 fs_ops_count{fs_op="OpenFile"} 9
 fs_ops_count{fs_op="ReadDir"} 184
 fs_ops_count{fs_op="ReadFile"} 220
 fs_ops_count{fs_op="ReleaseDirHandle"} 122
 fs_ops_count{fs_op="ReleaseFileHandle"} 9
 fs_ops_count{fs_op="StatFS"} 10
 # HELP fs_ops_error_count The cumulative number of errors generated by file system operations
 # TYPE fs_ops_error_count counter
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
 fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
 fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
 # HELP fs_ops_latency The cumulative distribution of file system operation latencies
 # TYPE fs_ops_latency histogram
 fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
 ...
 fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
 fs_ops_latency_count{fs_op="FlushFile"} 9
 # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from GCS along with type - Sequential/Random
 # TYPE gcs_download_bytes_count counter
 gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
 # HELP gcs_read_count Specifies the number of gcs reads made along with type - Sequential/Random
 # TYPE gcs_read_count counter
 gcs_read_count{read_type="Sequential"} 5
 ```

Métricas disponíveis

O Cloud Storage FUSE fornece as seguintes métricas.

Métricas do sistema de arquivos

As métricas do sistema de arquivos fornecem insights sobre as operações realizadas no bucket montado, como latência e taxas de erro.

Nome da métrica Descrição da métrica
fs/ops_count O número de operações processadas pelo sistema de arquivos. Essa métrica permite o agrupamento por op_type para receber contagens de operações individuais.
fs/ops_error_count O número de erros gerados por operações do sistema de arquivos. Essa métrica pode ser agrupada por op_type e error_category. Cada erro é mapeado para um error_category em uma relação de muitos para um.
fs/ops_latency A distribuição cumulativa das latências de operação do sistema de arquivos. Essa métrica pode ser agrupada por op_type.

Métricas do Cloud Storage

As métricas do Cloud Storage fornecem insights sobre as interações entre o Cloud Storage FUSE e o Cloud Storage.

Nome da métrica Descrição da métrica
gcs/download_bytes_count O número de bytes baixados do Cloud Storage e o tipo de leitura. O tipo de leitura especifica leituras sequenciais, aleatórias ou paralelas.
gcs/read_bytes_count O número de bytes lidos de objetos do Cloud Storage, que é diferente de download_bytes_count. Por exemplo, mais dados são buscados do Cloud Storage do que realmente usados pelo aplicativo.
gcs/read_count O número de leituras do Cloud Storage e o tipo de leitura, seja sequencial, aleatória ou paralela.
gcs/reader_count O número de leitores de objetos do Cloud Storage que foram abertos ou fechados. Os dados dessa métrica são agrupados pelo tipo de método de entrada/saída (E/S), como opened ou closed.
gcs/request_count O número de solicitações processadas do Cloud Storage.
gcs/request_latencies A distribuição total das latências de solicitação do Cloud Storage.

Métricas de cache de arquivos

As métricas de cache de arquivos fornecem insights sobre o desempenho e o comportamento das operações de armazenamento em cache de arquivos do Cloud Storage FUSE.

Nome da métrica Descrição da métrica
file_cache/read_bytes_count O número de bytes lidos do cache de arquivo e o tipo de leitura, sequencial ou aleatória.
file_cache/read_latencies A distribuição total das latências de leitura do cache de arquivos e o ocorrência em cache, verdadeiro ou falso.
file_cache/read_count O número de solicitações de leitura feitas usando o cache de arquivos, o tipo de solicitação, como sequencial ou aleatória, e o ocorrência em cache, verdadeiro ou falso.

A seguir