Cloud Storage FUSE 측정항목

이 페이지에서는 Cloud Storage FUSE의 측정항목과 측정항목 데이터를 수집, 내보내기, 분석하는 방법을 간략하게 설명합니다.

개요

Cloud Storage FUSE를 사용하여 버킷을 Cloud Storage에 파일 시스템으로 마운트하는 경우 Cloud Storage는 Cloud Storage FUSE를 위해 심층적인 측정항목을 제공합니다. 측정항목을 사용하면 성능을 지속적으로 모니터링하고, 처리량과 지연 시간에 영향을 줄 수 있는 잠재적 병목 현상을 파악하고, 문제가 발생할 때 빠르게 해결할 수 있습니다.

진단 목적으로 Cloud Storage FUSE를 사용할 때 백그라운드에서 측정항목을 수집할 수 있습니다. Cloud Storage는 측정항목을 수집, 내보내고 분석하는 두 가지 방법을 제공합니다.

  • Cloud Monitoring 내보내기 도구: Cloud Storage FUSE에서 Cloud Monitoring으로 측정항목이 직접 수집되거나 내보내집니다. 내보낸 측정항목은 Google Cloud 콘솔에서 볼 수 있습니다.

  • Prometheus 포트: Prometheus 오픈소스 모니터링 및 알림 툴킷을 사용하여 http://Host:prometheus-port/metrics와 같은 지정된 Prometheus 포트에서 Prometheus 측정항목 텍스트 기반 형식으로 측정항목이 내보내집니다. 그런 다음 curl http://host:port/metrics와 같은 클라이언트 URL을 사용하여 측정항목을 출력으로 볼 수 있습니다.

가격 책정

Cloud Storage FUSE 측정항목은 사용량에 따라 요금이 청구됩니다. 가격 책정에 관한 자세한 내용은 Google Cloud Observability 가격 책정을 참고하세요.

Cloud Monitoring 내보내기 도구 사용

Cloud Monitoring 내보내기 도구를 사용하여 Cloud Storage FUSE에서 Cloud Monitoring으로 측정항목을 내보내고, 수집하고, 분석하려면 다음 섹션에 설명된 단계를 완료해야 합니다.

필수 역할 얻기

Cloud Monitoring 내보내기 도구를 사용하는 데 필요한 권한을 얻으려면 측정항목을 수집하려는 프로젝트에 Monitoring Metric Writer(roles/monitoring.metricWriter) IAM 역할을 부여합니다.

이 사전 정의된 역할에는 Cloud Monitoring 내보내기를 사용하는 데 필요한 권한이 포함되어 있습니다. 모니터링 측정항목 작성자 역할에 대한 자세한 내용은 roles/monitoring.metricWriter에 관한 IAM 문서를 참고하세요.

프로젝트에 역할을 부여하는 방법은 프로젝트에 대한 액세스 관리를 참조하세요.

시작하기 전에

  1. Cloud Monitoring API를 사용 설정합니다.

  2. Cloud Storage API를 사용 설정합니다.

    Cloud Storage API로 이동

Cloud Monitoring 내보내기 도구 설정

Cloud Storage FUSE 측정항목을 수집, 내보내기, 분석하도록 Cloud Monitoring 내보내기를 설정하려면 Cloud Storage FUSE 구성 파일 또는 Cloud Storage FUSE CLI를 사용하여 metrics:cloud-metrics-export-interval-secs 구성 필드를 사용하여 초 단위의 정수 값을 지정하거나 --cloud-metrics-export-interval-secs를 사용합니다.

Google Cloud 콘솔을 사용하여 측정항목 보기

Google Cloud 콘솔을 사용하여 Cloud Storage FUSE 측정항목을 보려면 다음 안내를 따르세요.

  1. Google Cloud 콘솔에서 측정항목 탐색기 페이지로 이동합니다.

    측정항목 탐색기로 이동

  2. 측정항목을 보려는 프로젝트를 선택합니다.

  3. 측정항목 드롭다운 메뉴에서 측정항목 선택을 클릭합니다.

  4. VM 인스턴스를 선택한 다음 커스텀을 클릭하고 보려는 측정항목의 이름을 입력합니다. Cloud Storage에서 Cloud Storage FUSE에 제공하는 측정항목을 확인하려면 사용 가능한 측정항목을 참고하세요.

Prometheus를 사용하여 측정항목 내보내기, 수집, 분석

다음 섹션에서는 Prometheus를 구성하고 사용하여 Cloud Storage FUSE 측정항목을 내보내고, 수집하고, 분석하는 방법을 설명합니다.

Prometheus 구성

Prometheus를 구성하려면 운영 에이전트용 Prometheus 구성의 안내를 따르세요.

Prometheus 사용

  1. Cloud Storage FUSE 구성 파일의 prometheus-port 구성 옵션 또는 Cloud Storage FUSE CLI를 사용하는 --prometheus-port CLI 옵션을 사용하여 측정항목을 내보낼 HTTP 포트를 지정합니다.

  2. 다음 명령어를 사용하여 Prometheus 측정항목 엔드포인트를 검증합니다.

     curl https://localhost:8080/metrics

    성공하면 명령어는 다음과 유사한 텍스트가 포함된 출력을 반환합니다.

     # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
 # TYPE file_cache_read_bytes_count counter
 file_cache_read_bytes_count{read_type="Random"} 0
 file_cache_read_bytes_count{read_type="Sequential"} 80
 # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
 # TYPE file_cache_read_count counter
 file_cache_read_count{cache_hit="false",read_type="Random"} 215
 file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
 # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
 # TYPE file_cache_read_latencies histogram
 file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
 file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
 file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
 ...
 file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
 file_cache_read_latencies_count{cache_hit="false"} 220
 # HELP fs_ops_count The cumulative number of ops processed by the file system.
 # TYPE fs_ops_count counter
 fs_ops_count{fs_op="FlushFile"} 9
 fs_ops_count{fs_op="GetInodeAttributes"} 91
 fs_ops_count{fs_op="LookUpInode"} 584
 fs_ops_count{fs_op="OpenDir"} 122
 fs_ops_count{fs_op="OpenFile"} 9
 fs_ops_count{fs_op="ReadDir"} 184
 fs_ops_count{fs_op="ReadFile"} 220
 fs_ops_count{fs_op="ReleaseDirHandle"} 122
 fs_ops_count{fs_op="ReleaseFileHandle"} 9
 fs_ops_count{fs_op="StatFS"} 10
 # HELP fs_ops_error_count The cumulative number of errors generated by file system operations
 # TYPE fs_ops_error_count counter
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
 fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
 fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
 # HELP fs_ops_latency The cumulative distribution of file system operation latencies
 # TYPE fs_ops_latency histogram
 fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
 fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
 ...
 fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
 fs_ops_latency_count{fs_op="FlushFile"} 9
 # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from GCS along with type - Sequential/Random
 # TYPE gcs_download_bytes_count counter
 gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
 # HELP gcs_read_count Specifies the number of gcs reads made along with type - Sequential/Random
 # TYPE gcs_read_count counter
 gcs_read_count{read_type="Sequential"} 5
 ```

사용 가능한 측정항목

Cloud Storage FUSE는 다음 측정항목을 제공합니다.

파일 시스템 측정항목

파일 시스템 측정항목은 지연 시간, 오류율 등 마운트된 버킷에서 실행된 작업에 대한 유용한 정보를 제공합니다.

측정항목 이름 측정항목 설명
fs/ops_count 파일 시스템에서 처리한 작업 수입니다. 이 측정항목을 사용하면 op_type별로 그룹화하여 개별 작업의 개수를 확인할 수 있습니다.
fs/ops_error_count 파일 시스템 작업에서 생성된 오류 수입니다. 이 측정항목은 op_type 및 error_category로 그룹화할 수 있습니다. 각 오류는 다대일 관계에서 error_category에 매핑됩니다.
fs/ops_latency 파일 시스템 작업 지연 시간의 누적 분포입니다. 이 측정항목은 op_type로 그룹화할 수 있습니다.

Cloud Storage 측정항목

Cloud Storage 측정항목은 Cloud Storage FUSE와 Cloud Storage 간의 상호작용에 관한 유용한 정보를 제공합니다.

측정항목 이름 측정항목 설명
gcs/download_bytes_count 읽기 유형과 함께 Cloud Storage에서 다운로드된 바이트 수입니다. 읽기 유형은 순차, 무작위 또는 병렬 읽기를 지정합니다.
gcs/read_bytes_count Cloud Storage 객체에서 읽은 바이트 수로, download_bytes_count와는 다릅니다. 예를 들어 애플리케이션에서 실제로 사용하는 것보다 더 많은 데이터가 Cloud Storage에서 가져옵니다.
gcs/read_count Cloud Storage에서 읽은 횟수와 읽기 유형(순차, 임의 또는 병렬)입니다.
gcs/reader_count 열거나 닫은 Cloud Storage 객체 리더의 수입니다. 이 측정항목의 데이터는 입력/출력(I/O) 메서드 유형(예: opened 또는 closed)별로 그룹화됩니다.
gcs/request_count 처리된 Cloud Storage 요청 수입니다.
gcs/request_latencies Cloud Storage 요청 지연 시간의 전체 분포입니다.
gcs/retry_count Cloud Storage에 전송된 재시도 요청 수입니다. 이 측정항목은 재시도를 트리거한 오류의 카테고리를 지정하는 retry_error_category로 그룹화할 수 있습니다.

파일 캐시 측정항목

파일 캐시 측정항목은 Cloud Storage FUSE 파일 캐싱 작업의 성능과 동작에 대한 유용한 정보를 제공합니다.

측정항목 이름 측정항목 설명
file_cache/read_bytes_count 파일 캐시에서 읽은 바이트 수와 읽기 유형(순차 또는 임의)입니다.
file_cache/read_latencies 파일 캐시 읽기 지연 시간과 캐시 적중(참 또는 거짓)의 전체 분포입니다.
file_cache/read_count 파일 캐시를 사용하여 이루어진 읽기 요청 수, 순차 또는 무작위와 같은 요청 유형, 캐시 적중(true 또는 false)입니다.

다음 단계