Storage Insights 인벤토리 보고서

Storage Insights 인벤토리 보고서 기능을 사용하면 객체 스토리지를 대규모로 관리할 수 있습니다. 이 방식은 Objects: list API 작업에 대한 보다 빠르고 예정된 대안입니다.

인벤토리 보고서에는 객체의 스토리지 클래스, ETag, 콘텐츠 유형과 같은 객체의 메타데이터 정보가 포함됩니다. 이 정보는 스토리지 비용을 분석하고, 객체를 감사 및 검증하고, 데이터 보안 및 규정 준수를 보장하는 데 도움이 됩니다. 인벤토리 보고서를 쉼표로 구분된 값(CSV) 또는 Apache Parquet 파일로 내보내 BigQuery와 같은 도구를 사용하여 추가로 분석할 수 있습니다.

이 페이지에서는 Storage Insights 인벤토리 보고서 기능에 대한 개요를 제공합니다. 기능을 사용하는 방법에 대한 안내는 인벤토리 보고서 만들기 및 관리를 참조하세요.

인벤토리 보고서 개요

인벤토리 보고서에는 소스 버킷이라고도 하는 특정 버킷의 객체와 관련 메타데이터 목록이 포함됩니다. 인벤토리 보고서를 생성하려면 먼저 보고서가 생성되는 빈도, 보고서에 포함할 메타데이터 필드, 보고서를 만들고 저장할 버킷(대상 버킷이라고도 함)을 정의하는 인벤토리 보고서 구성을 만듭니다.

인벤토리 보고서 구성을 만들면 범용 고유 식별자(UUID)가 자동으로 할당됩니다. 이 필드는 수정할 수 없습니다. 그러나 인벤토리 보고서 구성의 다음 필드는 수정할 수 있습니다.

• 인벤토리 보고서 구성의 표시 이름
• 인벤토리 보고서에 포함된 객체 메타데이터 필드
• 인벤토리 보고서를 저장하는 대상 버킷
• 인벤토리 보고서가 생성되는 빈도를 결정하는 일정
• 인벤토리 보고서가 생성되는 파일 형식(CSV 또는 Apache Parquet)

인벤토리 보고서 구성을 삭제하면 해당 구성에 대해 새 인벤토리 보고서가 더 이상 생성되지 않지만 기존 인벤토리 보고서는 유지됩니다.

소스 및 대상 버킷

소스 버킷에는 인벤토리 보고서를 생성하려는 객체가 포함되어 있습니다. 또한 인벤토리 보고서 구성도 포함됩니다. 소스 버킷에는 인벤토리 보고서 구성을 최대 100개까지 포함할 수 있습니다.

대상 버킷은 생성된 인벤토리 보고서를 저장합니다. 대상 버킷은 다음 요구사항을 충족해야 합니다.

• 소스 버킷과 동일한 위치에 있어야 합니다.
• 소스 버킷과 동일한 프로젝트에 있어야 합니다.
• 소스 버킷과 동일할 수 있습니다.

인벤토리 보고서 구성을 처음 만들면 사용자를 대신하여 서비스 에이전트가 자동으로 생성됩니다. 인벤토리 보고서 구성을 만들고 대상 버킷에 인벤토리 보고서를 작성하려면 개발자와 서비스 에이전트 모두 필요한 IAM 권한이 있어야 합니다. 개발자 및 서비스 에이전트에 필요한 권한을 참조하세요.

Storage Insights는 소스 및 대상 버킷의 이름을 사용하여 작업을 실행할 때 사용할 버킷을 결정합니다. 소스 또는 대상 버킷을 삭제하고 나중에 같은 이름으로 새 버킷을 만들 경우 Storage Insights가 새 버킷을 사용하여 작업을 실행합니다.

객체 메타데이터 필드

다음 메타데이터 필드는 인벤토리 보고서에 포함할 수 있습니다. '필수'로 표시된 메타데이터 필드는 인벤토리 보고서에 포함되어야 합니다.

객체 메타데이터 필드에 대한 자세한 내용은 객체 메타데이터를 참조하세요.

인벤토리 보고서 샤드

인벤토리 보고서에 1,000,000개 이상의 객체가 포함된 경우 Storage Insights가 하나 이상의 샤드 객체를 생성하여 인벤토리 보고서를 작성합니다. 인벤토리 보고서의 모든 샤드가 성공적으로 생성되면 샤드와 동일한 대상 버킷에 매니페스트 파일이 생성됩니다.

인벤토리 보고서 매니페스트 파일

매니페스트 파일이 있다는 것은 인벤토리 보고서를 구성하는 모든 샤드가 생성되었음을 나타냅니다. 매니페스트 파일은 인벤토리 보고서 샤드 객체의 이름도 제공합니다.

매니페스트 파일은 REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json 이름 지정 규칙 따릅니다. 각 항목의 의미는 다음과 같습니다.

• REPORT_CONFIG_UUID는 인벤토리 보고서 구성의 자동 생성된 UUID입니다.

• TARGET_DATETIME은 인벤토리 보고서가 생성되는 자동 생성 UTC 날짜 및 시간입니다.

매니페스트 파일 이름의 예시는 fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json입니다.

manifest.json 파일에는 다음과 같은 자동으로 입력된 필드가 포함됩니다.

{
  "report_config": REPORT_CONFIG_FIELDS,
  "records_processed": NUMBER_OF_INCLUDED_OBJECTS,
  "snapshot_time": "SNAPSHOT_TIME,
  "target_datetime": "TARGET_DATETIME,
  "shard_count": SHARD_COUNT,
  "report_shards_file_names": [
    SHARD_FILE_NAME
    ...]
}

각 항목의 의미는 다음과 같습니다.

• REPORT_CONFIG_FIELDS에는 ReportConfig 리소스 내에 포함된 필드가 있습니다.

• NUMBER_OF_INCLUDED_OBJECTS는 인벤토리 보고서에 포함된 객체 수입니다.

• SNAPSHOT_TIME은 데이터 스냅샷이 발생하는 자동 생성된 UTC 날짜/시간입니다. 인벤토리 보고서의 모든 데이터가 스냅샷에서 캡처됩니다.

• TARGET_DATETIME은 인벤토리 보고서가 생성되는 자동 생성 UTC 날짜/시간입니다.

• SHARD_COUNT는 인벤토리 보고서를 구성하는 생성된 샤드의 총 개수입니다.

• SHARD_FILE_NAME은 인벤토리 보고서를 구성하는 샤드의 이름입니다.

예시 manifest.json 파일은 다음과 같습니다.

{
  "report_config":
     {
       "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0",
       "createTime": "2023-06-08T08:07:53.397366139Z",
       "updateTime": "2023-06-08T08:07:53.552347723Z",
       "frequencyOptions": {
         "frequency": "DAILY",
         "startDate": {
           "year": 2023,
           "month": 6,
           "day": 9
         }
         "endDate": {
           "year": 2023,
           "month": 6,
           "day": 23
         }
       },
       "csvOptions": {
         "recordSeparator": "\n",
         "delimiter": ","
       },
       "objectMetadataReportOptions": {
         "metadataFields": [
           "project",
           "bucket",
           "name",
           "location",
           "updated",
           "storageClass",
         ],
         "storageFilters": {
           "bucket": "my-test-bucket"
         },
         "storageDestinationOptions": {
           "bucket": "example-bucket",
           "destinationPath": "folder/subfolder"
         }
       }
     },
  "records_processed": 3993900,
  "snapshot_time" : "2023-06-06T00:07:27Z",
  "target_datetime": {
    "year": 2023,
    "month": 6,
    "day": 6
  },
  "shard_count": 4,
  "report_shards_file_names": [
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv",
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv",
    ...
  ],
}

가격 책정 및 지원되는 버킷 위치

Storage Insights에는 가격 책정이 적용되며 인벤토리 보고서에 포함된 100만 객체당 스토리지 위치에 따라 아래 가격으로 청구됩니다. 스토리지 위치에 대한 자세한 내용은 버킷 위치를 참조하세요.

지원되는 위치

감사 로깅

Cloud Storage는 인벤토리 보고서가 대상 버킷에 생성될 때 감사 로그를 만듭니다. Storage Insights는 인벤토리 보고서 구성이 생성, 업데이트, 삭제될 때마다 감사 로그를 생성합니다.

인벤토리 보고서 구성이 소스 버킷에서 객체 메타데이터를 읽을 때는 Cloud Storage가 감사 로그를 만들지 않습니다.

VPC 서비스 제어와 통합

VPC 서비스 제어를 사용하여 Storage Insights 리소스에 대한 추가 보안 레이어를 제공할 수 있습니다. VPC 서비스 제어를 사용하는 경우 경계 외부에서 발생하는 요청으로부터 리소스와 서비스를 보호하는 서비스 경계에 프로젝트를 추가합니다. VPC 서비스 제어 및 서비스 경계에 대한 자세한 내용은 서비스 경계 세부정보 및 구성을 참조하세요.

다음 단계

인벤토리 보고서 구성을 만들고 인벤토리 보고서 생성을 시작하는 방법을 알아보세요.