儲存空間分析庫存報表

儲存空間洞察目錄報表功能可協助您大規模管理物件儲存空間。這項作業可做為 Objects: list API 作業的替代方案,速度更快且可排定時間。如要驗證大型值區的遷移作業,且不影響效能,或檢查單一值區中物件的完整性,請使用儲存空間洞察庫存報表。

目錄報告包含與物件相關的中繼資料資訊,例如物件的儲存空間級別、ETag 和內容類型。這些資訊可協助您分析儲存成本、稽核及驗證物件,並確保資料安全無虞且符合法規。您可以將目錄報告匯出為半形逗號分隔值 (CSV) 檔案或 Apache Parquet 檔案,進一步使用 BigQuery 等工具進行分析。

本頁面提供儲存空間洞察庫存報表功能總覽。如需如何使用這項功能的操作說明,請參閱「建立及管理廣告空間報表」。

商品目錄報表總覽

目錄報告會列出指定 bucket (也稱為來源 bucket) 中的物件及其相關中繼資料。如要產生目錄報表,請先建立目錄報表設定,定義報表產生頻率、報表要納入的元資料欄位,以及產生和儲存報表的值區 (也稱為目的地值區)。

建立商品目錄報表設定時,系統會自動指派通用唯一識別碼 (UUID)。這個欄位無法編輯。 不過,您可以編輯庫存報表設定的下列欄位:

  • 資產盤點報表設定的顯示名稱
  • 庫存報表包含的物件中繼資料欄位
  • 儲存資產盤點清單報告的目的地值區
  • 決定產生庫存報表頻率的時間表
  • 產生目錄報告的檔案格式 (CSV 或 Apache Parquet)

刪除庫存報表設定後,系統不會再為該設定產生新的庫存報表,但現有的庫存報表仍會保留。

來源和目的地值區

來源 bucket 包含要產生庫存報表的物件。其中也包含庫存報表設定。一個來源值區最多可有 100 項資產盤點清單報告設定。

目的地 bucket 會儲存產生的庫存報表。目的地 bucket 必須符合下列條件:

  • 目的地 bucket 必須與來源 bucket 位於相同位置
  • 必須與來源 bucket 位於相同專案。
  • 可以與來源 bucket 相同。

首次建立目錄報表設定時,系統會自動代您建立服務代理程式。如要建立庫存報表設定,並將庫存報表寫入目的地值區,您和服務代理都必須具備必要的 IAM 權限。請參閱服務代理所需的權限。

Storage Insights 會使用來源和目的地 bucket 的名稱,判斷執行作業時要使用哪些 bucket。如果您刪除來源或目的地 bucket,之後又建立同名的新 bucket,Storage Insights 會使用新 bucket 執行工作。

物件中繼資料欄位

下列中繼資料欄位可納入目錄報表。 標示為「必要」的中繼資料欄位必須納入商品目錄報表。

中繼資料欄位 說明 附註
專案 來源 bucket 所在的專案 ID。 必填
值區 來源 bucket 的名稱。 必填
名稱 物件名稱。 必填
位置 來源 bucket 的位置 選用
大小 物件大小。 選用
timeCreated 物件的建立時間,採用 RFC 3339 格式。 選用
timeDeleted 物件的刪除時間,採用 RFC 3339 格式。只有在物件版本不再是使用中版本,但仍以非現行版本形式保留在值區中時,才會傳回這個值。 選用
已更新 物件中繼資料的修改時間,採用 RFC 3339 格式。 選用
storageClass 物件的儲存空間級別 選用
etag 物件的 HTTP 1.1 實體標記 選用
retentionExpirationTime 物件最早可刪除的時間,取決於為物件設定的保留設定,以及為包含物件的值區設定的保留政策retentionExpriationTime 的值採用 RFC 3339 格式。 選用
crc32c CRC32C 檢查碼,如 RFC 4960 附錄 B 所述,以大端序位元組順序使用 base64 編碼。如要進一步瞭解 CRC32C 總和檢查碼,請參閱物件中繼資料 選用
md5Hash 資料的 MD5 雜湊,使用 base64 編碼。 這個欄位不適用於複合物件。如要進一步瞭解 MD5 雜湊,請參閱物件中繼資料 選用
圖像生成 這個物件的內容產生時間。用於物件版本管理。 選用
中繼產生 這個物件在該的中繼資料版本。 用於先決條件和偵測中繼資料的變更。中繼產生編號只有在特定物件的特定產生版本中才有意義。 選用
contentType 物件資料的 Content-Type。如果物件儲存時沒有 Content-Type,系統會以 application/octet-stream 形式提供。 選用
contentEncoding 物件資料的 Content-Encoding 選用
timeStorageClassUpdated 上次變更物件儲存空間級別的時間。物件最初建立時,會設為 timeCreated。 選用

如要進一步瞭解物件中繼資料欄位,請參閱物件中繼資料

商品目錄報表分片

如果目錄報告包含超過 1,000,000 個物件,儲存空間分析會產生一或多個分片物件,組成目錄報告。成功產生庫存報表的所有分片後,系統會在與分片相同目的地值區中產生資訊清單檔案。

商品目錄報表資訊清單檔案

如果出現資訊清單檔案,表示系統已產生組成目錄報表的所有分片。資訊清單檔案也會提供商品目錄報表分片物件的名稱。

資訊清單檔案遵循 REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json 命名慣例,其中:

  • REPORT_CONFIG_UUID 是庫存報表設定的自動產生 UUID。

  • TARGET_DATETIME 是系統自動產生的世界標準時間日期和時間,代表產生廣告空間報表的時間。

資訊清單檔案名稱範例:fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json

manifest.json 檔案包含下列自動填入的欄位:

{
  "report_config": REPORT_CONFIG_FIELDS,
  "records_processed": NUMBER_OF_INCLUDED_OBJECTS,
  "snapshot_time": "SNAPSHOT_TIME,
  "target_datetime": "TARGET_DATETIME,
  "shard_count": SHARD_COUNT,
  "report_shards_file_names": [
    SHARD_FILE_NAME
    ...]
}

其中:

  • REPORT_CONFIG_FIELDS 包含ReportConfig 資源中的欄位。

  • NUMBER_OF_INCLUDED_OBJECTS 是指清單報告中包含的物件數量。

  • SNAPSHOT_TIME 是指系統自動生成的世界標準時間日期時間,代表資料快照的發生時間。商品目錄報表中的所有資料都是在快照中擷取。

  • TARGET_DATETIME 是自動產生的世界標準時間日期時間,代表產生目錄報表的時間。

  • SHARD_COUNT 是組成庫存報表的產生分片總數。

  • SHARD_FILE_NAME 是組成庫存報表的分片名稱。

manifest.json 檔案範例如下:

{
  "report_config":
     {
       "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0",
       "createTime": "2023-06-08T08:07:53.397366139Z",
       "updateTime": "2023-06-08T08:07:53.552347723Z",
       "frequencyOptions": {
         "frequency": "DAILY",
         "startDate": {
           "year": 2023,
           "month": 6,
           "day": 9
         }
         "endDate": {
           "year": 2023,
           "month": 6,
           "day": 23
         }
       },
       "csvOptions": {
         "recordSeparator": "\n",
         "delimiter": ","
       },
       "objectMetadataReportOptions": {
         "metadataFields": [
           "project",
           "bucket",
           "name",
           "location",
           "updated",
           "storageClass",
         ],
         "storageFilters": {
           "bucket": "my-test-bucket"
         },
         "storageDestinationOptions": {
           "bucket": "example-bucket",
           "destinationPath": "folder/subfolder"
         }
       }
     },
  "records_processed": 3993900,
  "snapshot_time" : "2023-06-06T00:07:27Z",
  "target_datetime": {
    "year": 2023,
    "month": 6,
    "day": 6
  },
  "shard_count": 4,
  "report_shards_file_names": [
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv",
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv",
    ...
  ],
}

定價

使用庫存報表時,系統會根據 bucket 的位置收取費用。如要進一步瞭解目錄報表價格,請參閱「定價」。

稽核記錄

在目的地值區中產生目錄報表時,Cloud Storage 會建立稽核記錄。每當建立、更新或刪除庫存報表設定時,儲存空間洞察都會產生稽核記錄。

當庫存報表設定從來源值區讀取物件中繼資料時,Cloud Storage 不會建立稽核記錄。

與 VPC Service Controls 整合

您可以使用 VPC Service Controls,為 Storage Insights 資源提供額外一層安全防護。使用 VPC Service Controls 時,您可以將專案加入服務範圍,如此一來,源自服務範圍外的要求就無法存取相關資源及服務。如要進一步瞭解 VPC Service Controls 和服務範圍,請參閱「服務範圍詳細資料和設定」。

限制

在 Cloud Storage 值區上啟用 IP 過濾功能後,無論 Storage Insights 是否使用服務代理與 Cloud Storage 互動,都無法存取該值區。如要避免服務中斷,如果您要為 Cloud Storage 值區建立目錄報表,建議不要在該值區上使用 IP 篩選功能。

後續步驟

瞭解如何建立廣告空間報表設定,並開始產生廣告空間報表。