儲存空間洞察目錄報表功能可協助您大規模管理物件儲存空間。這項作業可做為 Objects: list
API 作業的替代方案,速度更快且可排定時間。如要驗證大型值區的遷移作業,且不影響效能,或檢查單一值區中物件的完整性,請使用儲存空間洞察庫存報表。
目錄報告包含與物件相關的中繼資料資訊,例如物件的儲存空間級別、ETag 和內容類型。這些資訊可協助您分析儲存成本、稽核及驗證物件,並確保資料安全無虞且符合法規。您可以將目錄報告匯出為半形逗號分隔值 (CSV) 檔案或 Apache Parquet 檔案,進一步使用 BigQuery 等工具進行分析。
本頁面提供儲存空間洞察庫存報表功能總覽。如需如何使用這項功能的操作說明,請參閱「建立及管理廣告空間報表」。
商品目錄報表總覽
目錄報告會列出指定 bucket (也稱為來源 bucket) 中的物件及其相關中繼資料。如要產生目錄報表,請先建立目錄報表設定,定義報表產生頻率、報表要納入的元資料欄位,以及產生和儲存報表的值區 (也稱為目的地值區)。
建立商品目錄報表設定時,系統會自動指派通用唯一識別碼 (UUID)。這個欄位無法編輯。 不過,您可以編輯庫存報表設定的下列欄位:
- 資產盤點報表設定的顯示名稱
- 庫存報表包含的物件中繼資料欄位
- 儲存資產盤點清單報告的目的地值區
- 決定產生庫存報表頻率的時間表
- 產生目錄報告的檔案格式 (CSV 或 Apache Parquet)
刪除庫存報表設定後,系統不會再為該設定產生新的庫存報表,但現有的庫存報表仍會保留。
來源和目的地值區
來源 bucket 包含要產生庫存報表的物件。其中也包含庫存報表設定。一個來源值區最多可有 100 項資產盤點清單報告設定。
目的地 bucket 會儲存產生的庫存報表。目的地 bucket 必須符合下列條件:
- 目的地 bucket 必須與來源 bucket 位於相同位置。
- 必須與來源 bucket 位於相同專案。
- 可以與來源 bucket 相同。
首次建立目錄報表設定時,系統會自動代您建立服務代理程式。如要建立庫存報表設定,並將庫存報表寫入目的地值區,您和服務代理都必須具備必要的 IAM 權限。請參閱您和服務代理所需的權限。
Storage Insights 會使用來源和目的地 bucket 的名稱,判斷執行作業時要使用哪些 bucket。如果您刪除來源或目的地 bucket,之後又建立同名的新 bucket,Storage Insights 會使用新 bucket 執行工作。
物件中繼資料欄位
下列中繼資料欄位可納入目錄報表。 標示為「必要」的中繼資料欄位必須納入商品目錄報表。
中繼資料欄位 | 說明 | 附註 |
---|---|---|
專案 | 來源 bucket 所在的專案 ID。 | 必填 |
值區 | 來源 bucket 的名稱。 | 必填 |
名稱 | 物件名稱。 | 必填 |
位置 | 來源 bucket 的位置。 | 選用 |
大小 | 物件大小。 | 選用 |
timeCreated | 物件的建立時間,採用 RFC 3339 格式。 | 選用 |
timeDeleted | 物件的刪除時間,採用 RFC 3339 格式。只有在物件版本不再是使用中版本,但仍以非現行版本形式保留在值區中時,才會傳回這個值。 | 選用 |
已更新 | 物件中繼資料的修改時間,採用 RFC 3339 格式。 | 選用 |
storageClass | 物件的儲存空間級別。 | 選用 |
etag | 物件的 HTTP 1.1 實體標記。 | 選用 |
retentionExpirationTime | 物件最早可刪除的時間,取決於為物件設定的保留設定,以及為包含物件的值區設定的保留政策。retentionExpriationTime 的值採用 RFC 3339 格式。 |
選用 |
crc32c | CRC32C 檢查碼,如 RFC 4960 附錄 B 所述,以大端序位元組順序使用 base64 編碼。如要進一步瞭解 CRC32C 總和檢查碼,請參閱物件中繼資料。 | 選用 |
md5Hash | 資料的 MD5 雜湊,使用 base64 編碼。 這個欄位不適用於複合物件。如要進一步瞭解 MD5 雜湊,請參閱物件中繼資料。 | 選用 |
圖像生成 | 這個物件的內容產生時間。用於物件版本管理。 | 選用 |
中繼產生 | 這個物件在該代的中繼資料版本。 用於先決條件和偵測中繼資料的變更。中繼產生編號只有在特定物件的特定產生版本中才有意義。 | 選用 |
contentType | 物件資料的 Content-Type。如果物件儲存時沒有 Content-Type,系統會以 application/octet-stream 形式提供。 | 選用 |
contentEncoding | 物件資料的 Content-Encoding。 | 選用 |
timeStorageClassUpdated | 上次變更物件儲存空間級別的時間。物件最初建立時,會設為 timeCreated。 | 選用 |
如要進一步瞭解物件中繼資料欄位,請參閱物件中繼資料。
商品目錄報表分片
如果目錄報告包含超過 1,000,000 個物件,儲存空間分析會產生一或多個分片物件,組成目錄報告。成功產生庫存報表的所有分片後,系統會在與分片相同目的地值區中產生資訊清單檔案。
商品目錄報表資訊清單檔案
如果出現資訊清單檔案,表示系統已產生組成目錄報表的所有分片。資訊清單檔案也會提供商品目錄報表分片物件的名稱。
資訊清單檔案遵循 REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json
命名慣例,其中:
REPORT_CONFIG_UUID
是庫存報表設定的自動產生 UUID。TARGET_DATETIME
是系統自動產生的世界標準時間日期和時間,代表產生廣告空間報表的時間。
資訊清單檔案名稱範例:fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json
。
manifest.json
檔案包含下列自動填入的欄位:
{ "report_config": REPORT_CONFIG_FIELDS, "records_processed": NUMBER_OF_INCLUDED_OBJECTS, "snapshot_time": "SNAPSHOT_TIME, "target_datetime": "TARGET_DATETIME, "shard_count": SHARD_COUNT, "report_shards_file_names": [ SHARD_FILE_NAME ...] }
其中:
REPORT_CONFIG_FIELDS
包含ReportConfig 資源中的欄位。NUMBER_OF_INCLUDED_OBJECTS
是指清單報告中包含的物件數量。SNAPSHOT_TIME
是指系統自動生成的世界標準時間日期時間,代表資料快照的發生時間。商品目錄報表中的所有資料都是在快照中擷取。TARGET_DATETIME
是自動產生的世界標準時間日期時間,代表產生目錄報表的時間。SHARD_COUNT
是組成庫存報表的產生分片總數。SHARD_FILE_NAME
是組成庫存報表的分片名稱。
manifest.json
檔案範例如下:
{ "report_config": { "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0", "createTime": "2023-06-08T08:07:53.397366139Z", "updateTime": "2023-06-08T08:07:53.552347723Z", "frequencyOptions": { "frequency": "DAILY", "startDate": { "year": 2023, "month": 6, "day": 9 } "endDate": { "year": 2023, "month": 6, "day": 23 } }, "csvOptions": { "recordSeparator": "\n", "delimiter": "," }, "objectMetadataReportOptions": { "metadataFields": [ "project", "bucket", "name", "location", "updated", "storageClass", ], "storageFilters": { "bucket": "my-test-bucket" }, "storageDestinationOptions": { "bucket": "example-bucket", "destinationPath": "folder/subfolder" } } }, "records_processed": 3993900, "snapshot_time" : "2023-06-06T00:07:27Z", "target_datetime": { "year": 2023, "month": 6, "day": 6 }, "shard_count": 4, "report_shards_file_names": [ "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv", "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv", ... ], }
定價
使用庫存報表時,系統會根據 bucket 的位置收取費用。如要進一步瞭解目錄報表價格,請參閱「定價」。
稽核記錄
在目的地值區中產生目錄報表時,Cloud Storage 會建立稽核記錄。每當建立、更新或刪除庫存報表設定時,儲存空間洞察都會產生稽核記錄。
當庫存報表設定從來源值區讀取物件中繼資料時,Cloud Storage 不會建立稽核記錄。
與 VPC Service Controls 整合
您可以使用 VPC Service Controls,為 Storage Insights 資源提供額外一層安全防護。使用 VPC Service Controls 時,您可以將專案加入服務範圍,如此一來,源自服務範圍外的要求就無法存取相關資源及服務。如要進一步瞭解 VPC Service Controls 和服務範圍,請參閱「服務範圍詳細資料和設定」。
限制
在 Cloud Storage 值區上啟用 IP 過濾功能後,無論 Storage Insights 是否使用服務代理與 Cloud Storage 互動,都無法存取該值區。如要避免服務中斷,如果您要為 Cloud Storage 值區建立目錄報表,建議不要在該值區上使用 IP 篩選功能。
後續步驟
瞭解如何建立廣告空間報表設定,並開始產生廣告空間報表。