Storage 批次作業

本文說明儲存空間批次作業,這項 Cloud Storage 功能可讓您以無伺服器方式,對數十億個物件執行作業。您可以使用儲存空間批次作業,自動對數十億個物件執行大規模 API 作業,減少為每個要求編寫及維護指令碼所需的開發時間。

如要瞭解如何建立儲存空間批次作業工作,請參閱「建立及管理儲存空間批次作業工作」。

總覽

透過儲存空間批次作業,您可以一次對多個物件執行四種轉換作業之一:設定物件保留、刪除物件、更新物件中繼資料,以及重寫物件。如要使用儲存空間批次作業,請建立工作設定,定義要對哪些物件套用哪些轉換。

建立批次作業會傳回長時間執行作業 (LRO),指出要求狀態:轉換作業是否已套用至要求中的所有指定物件。

優點

  • 擴充性:透過單一儲存空間批次作業工作,轉換數百萬個物件。
  • 無伺服器執行:在無伺服器環境中執行批次工作,無須管理基礎架構。
  • 自動化:自動處理複雜和重複性工作,提升作業效率。
  • 縮短開發時間:避免編寫及維護複雜的自訂指令碼。
  • 成效:在指定時間內完成須及時處理的作業。在儲存空間上並行執行多個批次工作時,您可以在三小時內處理最多十億個物件。
  • 自動重試:自動重試失敗的作業。
  • 工作監控:詳細追蹤進度,監控所有工作的狀態和完成情況。

用途

搭配儲存空間洞察資料集使用時,儲存空間批次作業可讓您完成下列工作:

  • 安全性管理

    • 使用重寫物件方法,在多個物件上設定加密金鑰。
    • 套用或移除物件訴訟保留,控管物件的不變性。
  • 法規遵循

    • 使用物件保留功能,滿足法規遵循的資料保留需求。
    • 刪除特定時間範圍內的資料,以符合清除資料的法規遵循要求。
  • 資料轉換:大量更新物件中繼資料。

  • 成本最佳化:大量刪除 Cloud Storage bucket 中的物件,以降低儲存空間費用。

工作設定

如要建立儲存空間批次作業工作,您需要設定下列工作設定。 工作設定是參數,可控制如何為不同的處理需求定義工作。

  • 工作名稱:用於識別儲存空間批次作業工作的專屬名稱。這項 ID 可用於追蹤、監控及參照工作。工作名稱為英數字元,例如 job-01

  • 工作說明 (選填):簡要說明工作目的。這有助於瞭解及記錄工作詳細資料。例如:Deletes all objects in a bucket

  • 值區名稱:包含要處理物件的儲存空間值區名稱。這是尋找輸入資料的必要條件。例如 my-bucket。您只能為工作指定一個值區名稱。

  • 物件選取:定義要處理哪些物件的選取條件。您可以使用下列任一選項指定條件:

    • 資訊清單:建立資訊清單,並在建立儲存空間批次作業工作時指定其位置。資訊清單是上傳至 Google Cloud的 CSV 檔案,內含您要處理的物件或物件清單。資訊清單中的每個資料列都必須包含物件的 bucketname。您可以選擇指定物件的 generation。如果未指定 generation,系統會使用物件的目前版本。

      檔案必須包含下列格式的標題列:

      bucket,name,generation

      以下是資訊清單範例:

      bucket,name,generation
      bucket_1,object_1,generation_1
      bucket_1,object_2,generation_2
      bucket_1,object_3,generation_3
      

      您也可以使用 Storage Insights 資料集建立資訊清單。詳情請參閱「使用儲存空間洞察資料集建立資訊清單」。

    • 物件前置字串:指定前置字串清單,篩選值區中的物件。系統只會處理具有這些前置字串的物件。如果留空,系統會處理 bucket 中的所有物件。

  • 工作類型:儲存空間批次作業支援下列工作類型,每個批次作業可執行一項工作。

    • 刪除物件:您可以刪除值區中的物件。這對成本最佳化、資料生命週期管理,以及遵守資料刪除政策至關重要。

    • 中繼資料更新:您可以修改物件中繼資料。包括更新自訂中繼資料、儲存空間類別和其他物件屬性。

    • 物件保留更新:您可以啟用或停用物件保留。物件保留功能可防止物件遭到刪除或修改,這對法規遵循和資料保留而言至關重要。

    • 更新物件加密金鑰:您可以管理一或多個物件的客戶自行管理的加密金鑰。包括使用重寫物件方法套用或變更加密金鑰。

限制

儲存空間批次作業有下列限制:

  • 儲存空間批次作業工作的生命週期最長為 14 天。如果任何進行中的工作未在建立後 14 天內完成,系統會自動取消。

  • 我們不建議在同一個 bucket 上,同時執行超過 20 個批次作業工作。

  • 儲存空間批次作業與 VPC Service Controls 不相容。

  • 下列 bucket 不支援儲存空間批次作業:

    • 已啟用要求者付費功能的值區。

    • 位於 eur4us-west8 地區的 Bucket。

後續步驟