配額與限制

本文列出 Dataplex 通用目錄適用的配額

Google Cloud 會使用配額來確保公平性,並減少資源使用量和可用性的尖峰情形。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量。配額適用於多種資源類型,包括硬體、軟體和網路元件。舉例來說,配額可以限制向服務發出的 API 呼叫數、專案並行使用的負載平衡器數量,或可建立的專案數量。限制配額可預防服務超載,進而保障Google Cloud 使用者社群的權益。配額也能協助您管理自己的 Google Cloud 資源。

Cloud 配額系統會執行以下作業:

在大多數情況下,如果您嘗試使用的資源超過配額限制,系統會封鎖對該資源的存取權,而您要執行的任務也會失敗。

配額通常會套用至 Google Cloud 專案層級。您在一個專案中使用資源,不會影響其他專案的可用配額。在 Google Cloud 專案中,所有應用程式和 IP 位址都會共用配額。

Dataplex 通用目錄資源也有系統限制。系統限制無法變更。

Dataplex Universal Catalog 會對特定時間範圍內的 API 要求數量,以及專案中可建立的資源數量,強制執行配額。配額可保護您不受用量意外暴增和服務超載的影響。進一步瞭解為何強制執行配額

使用 Dataplex 通用目錄的次數越多,可能就需要更多配額。如果配額太低,不敷使用,或是您預期用量將增加,可以主動申請提高配額

Dataplex API 要求配額

無論來源為何,Dataplex API 都會針對 Dataplex Universal Catalog 資源管理和搜尋要求,在不同層級實施配額限制。這包括直接來自 API 呼叫、用戶端程式庫、Google Cloud CLI 和 Google Cloud 控制台的要求。

Dataplex 通用目錄要求適用下列配額規定:

配額 預設
每個區域每分鐘的每個專案項目和面向項目讀取要求 6000
每個區域每分鐘的項目和項目層面寫入要求數 1500
每位使用者每分鐘對每個專案的切面類型、項目類型和項目群組的讀取要求數 100
每個專案每分鐘的切面類型、項目類型和項目群組讀取要求數 200
每位使用者每分鐘對每個專案的切面類型、項目類型和項目群組的寫入要求數 10
每分鐘每個專案的切面類型、項目類型和項目群組寫入要求數 20
每位使用者每分鐘的搜尋請求數 (每個專案) 900
每項專案每分鐘的搜尋要求數 1200
每分鐘每個機構的搜尋要求數 2400
每個機構組織每日搜尋要求數 345600
每個地區每個專案每分鐘的中繼資料工作讀取要求 400
每分鐘每個使用者、每個地區、每個專案的中繼資料工作讀取要求 200
每個專案每個區域每分鐘的中繼資料工作寫入要求數 20
每個使用者、每個專案、每個地區,每分鐘的中繼資料工作寫入要求數 10
每個機構每天透過中繼資料匯出工作匯出的中繼資料數量 10 GB

每個機構每天透過中繼資料匯出工作掃描匯出的中繼資料數量

這個配額會評估機構、專案或項目群組中,中繼資料匯出工作範圍內的中繼資料總量。

100 GB

對於下表列出的每項 Dataplex 通用目錄要求,系統會在每個專案和每個專案的每位使用者層級強制執行配額。

配額 範例
資源管理的讀取要求 取得湖泊,列出可用區
資源管理寫入要求 建立湖泊、刪除資產
取得中繼資料要求 取得實體、取得區隔
列出中繼資料要求 列出實體、列出區隔
寫入中繼資料要求 更新實體、刪除分區
讀取工作和工作資源的要求 取得工作、列出工作
工作和工作資源的寫入要求 建立工作、取消工作
設定 IAM 政策要求 設定 IAM 政策

Data Lineage API 要求的配額

Data Lineage API 會對下列項目強制執行配額:

  • 只傳回資料的讀取要求
  • 建立或變更資料的寫入要求
  • 建立開啟歷程

資料系譜要求適用下列配額規定:

配額 預設值
每個使用者每個地區每分鐘的讀取要求數 1000
每個使用者、每個專案、每個地區的每分鐘寫入要求數 6000
每個區域每個使用者每分鐘的開放世系要求數 (每個專案) 3000

資源配額

資源配額會在每個專案層級強制執行,適用於下列資源類型:資料湖、區域、資產、隨選工作、週期性工作。您可以在 Google Cloud 控制台的「配額」頁面上,查看目前 Dataplex 通用目錄配額的用量。

申請提高配額

  1. 在 Google Cloud 控制台中,前往「Quotas」(配額) 頁面。

    前往配額頁面

  2. 選取要修改的配額。

  3. 依序按一下「更多動作」圖示 >「編輯配額」

  4. 輸入新的配額值和要求說明。

  5. 點按「Next」

  6. 輸入聯絡詳細資料。

  7. 按一下 [提交要求]

如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。

配額依附元件

您使用 Dataplex 通用目錄時,可能會涉及其他 Google Cloud 產品。舉例來說,資料探索功能需要叫用 Cloud Storage 和/或 BigQuery API,才能與底層資源互動。這些產品都有專案層級配額,其中也包括適用於 Dataplex 通用目錄使用情況的配額。

您可能會與 Dataplex 通用目錄搭配使用的其他產品配額頁面:

請注意,這份清單僅列出部分示例。

限制

以下限制適用於 Dataplex Universal Catalog:

限制
項目和層面的請求大小 (包括結構定義層面) 2 MB
項目 ID 長度 4,000 個字元
項目中完整名稱的長度 4,000 個字元
項目中的項目來源顯示名稱長度 500 個字元
項目中項目來源說明的長度 2,000 個半形字元
項目中項目來源資源的長度 4,000 個字元
項目中項目來源系統的長度 64 個半形字元
項目中入口流量來源平台的長度 64 個半形字元
項目中輸入來源標籤的長度 每個鍵和值的字元上限為 128 個
層面中 JSON 內容的大小 (結構定義層面除外) 120 KB
項目的總大小 5 MB
項目中的面向數量上限 10,000
項目類型、面向類型和項目群組的顯示名稱長度 256
項目類型、切面類型和項目群組說明的長度 1024
切面類型範本中的欄位名稱長度 63
項目類型中必要切面類型的數量上限 20
面向切入類型範本中的列舉值數量上限 1024
Dataplex 通用目錄搜尋結果中的項目數量上限 500