本文列出 Dataplex 通用目錄適用的配額。
Google Cloud 會使用配額來確保公平性,並減少資源使用量和可用性的尖峰情形。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量。配額適用於多種資源類型,包括硬體、軟體和網路元件。舉例來說,配額可以限制向服務發出的 API 呼叫數、專案並行使用的負載平衡器數量,或可建立的專案數量。限制配額可預防服務超載,進而保障Google Cloud 使用者社群的權益。配額也能協助您管理自己的 Google Cloud 資源。
Cloud 配額系統會執行以下作業:
在大多數情況下,如果您嘗試使用的資源超過配額限制,系統會封鎖對該資源的存取權,而您要執行的任務也會失敗。
配額通常會套用至 Google Cloud 專案層級。您在一個專案中使用資源,不會影響其他專案的可用配額。在 Google Cloud 專案中,所有應用程式和 IP 位址都會共用配額。
Dataplex 通用目錄資源也有系統限制。系統限制無法變更。
Dataplex Universal Catalog 會對特定時間範圍內的 API 要求數量,以及專案中可建立的資源數量,強制執行配額。配額可保護您不受用量意外暴增和服務超載的影響。進一步瞭解為何強制執行配額。
使用 Dataplex 通用目錄的次數越多,可能就需要更多配額。如果配額太低,不敷使用,或是您預期用量將增加,可以主動申請提高配額。
Dataplex API 要求配額
無論來源為何,Dataplex API 都會針對 Dataplex Universal Catalog 資源管理和搜尋要求,在不同層級實施配額限制。這包括直接來自 API 呼叫、用戶端程式庫、Google Cloud CLI 和 Google Cloud 控制台的要求。
Dataplex 通用目錄要求適用下列配額規定:
配額 | 預設 |
---|---|
每個區域每分鐘的每個專案項目和面向項目讀取要求 | 6000 |
每個區域每分鐘的項目和項目層面寫入要求數 | 1500 |
每位使用者每分鐘對每個專案的切面類型、項目類型和項目群組的讀取要求數 | 100 |
每個專案每分鐘的切面類型、項目類型和項目群組讀取要求數 | 200 |
每位使用者每分鐘對每個專案的切面類型、項目類型和項目群組的寫入要求數 | 10 |
每分鐘每個專案的切面類型、項目類型和項目群組寫入要求數 | 20 |
每位使用者每分鐘的搜尋請求數 (每個專案) | 900 |
每項專案每分鐘的搜尋要求數 | 1200 |
每分鐘每個機構的搜尋要求數 | 2400 |
每個機構組織每日搜尋要求數 | 345600 |
每個地區每個專案每分鐘的中繼資料工作讀取要求 | 400 |
每分鐘每個使用者、每個地區、每個專案的中繼資料工作讀取要求 | 200 |
每個專案每個區域每分鐘的中繼資料工作寫入要求數 | 20 |
每個使用者、每個專案、每個地區,每分鐘的中繼資料工作寫入要求數 | 10 |
每個機構每天透過中繼資料匯出工作匯出的中繼資料數量 | 10 GB |
每個機構每天透過中繼資料匯出工作掃描匯出的中繼資料數量 這個配額會評估機構、專案或項目群組中,中繼資料匯出工作範圍內的中繼資料總量。 |
100 GB |
對於下表列出的每項 Dataplex 通用目錄要求,系統會在每個專案和每個專案的每位使用者層級強制執行配額。
配額 | 範例 |
---|---|
資源管理的讀取要求 | 取得湖泊,列出可用區 |
資源管理寫入要求 | 建立湖泊、刪除資產 |
取得中繼資料要求 | 取得實體、取得區隔 |
列出中繼資料要求 | 列出實體、列出區隔 |
寫入中繼資料要求 | 更新實體、刪除分區 |
讀取工作和工作資源的要求 | 取得工作、列出工作 |
工作和工作資源的寫入要求 | 建立工作、取消工作 |
設定 IAM 政策要求 | 設定 IAM 政策 |
Data Lineage API 要求的配額
Data Lineage API 會對下列項目強制執行配額:
- 只傳回資料的讀取要求
- 建立或變更資料的寫入要求
- 建立開啟歷程
資料系譜要求適用下列配額規定:
配額 | 預設值 |
---|---|
每個使用者每個地區每分鐘的讀取要求數 | 1000 |
每個使用者、每個專案、每個地區的每分鐘寫入要求數 | 6000 |
每個區域每個使用者每分鐘的開放世系要求數 (每個專案) | 3000 |
資源配額
資源配額會在每個專案層級強制執行,適用於下列資源類型:資料湖、區域、資產、隨選工作、週期性工作。您可以在 Google Cloud 控制台的「配額」頁面上,查看目前 Dataplex 通用目錄配額的用量。
申請提高配額
在 Google Cloud 控制台中,前往「Quotas」(配額) 頁面。
選取要修改的配額。
依序按一下「更多動作」圖示
>「編輯配額」。輸入新的配額值和要求說明。
點按「Next」。
輸入聯絡詳細資料。
按一下 [提交要求]。
如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。
配額依附元件
您使用 Dataplex 通用目錄時,可能會涉及其他 Google Cloud 產品。舉例來說,資料探索功能需要叫用 Cloud Storage 和/或 BigQuery API,才能與底層資源互動。這些產品都有專案層級配額,其中也包括適用於 Dataplex 通用目錄使用情況的配額。
您可能會與 Dataplex 通用目錄搭配使用的其他產品配額頁面:
請注意,這份清單僅列出部分示例。
限制
以下限制適用於 Dataplex Universal Catalog:
限制 | 值 |
---|---|
項目和層面的請求大小 (包括結構定義層面) | 2 MB |
項目 ID 長度 | 4,000 個字元 |
項目中完整名稱的長度 | 4,000 個字元 |
項目中的項目來源顯示名稱長度 | 500 個字元 |
項目中項目來源說明的長度 | 2,000 個半形字元 |
項目中項目來源資源的長度 | 4,000 個字元 |
項目中項目來源系統的長度 | 64 個半形字元 |
項目中入口流量來源平台的長度 | 64 個半形字元 |
項目中輸入來源標籤的長度 | 每個鍵和值的字元上限為 128 個 |
層面中 JSON 內容的大小 (結構定義層面除外) | 120 KB |
項目的總大小 | 5 MB |
項目中的面向數量上限 | 10,000 |
項目類型、面向類型和項目群組的顯示名稱長度 | 256 |
項目類型、切面類型和項目群組說明的長度 | 1024 |
切面類型範本中的欄位名稱長度 | 63 |
項目類型中必要切面類型的數量上限 | 20 |
面向切入類型範本中的列舉值數量上限 | 1024 |
Dataplex 通用目錄搜尋結果中的項目數量上限 | 500 |