配額與限制
本文列出 Bigtable 適用的配額和系統限制。
- 配額會指定您可使用的可計數共用資源數量。配額是由 Bigtable 等 Google Cloud 服務定義。
- 系統限制是無法變更的固定值。
Google Cloud 會使用配額來確保公平性,並減少資源使用量和可用性暴增的情況。配額會限制專案可使用的Google Cloud 資源 Google Cloud 數量。配額適用於各種資源類型,包括硬體、軟體和網路元件。舉例來說,配額可以限制對服務發出的 API 呼叫數、專案並行使用的負載平衡器數量,或是可建立的專案數量。配額可以預防服務過載,進而保障Google Cloud 使用者社群的權益。配額也能協助您管理自己的 Google Cloud 資源。
Cloud Quotas 系統會執行下列操作:
在大多數情況下,如果您嘗試使用的資源超過配額,系統會封鎖資源存取權,導致您嘗試執行的工作失敗。
配額通常是在 Google Cloud 專案 層級套用。在一個專案中使用資源,不會影響另一個專案的可用配額。在 Google Cloud 專案中,所有應用程式和 IP 位址會共用配額。
如要調整大部分配額,請使用 Google Cloud 控制台。 詳情請參閱「要求調整配額」。
Bigtable 資源也有系統限制。 系統限制無法變更。
配額
本節說明適用於所有 Bigtable 資源的預設用量配額。
管理作業配額
下列配額會影響您在一段時間內可以執行的 Bigtable 管理作業次數 (呼叫管理 API)。
一般來說,您無法要求提高管理員作業配額,除非另有說明。如果提供充分理由,有時可獲得例外情況。不過,應用程式對管理 API 的呼叫次數不應隨著用量增加。如果發生這種情況,通常表示應用程式碼對管理 API 進行不必要的呼叫,因此您應變更應用程式,而不是要求增加管理作業配額。
系統會在太平洋時間凌晨 12 點重設每日配額。
名稱 | 說明 | 預設配額 |
---|---|---|
執行個體和叢集 | ||
執行個體和叢集讀取要求 | 讀取執行個體或叢集的設定 (例如執行個體名稱或叢集中的節點數量),或是讀取執行個體清單 |
每項專案每日 864,000 次操作 (平均每秒 10 次操作) 每位使用者每分鐘 1,000 次作業 |
執行個體和叢集寫入要求 | 變更執行個體或叢集的設定 (例如執行個體名稱或叢集中的節點數量),或是建立新的執行個體 |
每項專案每日 500 次操作 每位使用者每分鐘:100 次作業 |
應用程式設定檔 | ||
應用程式設定檔讀取要求 | 讀取應用程式設定檔的設定 |
每項專案每分鐘 5,000 次操作 每位使用者每分鐘 1,000 次作業 |
應用程式設定檔寫入要求 | 變更應用程式設定檔的設定 |
每項專案每分鐘 500 次操作 每位使用者每分鐘:100 次作業 |
Tables | ||
資料表管理讀取要求 | 讀取資料表的設定 (例如資料表的資料欄系列詳細資料),或是讀取資料表清單 |
每項專案每日 864,000 次操作 (平均每秒 10 次操作) 每位使用者每分鐘 1,000 次作業 |
資料表管理寫入要求 | 變更資料表的設定 (例如資料欄系列的垃圾收集設定) |
每項專案每日 5,000 次操作 每位使用者每分鐘:100 次作業 |
DropRowRange 方法 |
在單次作業中刪除資料表內特定範圍的資料列。 |
每項專案每日 5,000 次操作 每位使用者每分鐘:100 次作業 |
備份 | ||
備份作業 | 建立、更新及刪除備份。 |
每項專案每日 1,000 次操作 每位使用者每分鐘:10 次作業1 |
備份擷取要求 | 取得及列出備份。 |
每項專案每日 864,000 次操作 |
RestoreTable 方法 |
將備份復原到新資料表。 |
每項專案每日 5,000 次操作 每位使用者每分鐘:100 次作業 |
Identity and Access Management | ||
精細的 ACL 取得要求 | 讀取特定 Bigtable 執行個體的 IAM 政策相關資訊,或是測試某個執行個體的 IAM 權限。 |
每項專案每日 864,000 次操作 (平均每秒 10 次操作) 每位使用者每分鐘 1,000 次作業 |
精細的 ACL 設定要求 | 變更 Bigtable 執行個體的 IAM 政策。 |
每項專案每日 864,000 次操作 (平均每秒 10 次操作) 每位使用者每分鐘 1,000 次作業 |
|
節點配額
Google Cloud 專案包含 Bigtable 執行個體,這些執行個體是叢集的容器。叢集代表了在單一區域中實際運作的 Bigtable 服務,且內含節點,也就是讓 Bigtable 能夠管理資料的運算資源。
每個專案在各個區域中,每個可用區可佈建的節點預設數量有所不同。在專案中,您最多可以在一個區域內佈建預設數量的 HDD 節點和預設數量的 SSD 節點。
預設節點配額如下:
區域 | SSD | HDD |
---|---|---|
asia-east1 | 100 | 100 |
europe-west1 | 200 | 200 |
us-central1 | 200 | 200 |
us-east1 | 50 | 50 |
us-east4 | 50 | 50 |
us-west1 | 100 | 100 |
所有其他 Bigtable 位置 | 30 | 30 |
如果您為叢集啟用自動調度資源功能,即使叢集未擴充至該節點數量,設定的節點數量上限仍會計入這項限制。如果您要佈建的節點數超出預設限制,可以申請提高上限。
配額和節點可用性
節點配額是指每個專案在每個可用區中可佈建的節點數量上限。配額無法保證您隨時都能在叢集中新增節點。如果某個區域的節點用盡,即使專案仍有配額,您也可能無法在該區域的叢集中新增節點。
舉例來說,如果您嘗試將 10 個 SSD 節點新增至已含有 20 個節點的叢集,但該區域的節點已用盡,即使該區域的 SSD 節點配額為 30 個,您也無法新增這 10 個節點。
在這種情況下,我們會嘗試增加區域的節點資源,並在這些資源可用後授予您的要求,但不保證時間和完成情況。
系統保證您佈建的節點隨時可用。
Data Boost 配額
下列伺服器處理單元 (SPU) 配額適用於每個專案和區域。
區域 | SPU |
---|---|
asia-east1 | 100,000 |
europe-west1 | 200,000 |
us-central1 | 200,000 |
us-east1 | 100,000 |
us-east4 | 100,000 |
us-west1 | 100,000 |
所有其他 Bigtable 位置 | 30,000 |
如要進一步瞭解 Data Boost,請參閱 Data Boost 總覽。
查看配額資訊
如要查看 Google Cloud 專案中每個區域含有的 SSD 和 HDD 節點數,請使用 Google Cloud console。在左側導覽窗格中,將游標移至「IAM 與管理」,然後按一下「配額」。接著,在「服務」下拉式選單中選取 Bigtable Admin API 服務。
頁面中會顯示多個資料列,當中含有每個服務、節點類型和位置組合的配額。請找到副標題為「SSD nodes per zone」或「HDD nodes per zone」的資料列。「限制」資料欄會顯示該節點類型和位置的可用節點數上限,「目前使用量」資料欄則會顯示現有節點數量。這兩個數值之間的差額即為您可以自由新增的節點數量,不必申請提高配額。
申請提高節點配額
為確保要求能及時獲得核准,請提早規劃並在需要額外資源的幾天前提出申請。我們不保證一定會核准您提出的節點配額增加要求。詳情請參閱「使用配額」。
在您要申請提高節點配額的執行個體所屬的專案中,您必須至少擁有編輯者層級的權限。
申請提高節點配額不會產生任何費用。除非您使用了更多資源,否則費用不會增加。
- 前往「配額」頁面。
- 在「配額」頁面中,選擇您要變更的配額項目。
- 按一下頁面頂端的 [編輯配額] 按鈕。
- 在右側面板中輸入您的姓名、電子郵件地址和電話號碼,然後按一下 [下一步]。
- 輸入您要申請的配額上限,然後按一下 [下一步]。
- 提交要求。
限制
本節說明 Bigtable 的使用限制。這些限制已內建在服務中,無法變更。
每個執行個體的應用程式設定檔數
每個執行個體最多可以有 2,000 個應用程式設定檔。
授權檢視表
- 每個 Bigtable 執行個體的授權檢視表:最多 10,000 個
- 每個授權檢視畫面最多可有 10 個資料欄限定詞前置字串
備份
- 可建立的標準備份數量上限:每個叢集每個資料表最多 150 個
- 可建立的熱備份數量上限:每個叢集每個資料表最多 10 個
- 備份最短保留期限:初始建立時間後的 6 小時內
- 備份保留期限上限:初始建立日期後的 90 天內
Data Boost
Data Boost 應用程式設定檔每秒最多只能傳送 1,000 個讀取要求。
資料表中的資料大小
建議限值
設計結構定義,將資料大小維持在下列建議限制以下。
- 每個資料表的資料欄系列:100 個
- 單一資料欄限定詞:16 KB
- 資料表儲存格中的單一值:10 MB
- 單一資料列中的所有值:100 MB
硬性限制
另外,您也「必須」確保資料不會超過下列固定限制:
- 單一資料列索引鍵:4 KB
- 資料表儲存格中的單一值:100 MB
- 單一資料列中的所有值:256 MB
- 單一突變:200 MB
這些大小限制是以二進位 KB 和二進位 MB 表示。1 KB 為 210 個位元組,1 MB 為 220 個位元組。這兩種計算單位又稱為 KiB 和 MiB。
作業限制
如果您是以單一批次傳送多個異動事件至 Bigtable,則適用下列限制:
呼叫
CheckAndMutate
的條件式異動批次最多可包含 10 萬個 true 異動和 10 萬個 false 異動。在其他所有類型的異動批次中,批次中的異動數量不得超過 10 萬個。
每個執行個體的區域數
Bigtable 執行個體最多可有 8 個叢集,且這些叢集必須位於 Bigtable 服務可用的區域。您可以在區域的每個可用區中建立一個叢集。如需可用區域的清單,請參閱 Bigtable 位置。
資料列篩選器
資料列篩選器的大小不得超過 20 KB。如果收到錯誤訊息,請重新設計篩選器或縮短篩選器的長度。
每節點的儲存空間
如果以叢集當前的工作負載和其中儲存的資料量而言,叢集中的節點數量不足,Bigtable 就無法取得足夠的 CPU 資源來管理與該叢集相關的所有子表。這時 Bigtable 也無法在背景執行必要的維護工作。因此,叢集可能無法處理傳入要求,延遲情況也會加重。 詳情請參閱「儲存空間用量與效能之間的取捨」。
為避免發生這些問題,請監控叢集的儲存空間使用率,確保叢集有足夠的節點能夠處理叢集中的所有資料。請使用以下限制來計算所需的節點數量:
- SSD 叢集:每個節點 5 TB
- HDD 叢集:每個節點 16 TB
這些值是以二進位 TB 表示,1 TB 為 240 個位元組。這種計算單位又稱為 TiB。
最佳做法是為叢集新增足夠的節點,將使用率維持在上限的 70%,這樣就能因應忽然升高的儲存空間使用情況。舉例來說,假設您在使用 SSD 儲存空間的叢集中儲存 50 TB 資料,您即應佈建至少 15 個節點,這樣的設定可處理高達 75 TB 的資料。如果您預計不會新增大量資料至叢集中,那麼超過這個建議值也無妨,您甚至可以讓儲存的資料量達到上限的 100%。
每個執行個體的資料表數
在每個執行個體中,Bigtable 最多可支援 1,000 個資料表。具體化檢視表會計入資料表數量。
ID 長度限制
以下是 Bigtable 支援的 ID 長度下限和上限 (字元數)。
- 應用程式設定檔:1 至 50
- 授權檢視表:1 到 50
- 備用:1-50
- 叢集:6-30
- 資料欄系列:1 到 64
- 執行個體:6-33
- 表格:1-50
- 查看:1-128
每個執行個體的邏輯檢視畫面
在每個執行個體中,Bigtable 最多可支援 1,000 個邏輯檢視區塊。
使用政策
使用本服務時,您必須遵守《服務條款》和 Google 的《隱私權政策》。