配額與限制

本文列出 Bigtable 適用的配額和系統限制。

  • 配額會指定您可使用的可計數共用資源數量。配額是由 Bigtable 等 Google Cloud 服務定義。
  • 系統限制是無法變更的固定值。

Google Cloud 會使用配額來確保公平性,並減少資源使用量和可用性暴增的情況。配額會限制專案可使用的Google Cloud 資源 Google Cloud 數量。配額適用於各種資源類型,包括硬體、軟體和網路元件。舉例來說,配額可以限制對服務發出的 API 呼叫數、專案並行使用的負載平衡器數量,或是可建立的專案數量。配額可以預防服務過載,進而保障Google Cloud 使用者社群的權益。配額也能協助您管理自己的 Google Cloud 資源。

Cloud Quotas 系統會執行下列操作:

在大多數情況下,如果您嘗試使用的資源超過配額,系統會封鎖資源存取權,導致您嘗試執行的工作失敗。

配額通常是在 Google Cloud 專案 層級套用。在一個專案中使用資源,不會影響另一個專案的可用配額。在 Google Cloud 專案中,所有應用程式和 IP 位址會共用配額。

如要調整大部分配額,請使用 Google Cloud 控制台。 詳情請參閱「要求調整配額」。

Bigtable 資源也有系統限制。 系統限制無法變更。

配額

本節說明適用於所有 Bigtable 資源的預設用量配額。

管理作業配額

下列配額會影響您在一段時間內可以執行的 Bigtable 管理作業次數 (呼叫管理 API)。

一般來說,您無法要求提高管理員作業配額,除非另有說明。如果提供充分理由,有時可獲得例外情況。不過,應用程式對管理 API 的呼叫次數不應隨著用量增加。如果發生這種情況,通常表示應用程式碼對管理 API 進行不必要的呼叫,因此您應變更應用程式,而不是要求增加管理作業配額。

系統會在太平洋時間凌晨 12 點重設每日配額。

名稱 說明 預設配額
執行個體和叢集
執行個體和叢集讀取要求 讀取執行個體或叢集的設定 (例如執行個體名稱或叢集中的節點數量),或是讀取執行個體清單

每項專案每日 864,000 次操作 (平均每秒 10 次操作)

每位使用者每分鐘 1,000 次作業

執行個體和叢集寫入要求 變更執行個體或叢集的設定 (例如執行個體名稱或叢集中的節點數量),或是建立新的執行個體

每項專案每日 500 次操作

每位使用者每分鐘:100 次作業

應用程式設定檔
應用程式設定檔讀取要求 讀取應用程式設定檔的設定

每項專案每分鐘 5,000 次操作

每位使用者每分鐘 1,000 次作業

應用程式設定檔寫入要求 變更應用程式設定檔的設定

每項專案每分鐘 500 次操作

每位使用者每分鐘:100 次作業

Tables
資料表管理讀取要求 讀取資料表的設定 (例如資料表的資料欄系列詳細資料),或是讀取資料表清單

每項專案每日 864,000 次操作 (平均每秒 10 次操作)

每位使用者每分鐘 1,000 次作業

資料表管理寫入要求 變更資料表的設定 (例如資料欄系列的垃圾收集設定)

每項專案每日 5,000 次操作

每位使用者每分鐘:100 次作業

DropRowRange 方法 在單次作業中刪除資料表內特定範圍的資料列。

每項專案每日 5,000 次操作

每位使用者每分鐘:100 次作業

備份
備份作業 建立、更新及刪除備份。

每項專案每日 1,000 次操作

每位使用者每分鐘:10 次作業1

備份擷取要求 取得及列出備份。

每項專案每日 864,000 次操作

RestoreTable 方法 將備份復原到新資料表。

每項專案每日 5,000 次操作

每位使用者每分鐘:100 次作業

Identity and Access Management
精細的 ACL 取得要求 讀取特定 Bigtable 執行個體的 IAM 政策相關資訊,或是測試某個執行個體的 IAM 權限。

每項專案每日 864,000 次操作 (平均每秒 10 次操作)

每位使用者每分鐘 1,000 次作業

精細的 ACL 設定要求 變更 Bigtable 執行個體的 IAM 政策。

每項專案每日 864,000 次操作 (平均每秒 10 次操作)

每位使用者每分鐘 1,000 次作業

  1. 符合提高配額限制的資格。

節點配額

Google Cloud 專案包含 Bigtable 執行個體,這些執行個體是叢集的容器。叢集代表了在單一區域中實際運作的 Bigtable 服務,且內含節點,也就是讓 Bigtable 能夠管理資料的運算資源。

每個專案在各個區域中,每個可用區可佈建的節點預設數量有所不同。在專案中,您最多可以在一個區域內佈建預設數量的 HDD 節點和預設數量的 SSD 節點。

預設節點配額如下:

區域 SSD HDD
asia-east1 100 100
europe-west1 200 200
us-central1 200 200
us-east1 50 50
us-east4 50 50
us-west1 100 100
所有其他 Bigtable 位置 30 30

如果您為叢集啟用自動調度資源功能,即使叢集未擴充至該節點數量,設定的節點數量上限仍會計入這項限制。如果您要佈建的節點數超出預設限制,可以申請提高上限

配額和節點可用性

節點配額是指每個專案在每個可用區中可佈建的節點數量上限。配額無法保證您隨時都能在叢集中新增節點。如果某個區域的節點用盡,即使專案仍有配額,您也可能無法在該區域的叢集中新增節點。

舉例來說,如果您嘗試將 10 個 SSD 節點新增至已含有 20 個節點的叢集,但該區域的節點已用盡,即使該區域的 SSD 節點配額為 30 個,您也無法新增這 10 個節點。

在這種情況下,我們會嘗試增加區域的節點資源,並在這些資源可用後授予您的要求,但不保證時間和完成情況。

系統保證您佈建的節點隨時可用。

Data Boost 配額

下列伺服器處理單元 (SPU) 配額適用於每個專案和區域。

區域 SPU
asia-east1 100,000
europe-west1 200,000
us-central1 200,000
us-east1 100,000
us-east4 100,000
us-west1 100,000
所有其他 Bigtable 位置 30,000

如要進一步瞭解 Data Boost,請參閱 Data Boost 總覽

查看配額資訊

如要查看 Google Cloud 專案中每個區域含有的 SSD 和 HDD 節點數,請使用 Google Cloud console。在左側導覽窗格中,將游標移至「IAM 與管理」,然後按一下「配額」。接著,在「服務」下拉式選單中選取 Bigtable Admin API 服務。

頁面中會顯示多個資料列,當中含有每個服務、節點類型和位置組合的配額。請找到副標題為「SSD nodes per zone」「HDD nodes per zone」的資料列。「限制」資料欄會顯示該節點類型和位置的可用節點數上限,「目前使用量」資料欄則會顯示現有節點數量。這兩個數值之間的差額即為您可以自由新增的節點數量,不必申請提高配額。

申請提高節點配額

為確保要求能及時獲得核准,請提早規劃並在需要額外資源的幾天前提出申請。我們不保證一定會核准您提出的節點配額增加要求。詳情請參閱「使用配額」。

在您要申請提高節點配額的執行個體所屬的專案中,您必須至少擁有編輯者層級的權限

申請提高節點配額不會產生任何費用。除非您使用了更多資源,否則費用不會增加。

  1. 前往「配額」頁面。

    前往配額頁面

  2. 「配額」頁面中,選擇您要變更的配額項目。
  3. 按一下頁面頂端的 [編輯配額] 按鈕。
  4. 在右側面板中輸入您的姓名、電子郵件地址和電話號碼,然後按一下 [下一步]
  5. 輸入您要申請的配額上限,然後按一下 [下一步]
  6. 提交要求。

限制

本節說明 Bigtable 的使用限制。這些限制已內建在服務中,無法變更。

每個執行個體的應用程式設定檔數

每個執行個體最多可以有 2,000 個應用程式設定檔

授權檢視表

  • 每個 Bigtable 執行個體的授權檢視表:最多 10,000 個
  • 每個授權檢視畫面最多可有 10 個資料欄限定詞前置字串

備份

  • 可建立的標準備份數量上限:每個叢集每個資料表最多 150 個
  • 可建立的熱備份數量上限:每個叢集每個資料表最多 10 個
  • 備份最短保留期限:初始建立時間後的 6 小時內
  • 備份保留期限上限:初始建立日期後的 90 天內

Data Boost

Data Boost 應用程式設定檔每秒最多只能傳送 1,000 個讀取要求。

資料表中的資料大小

建議限值

設計結構定義,將資料大小維持在下列建議限制以下。

  • 每個資料表的資料欄系列:100 個
  • 單一資料欄限定詞:16 KB
  • 資料表儲存格中的單一值:10 MB
  • 單一資料列中的所有值:100 MB

硬性限制

另外,您也「必須」確保資料不會超過下列固定限制:

  • 單一資料列索引鍵:4 KB
  • 資料表儲存格中的單一值:100 MB
  • 單一資料列中的所有值:256 MB
  • 單一突變:200 MB

這些大小限制是以二進位 KB 和二進位 MB 表示。1 KB 為 210 個位元組,1 MB 為 220 個位元組。這兩種計算單位又稱為 KiBMiB

作業限制

如果您是以單一批次傳送多個異動事件至 Bigtable,則適用下列限制:

  • 呼叫 CheckAndMutate 的條件式異動批次最多可包含 10 萬個 true 異動 10 萬個 false 異動。

  • 在其他所有類型的異動批次中,批次中的異動數量不得超過 10 萬個。

每個執行個體的區域數

Bigtable 執行個體最多可有 8 個叢集,且這些叢集必須位於 Bigtable 服務可用的區域。您可以在區域的每個可用區中建立一個叢集。如需可用區域的清單,請參閱 Bigtable 位置

資料列篩選器

資料列篩選器的大小不得超過 20 KB。如果收到錯誤訊息,請重新設計篩選器或縮短篩選器的長度。

每節點的儲存空間

如果以叢集當前的工作負載和其中儲存的資料量而言,叢集中的節點數量不足,Bigtable 就無法取得足夠的 CPU 資源來管理與該叢集相關的所有子表。這時 Bigtable 也無法在背景執行必要的維護工作。因此,叢集可能無法處理傳入要求,延遲情況也會加重。 詳情請參閱「儲存空間用量與效能之間的取捨」。

為避免發生這些問題,請監控叢集的儲存空間使用率,確保叢集有足夠的節點能夠處理叢集中的所有資料。請使用以下限制來計算所需的節點數量:

  • SSD 叢集:每個節點 5 TB
  • HDD 叢集:每個節點 16 TB

這些值是以二進位 TB 表示,1 TB 為 240 個位元組。這種計算單位又稱為 TiB

最佳做法是為叢集新增足夠的節點,將使用率維持在上限的 70%,這樣就能因應忽然升高的儲存空間使用情況。舉例來說,假設您在使用 SSD 儲存空間的叢集中儲存 50 TB 資料,您即應佈建至少 15 個節點,這樣的設定可處理高達 75 TB 的資料。如果您預計不會新增大量資料至叢集中,那麼超過這個建議值也無妨,您甚至可以讓儲存的資料量達到上限的 100%。

每個執行個體的資料表數

在每個執行個體中,Bigtable 最多可支援 1,000 個資料表。具體化檢視表會計入資料表數量。

ID 長度限制

以下是 Bigtable 支援的 ID 長度下限和上限 (字元數)。

  • 應用程式設定檔:1 至 50
  • 授權檢視表:1 到 50
  • 備用:1-50
  • 叢集:6-30
  • 資料欄系列:1 到 64
  • 執行個體:6-33
  • 表格:1-50
  • 查看:1-128

每個執行個體的邏輯檢視畫面

在每個執行個體中,Bigtable 最多可支援 1,000 個邏輯檢視區塊。

使用政策

使用本服務時,您必須遵守《服務條款》和 Google 的《隱私權政策》。