更新 Dataproc Metastore 服務

本頁說明如何更新 Dataproc Metastore 服務。

您可以更新 Dataproc Metastore 服務，變更設定或啟用/停用選用功能。

事前準備

必要的角色

如要取得更新 Dataproc Metastore 服務所需的權限，請要求管理員根據最低權限原則，授予您專案的下列 IAM 角色：

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這個預先定義角色包含 metastore.services.update權限，這是更新 Dataproc Metastore 服務的必要權限。

您或許還可透過自訂角色或其他預先定義的角色取得這項權限。

如要進一步瞭解特定 Dataproc Metastore 角色和權限，請參閱 Dataproc Metastore 身分與存取權管理總覽。

更新服務簡介

您可以更新下列 Dataproc Metastore 參數。

  • 通訊埠編號。更新 Apache Thrift 介面的 TCP 通訊埠編號。
  • 服務層級。在「開發人員」或「企業」服務層級之間切換。這些層級會影響服務容量。
  • Data Catalog 同步處理。開啟或關閉資料目錄同步功能。
  • 維護期間。變更維護期間的頻率，包括星期幾和一天中的哪個小時。
  • Kerberos。啟用或停用 Kerberos 驗證。如果先前已啟用，您可以更新 Kerberos 設定檔。
  • Hive 中繼存放區設定。更新 Hive 倉庫目錄的位置。
  • 輔助版本設定 (預覽)。啟用、停用或新增其他輔助版本。
  • 標籤。新增或移除描述中繼資料的選用標籤。
  • 縮放比例係數。變更縮放比例係數。您可以啟用或停用自動調度資源功能，並更新調度資源的下限或上限。

更新服務

執行更新前，請注意下列事項：

  • 一次只能執行一項更新作業 (針對每項 Dataproc Metastore 服務)。
  • 您可以在單一更新工作中更新多個參數。
  • 更新期間，您仍可使用 Dataproc Metastore。

更新成功後，Dataproc Metastore 會自動進入「有效」狀態。如果更新失敗，Dataproc Metastore 服務會回復到先前的正常狀態。

以下說明如何更新 Dataproc Metastore 服務。

控制台

  1. 在 Google Cloud 控制台中，開啟「Dataproc Metastore」頁面：

    開啟 Dataproc Metastore

  2. 在「Dataproc Metastore」頁面中，按一下要更新的服務名稱。

    「服務詳細資料」頁面隨即開啟。

    服務詳細資料頁面
    Dataproc Metastore 服務詳細資料頁面

  3. 在「Configuration」分頁中，按一下「Edit」。

    「編輯服務」頁面隨即開啟。

  4. 選擇要更新的服務值。

  5. 按一下「提交」。

    返回「Dataproc Metastore」頁面，確認服務已成功更新。

gcloud CLI

  1. 如要更新服務，請執行下列 gcloud metastore services update 指令：

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    更改下列內容：

    • SERVICE：Dataproc Metastore 服務的名稱。
    • LOCATION：Dataproc Metastore 服務所在的 Google Cloud 區域。
    • PORT：選用：您搭配 Dataproc Metastore 服務使用的 Thrift 介面 TCP 連接埠。
    • TIER：選用：Dataproc Metastore 服務的層級容量。
    • MAINTENANCE_WINDOW_DAY：選用：服務時段開始的星期幾。
    • MAINTENANCE_WINDOW_HOUR：選用：服務時段開始的小時。
    • KERBEROS_PRINCIPAL：選用：同時存在於 Keytab 和 KDC 中的 Kerberos 主體。典型主體會採用「primary/instance@REALM」的格式，但並非確切格式要求。
    • KEYTAB：選用：用於向 Kerberos 金鑰分配中心驗證服務主體的 Kerberos keytab 檔案。
    • KRB5_CONFIG：選用。krb5.config 檔案會指定 KDC 和 Kerberos 領域資訊，包括 KDC 的位置，以及領域和 Kerberos 應用程式的預設值。
    • [KEY, ...]：選用：您要更新的 Hive 中繼存放區設定。如果這個欄位中有變數，系統會更新變數值。否則系統會建立新變數。 如果設定這個旗標，系統也會自動設定 -clear-hive-metastore-configs。
    • [KEY, ...]：選用：要移除的 Hive Metastore 設定。
    • [KEY=VALUE, ...]：選用：要更新的標籤或 Hive Metastore 鍵/值組合設定。
    • [KEY, ...]：選用：要移除的標籤或 Hive Metastore 鍵/值組合設定。

  2. 確認更新是否成功。

REST

按照 API 指示，使用 API Explorer 更新服務。

更新 Hive Metastore 倉庫設定

如果 Hive 倉庫目錄位於 Cloud Storage，您應設定 Metastore 設定覆寫。這項覆寫作業會將特定資料倉儲設為 Dataproc Metastore 的預設倉儲目錄

設定這項覆寫前，請確認 Dataproc Metastore 服務具備物件讀取和寫入權限，可存取倉庫目錄。詳情請參閱「Hive 倉庫目錄」。

以下說明如何更新 Hive Metastore 設定覆寫。

控制台

  1. 在 Google Cloud 控制台中，開啟 Dataproc Metastore 頁面：

    開啟 Dataproc Metastore

  2. 在「Dataproc Metastore」頁面中，按一下要更新的服務名稱。

    「服務詳細資料」頁面隨即開啟。

  3. 在「Configuration」分頁中，按一下「Edit」。

    「編輯服務」頁面隨即開啟。

  4. 在「中繼儲存庫設定覆寫」中，輸入下列內容：

    • 金鑰：輸入下列值：hive.metastore.warehouse.dir。
    • 值：倉庫目錄的 Cloud Storage 位置。例如：gs://my-bucket/path/to/location。

  5. 按一下「提交」。

    返回「Dataproc Metastore」頁面，確認服務已成功更新。

gcloud

  1. 如要更新服務，請執行下列 gcloud metastore services update 指令：

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    更改下列內容：

    • SERVICE：Dataproc Metastore 服務的名稱。
    • LOCATION：Dataproc Metastore 服務所在的 Google Cloud 區域。
    • CUSTOMER_DIR：倉庫目錄的 Cloud Storage 位置。 例如：gs://my-bucket/path/to/location

  2. 確認更新是否成功。

後續步驟