设置多区域 Dataproc Metastore 服务

控制台

1. 在 Google Cloud 控制台中，前往 Dataproc Metastore 页面。

   前往 Dataproc Metastore

2. 在导航栏中，点击 + 创建。

   系统会打开创建 Metastore 服务对话框。

3. 选择 Dataproc Metastore 2。

4. 在价格和容量部分中，选择企业 Plus 版 - 双区域

5. 对于端点协议，请选择 gRPC。

6. 如需创建并启动服务，请点击提交。

   新 Metastore 服务会显示在 Dataproc Metastore 页面上。在服务准备就绪之前，状态会显示为正在创建。 准备就绪后，状态会变为有效。 预配服务可能需要几分钟时间。

gcloud CLI

如需创建 Dataproc Metastore 多区域服务，请运行以下 gcloud metastore services create 命令。此命令会创建 Dataproc Metastore 版本 3.1.2。

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

替换以下内容：

• SERVICE：Dataproc Metastore 服务的名称。
• MULTI_REGION：您要在其中创建 Dataproc Metastore 服务的多区域。
• INSTANCE_SIZE：多区域 Dataproc Metastore 的实例大小。例如 small、medium 或 large。如果您为 INSTANCE_SIZE 指定了值，请勿为 SCALING_FACTOR 指定值。
• SCALING_FACTOR：Dataproc Metastore 服务的扩缩比例。例如 0.1。 如果您为 SCALING_FACTOR 指定了值，请勿为 INSTANCE_SIZE 指定值。

控制台

1. 在 Google Cloud 控制台中，前往 Dataproc Metastore 页面。

   前往 Dataproc Metastore

2. 在导航栏中，点击 + 创建。

   系统会打开创建 Metastore 服务对话框。

3. 选择 Dataproc Metastore 2。

4. 在价格和容量部分中，选择企业 Plus 版 - 双区域。

   如需了解详情，请参阅价格方案和伸缩配置。

5. 在服务名称字段中，为服务输入一个唯一名称。

   如需了解命名惯例，请参阅资源命名惯例。

6. 对于端点协议，请选择 Thrift。

7. 对于网络配置，请提供构成所选多区域配置的子网。

8. 对于其余的服务配置选项，请使用提供的默认值。

9. 如需创建并启动服务，请点击提交。

   新 Metastore 服务会显示在 Dataproc Metastore 页面上。在服务准备就绪之前，状态会显示为正在创建。 准备就绪后，状态会变为有效。 预配服务可能需要几分钟时间。

gcloud CLI

如需创建 Dataproc Metastore 多区域服务，请运行以下 gcloud metastore services create 命令。 此命令会创建 Dataproc Metastore 版本 3.1.2。

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

或者，您也可以将网络设置存储在文件中，如以下命令所示。

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

替换以下内容：

• SERVICE：Dataproc Metastore 服务的名称。
• MULTI_REGION：您要在其中创建 Dataproc Metastore 服务的多区域。
• PROJECT_ID：您要在其中创建 Dataproc Metastore 服务的 Google Cloud 项目 ID。
• SUBNET1、SUBNET2：构成多区域配置的子网列表。您可以使用子网的 ID、完全限定的网址或相对名称。您最多可以指定 6 个子网。
• LOCATION1、LOCATION2：构成多区域配置的位置列表。 您可以使用相应地点的 ID。例如，对于 nam7 多区域，您可以使用 us-central1 和 us-east4。
• NETWORK_CONFIG_FROM_FILE：包含网络配置的 YAML 文件的路径。
• INSTANCE_SIZE：多区域 Dataproc Metastore 的实例大小。例如 small、medium 或 large。如果您为 INSTANCE_SIZE 指定了值，请勿为 SCALING_FACTOR 指定值。
• SCALING_FACTOR：Dataproc Metastore 服务的扩缩比例。例如 0.1。 如果您为 SCALING_FACTOR 指定了值，请勿为 INSTANCE_SIZE 指定值。

REST

如需了解如何创建多区域 Dataproc Metastore 服务，请按照说明使用 Google APIs Explorer 创建服务。

如需配置多区域服务，请在 Network Config 对象中提供以下信息。

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

替换以下内容：

• PROJECT_ID：包含 Dataproc Metastore 服务的项目的 Google Cloud 项目 ID。
• LOCATION：Dataproc Metastore 服务所在的 Google Cloud 区域。
• SUBNET1、SUBNET2：构成多区域配置的子网列表。您可以使用子网的 ID、完全限定的网址或相对名称。您最多可以指定 5 个子网。
• SCALING_FACTOR：您要用于服务的缩放比例。

Dataproc Metastore 3.1.2

1. 为 Dataproc 集群创建以下变量：

   CLUSTER_NAME=CLUSTER_NAME
   PROJECT_ID=PROJECT_ID
   MULTI_REGION=MULTI_REGION
   DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
   PROJECT=PROJECT
   SERVICE_ID=SERVICE_ID

   替换以下内容：

   • CLUSTER_NAME：Dataproc 集群的名称。
   • PROJECT_ID：包含 Dataproc 集群的 Google Cloud 项目。确保您使用的子网拥有访问此项目的相应权限。
   • MULTI_REGION：您要在其中创建 Dataproc 集群的 Google Cloud 多区域。
   • DATAPROC_IMAGE_VERSION：您正在 Dataproc Metastore 服务中使用的 Dataproc 映像版本。您必须使用 2.0 或更高版本的映像。
   • PROJECT：包含 Dataproc Metastore 服务的项目。
   • SERVICE_ID：Dataproc Metastore 服务的服务 ID。

2. 如需创建集群，请运行以下 gcloud dataproc clusters create 命令。--enable-kerberos 是可选项。仅当您在集群中使用 Kerberos 时，才应包含此选项。

   gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project ${PROJECT_ID} \
    --region ${MULTI_REGION} \
    --image-version ${DATAPROC_IMAGE_VERSION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
   [ --enable-kerberos ]

Dataproc Metastore 2.3.6

1. 为 Dataproc Metastore 服务创建以下变量：

   METASTORE_PROJECT=METASTORE_PROJECT
   METASTORE_ID=METASTORE_ID
   MULTI_REGION=MULTI_REGION
   SUBNET=SUBNET

   替换以下内容：

   • METASTORE_PROJECT：包含 Dataproc Metastore 服务的 Google Cloud 项目。
   • METASTORE_ID：Dataproc Metastore 服务的服务 ID。
   • MULTI_REGION：您要用于 Dataproc Metastore 服务的多区域位置。
   • SUBNET：您为 Dataproc Metastore 服务使用的子网之一。或者用于服务的子网的父 VPC 网络中的任何子网。

2. 为 Dataproc 集群创建以下变量：

   CLUSTER_NAME=CLUSTER_NAME
   DATAPROC_PROJECT=DATAPROC_PROJECT
   DATAPROC_REGION=DATAPROC_REGION
   HIVE_VERSION=HIVE_VERSION
   IMAGE_VERSION=r>IMAGE_VERSION

   替换以下内容：

   • CLUSTER_NAME：Dataproc 集群的名称。
   • DATAPROC_PROJECT：包含 Dataproc 集群的 Google Cloud 项目。确保您使用的子网拥有访问此项目的相应权限。
   • DATAPROC_REGION：您要在其中创建 Dataproc 集群的 Google Cloud 区域。
   • HIVE_VERSION：Dataproc Metastore 服务使用的 Hive 版本。
   • IMAGE_VERSION：您正在 Dataproc Metastore 服务中使用的 Dataproc 映像版本。
     • 对于 Hive Metastore 版本 2.0，请使用映像版本 1.5。
     • 对于 Hive Metastore 版本 3.1.2，请使用映像版本 2.0。

3. 检索 Dataproc Metastore 服务的仓库目录，并将其存储在一个变量中。

   WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

4. 创建配置了多区域 Dataproc Metastore 的 Dataproc 集群。

   gcloud dataproc clusters create ${CLUSTER_NAME} \
       --project "${DATAPROC_PROJECT}" \
       --region ${DATAPROC_REGION} \
       --scopes "https://www.googleapis.com/auth/cloud-platform" \
       --subnet "${SUBNET}" \
       --optional-components=DOCKER \
       --image-version ${IMAGE_VERSION} \
       --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
       --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
       --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh