搭配使用 Private Service Connect 与 Dataproc Metastore

借助 Private Service Connect，您可以创建不使用 VPC 对等互连的 Dataproc Metastore 服务。本页介绍了什么是 Private Service Connect，以及如何将其用作 Dataproc Metastore 的备选网络选项。

Dataproc Metastore 如何与 VPC 搭配使用

Dataproc Metastore 通过仅公开专用 IP 端点来保护其元数据访问权限。它还会使用 VPC 对等互连来限制与您 VPC 网络中的虚拟机的连接。

Dataproc Metastore 要求每个 VPC 网络中的每个区域都满足以下配置要求：

因此，在拥挤的 VPC 网络中设置 VPC 对等互连和 IP 地址预留可能很困难。同样，VPC 网络可能没有足够的对等互连配额来容纳额外的对等互连请求。这两个限制都会阻止您创建新的 Dataproc Metastore 服务。

如需规避这些问题，您可以将 Dataproc Metastore 与 Private Service Connect 搭配使用。

Dataproc Metastore 如何与 Private Service Connect 搭配使用

Private Service Connect 可跨 VPC 网络与 Dataproc Metastore 元数据建立专用连接。

如需将 Private Service Connect 与 Dataproc Metastore 搭配使用，需要进行以下配置：

  • 子网中的单个地址预留。
  • 一个以用于公开 Dataproc Metastore 端点的服务附件为目标的转发规则。地址预留和转发规则是在 Dataproc Metastore 服务创建调用过程中创建的。

注意事项

  • 使用 Private Service Connect 的 Dataproc Metastore 服务仅支持从服务创建期间指定的子网的 VPC 网络进行访问。

  • Dataproc Metastore 会预留地址，并在每个指定的子网中创建转发规则。每个子网都有一个 Thrift 端点 URI，可用于通过其访问 Dataproc Metastore 元数据端点。

限制

  • 使用 gRPC 端点协议的 Dataproc Metastore 服务不支持 Private Service Connect。
  • Private Service Connect 不支持反向连接。这意味着，您无法将 Kerberos 配置与 Private Service Connect 搭配使用。
  • 您无法从使用 Private Service Connect 配置的 Dataproc Metastore 服务动态添加或移除子网。相反，如果您想添加或移除子网，则必须重新创建服务。
  • 您无法将使用 Private Service Connect 的 Dataproc Metastore 服务更新为使用 VPC，反之亦然。

使用 Private Service Connect 创建 Dataproc Metastore 服务

以下说明演示了如何在创建服务期间配置 Private Service Connect。

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    前往 Dataproc Metastore

  2. 在 Dataproc Metastore 页面顶部，点击创建。

    此时会打开创建服务页面。

  3. 根据需要配置服务。

  4. 在网络配置下，点击使服务在 VPC 子网中可供访问 (Make services accessible in multiple VPC subnetworks)。

  5. 选择子网。您最多可以指定 5 个子网。

  6. 点击完成。

  7. 点击提交。

验证服务的网络配置：

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    前往 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击您要查看的服务的名称。

    该服务的服务详细信息页面会打开。

  3. 在配置标签页下，验证详细信息是否显示多个 VPC 子网 URI。

gcloud

  1. 运行以下 gcloud metastore services create 命令，使用 Private Service Connect 创建服务：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    或

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. 验证创建操作是否成功。

REST

按照 API 说明使用 API Explorer 创建服务。

在 create 请求参数中，使用 Network Config 文件配置 Private Service Connect。您可以指定 1 到 5 个子网。

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

后续步骤