Dataproc 集群网络配置

本页介绍了 Dataproc 集群网络配置要求和选项。

Dataproc 连接要求

您的 Dataproc 集群必须位于满足路由和防火墙要求的 VPC 网络中，才能安全地访问 Google API 和其他资源。

路线要求

在集群虚拟机上运行的 Dataproc 代理需要有通往互联网的路线，才能访问 Dataproc 控制 API 以获取作业和报告状态。创建后，VPC 网络会包含指向互联网的系统生成的默认路由。不建议删除指向互联网的默认路由；请改用防火墙来控制网络访问。请注意，仅限内部 IP 地址的集群也需要此默认互联网路由才能访问 Dataproc 控制 API 和其他 Google 服务（例如 Cloud Storage），但其流量不会离开 Google 数据中心。

防火墙要求

Dataproc 集群虚拟机 (VM) 必须能够使用 ICMP、TCP（所有端口）和 UDP（所有端口）协议相互通信。

default VPC 网络 default-allow-internal 防火墙规则符合 Dataproc 集群连接要求，并允许来自 VPC 网络上所有虚拟机的 10.128.0.0/9 来源范围的入站流量，如下所示：

• 如果您删除 default-allow-internal 防火墙规则，则 default 网络上的入站流量会被隐式拒绝入站规则阻止。

• 如果您删除了 default-allow-internal 防火墙规则或不使用 default VPC 网络，则必须创建符合 Dataproc 连接性要求的自定义规则，然后将其应用于集群的 VPC 网络。

最佳实践：为集群 VPC 网络创建入站防火墙规则，通过使用来源 IP 地址范围或通过网络标记或服务账号标识集群虚拟机，仅允许在集群虚拟机之间建立入站连接。

创建入站流量防火墙规则

如果您或您的网络或安全管理员创建要应用于 Dataproc 集群 VPC 网络的入站防火墙规则，该规则必须具有以下特性：

• sources 参数用于指定数据包的来源。所有 Dataproc 集群虚拟机都必须能够相互通信。您可以通过 IP 地址范围、来源标记或与虚拟机关联的服务账号来识别集群中的虚拟机。

• 规则的目标必须标识集群虚拟机。目标可以是 VPC 网络中的所有虚拟机，或者，您也可以按 IP 地址范围、目标标记或目标服务账号来标识虚拟机。

• 规则必须包含以下协议和端口：

  • TCP（所有端口，0 到 65535）
  • UDP（所有端口，0 到 65535）
  • ICMP

  Dataproc 使用在多个端口上运行的服务。指定所有端口有助于服务成功运行。

诊断 VPC 防火墙规则

如需审核未由优先级较高的防火墙规则处理的数据包，您可以创建两条低优先级 (65534) 的拒绝防火墙规则。与隐式防火墙规则不同，您可以为以下每条低优先级规则启用防火墙规则日志记录：

1. 入站拒绝规则（来源 0.0.0.0/0、所有协议以及 VPC 网络中的所有目标）

2. 出站拒绝规则（目的地为 0.0.0.0/0，所有协议，VPC 网络中的所有目标）

• 借助这些低优先级规则和防火墙规则日志记录，您可以记录未由更高优先级（可能更具体）的防火墙规则处理的数据包。这两个低优先级规则还通过实现“最终丢弃数据包”策略来遵循安全性最佳做法。

• 检查这些规则的防火墙规则日志，以确定是否需要创建或修改更高优先级的规则以允许数据包。例如，如果 Dataproc 集群虚拟机之间发送的数据包被丢弃，这可能表示需要调整您的防火墙规则。

创建 VPC 网络

您可以创建自己的自动模式或自定义 VPC 网络，而不是使用 default VPC 网络。创建集群时，将您的网络与集群进行关联。

Assured Workloads 环境：如果您出于合规性目的使用 Assured Workloads 环境，则集群、其 VPC 网络和其 Cloud Storage 存储分区必须包含在 Assured Workloads 环境中。

创建使用您的 VPC 网络的集群

gcloud dataproc clusters create CLUSTER_NAME \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

gcloud dataproc clusters create CLUSTER_NAMEW \
    --subnet projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
    --region=REGION \
    ... other args ...

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "PROJECT_ID",
  "clusterName": CLUSTER_NAME,
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": SUBNET_NAME,
    },
    ...

创建使用另一个项目中的 VPC 网络的集群

Dataproc 集群可以使用宿主项目中定义的共享 VPC 网络。创建 Dataproc 集群的项目称为服务项目。

1. 查找 Dataproc 集群项目编号：

   1. 在 Google Cloud 控制台中打开 IAM 和管理 设置页面。选择您要用于创建 Dataproc 集群的项目。复制项目 ID。

2. 具有共享 VPC 管理员角色的主账号必须执行以下步骤。如需了解背景信息，请参阅关于设置共享 VPC 的说明。

   1. 请确保已启用共享 VPC 宿主项目。

   2. 将包含 Dataproc 集群的项目附加到宿主项目。

   3. 将 Dataproc 服务代理服务账号 (service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) 配置为拥有宿主项目的 Network User 角色：

      1. 在 Google Cloud 控制台中打开 IAM 和管理页面。

      2. 使用项目选择器选择新的宿主项目。

      3. 点击授予访问权限。

      4. 填写“授予访问权限”表单：

         1. 添加主账号：输入服务账号。

         2. 分配角色：在过滤条件框中插入“计算网络”，然后选择 Compute Network User 角色。

         3. 点击保存。

3. 服务账号获得宿主项目的 Network User 角色后，创建一个集群，该集群使用共享 VPC 网络。

创建使用另一个项目中的 VPC 子网的集群

Dataproc 集群可以使用宿主项目中定义的共享 VPC 子网。创建 Dataproc 集群的项目称为服务项目。

1. 查找 Dataproc 集群项目编号：

   1. 在 Google Cloud 控制台中打开 IAM 和管理 设置页面。选择您要用于创建 Dataproc 集群的项目。复制项目 ID。

2. 具有共享 VPC 管理员角色的主账号必须执行以下步骤。如需了解背景信息，请参阅关于设置共享 VPC 的说明。

   1. 请确保已启用共享 VPC 宿主项目。

   2. 将包含 Dataproc 集群的项目附加到宿主项目。

   3. 将 Dataproc 服务代理服务账号 (service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) 配置为拥有宿主项目的 Network User 角色：

      1. 打开 Google Cloud 控制台中的 VPC 网络页面。

      2. 使用项目选择器选择宿主项目。

      3. 点击包含 Dataproc 集群将使用的子网的网络。

      4. 在 VPC 网络详情页面中，点击集群将使用的子网名称旁边的复选框。

      5. 如果信息面板未打开，请点击显示信息面板。

      6. 请针对每个服务账号执行以下步骤：

         1. 在信息面板中，点击添加主账号。

         2. 填写“授予访问权限”表单：

            1. 添加主账号：输入服务账号。

            2. 分配角色：在过滤条件框中插入“计算网络”，然后选择 Compute Network User 角色。

            3. 点击保存。

3. 服务账号获得宿主项目的 Network User 角色后，创建一个集群，该集群使用共享 VPC 子网。

创建仅使用内部 IP 地址的 Dataproc 集群

您可以创建与公共互联网隔离的 Cloud Dataproc 集群，该集群的虚拟机实例通过专用 IP 子网进行通信（集群虚拟机不会分配公共 IP 地址）。为了实现此目的，子网必须启用专用 Google 访问通道，这样集群节点才能通过内部 IP 访问 Google API 和服务，例如 Cloud Storage。

gcloud dataproc clusters create CLUSTER_NAME \
    --no-address \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

gcloud dataproc clusters create cluster-name \
    --no-address \
    --subnet projects/project-id/regions/region/subnetworks/subnetwork-name \
    --region=region \
    ... other args ...

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "custom-subnet-1",
      "zoneUri": "us-central1-b",
      "internalIpOnly": true
    },
    ...

由于默认情况下仅限内部 IP 的集群无法访问互联网，因此从互联网下载依赖项的作业（例如从 Maven Central 下载 Spark 依赖项软件包）将失败。可通过多种解决方法避免此问题：

1. 使用 Cloud NAT 启用对互联网的集群访问权限。

2. 创建包含依赖项（例如 /usr/lib/spark/jars/ 中的 Spark 依赖项软件包）的自定义映像。

3. 将依赖项上传到 Cloud Storage 存储分区，然后使用初始化操作在创建集群期间从存储分区下载依赖项。

Dataproc 和 VPC Service Controls 网络

借助 VPC Service Controls，管理员可以为 Google 托管式服务的资源定义安全边界，以控制与这些服务的通信以及这些服务之间的通信。

请注意，当 VPC Service Controls 网络与 Dataproc 集群搭配使用时，存在以下限制和策略：

• 如需在 VPC Service Controls 边界外安装组件，请创建预安装组件的 Dataproc 自定义映像，然后使用自定义映像创建集群。

• 请参阅使用 VPC Service Controls 进行保护的 Dataproc 特殊步骤。