Dataproc 集群网络配置

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

本页面介绍了 Dataproc 集群网络配置要求和选项。

Dataproc 连接要求

Dataproc 集群必须位于满足路由和防火墙要求的 VPC 网络中，才能安全地访问 Google API 和其他资源。

路由要求

在集群虚拟机上运行的 Dataproc 代理需要通向互联网的路由，以便访问 Dataproc 控制 API 来获取作业和报告状态。创建后，VPC 网络会包含通向互联网的系统生成的默认路由。不建议删除通向互联网的默认路由；请改为使用防火墙来控制网络访问。请注意，仅限内部 IP 的集群也需要使用通向互联网的默认路由来访问 Dataproc 控制 API 和其他 Google 服务（例如 Cloud Storage），但其流量不会离开 Google 数据中心。

防火墙要求

Dataproc 集群虚拟机 (VM) 必须能够使用 ICMP、TCP（所有端口）和 UDP（所有端口）协议相互通信。

default VPC 网络 default-allow-internal 防火墙规则符合 Dataproc 集群连接要求，并允许 VPC 网络上所有虚拟机中来自 10.128.0.0/9 来源范围的入站流量，如下所示：

• 如果您删除 default-allow-internal 防火墙规则，则 default 网络上的入站流量会被隐式拒绝入站流量规则阻止。

• 如果您删除 default-allow-internal 防火墙规则或不使用 default VPC 网络，则必须创建您自己的规则来满足 Dataproc 连接要求，然后将其应用于集群的 VPC 网络。

最佳实践：

• 为集群 VPC 网络创建入站流量防火墙规则，以便通过使用来源 IP 范围或通过按网络标记或服务账号识别集群虚拟机，仅允许集群虚拟机之间的入站流量连接。
• 为了实现更安全的网络访问和连接，请使用安全标记（而非网络标记）来定义防火墙规则来源和目标。

创建入站流量防火墙规则

如果您或您的网络或安全管理员创建入站流量防火墙规则以应用于 Dataproc 集群 VPC 网络，则该规则必须具有以下特征：

• 来源参数指定数据包的来源。所有 Dataproc 集群虚拟机都必须能够相互通信。您可以按 IP 地址范围、来源标记或与虚拟机关联的服务账号来识别集群中的虚拟机。

• 规则的目标必须识别集群虚拟机。目标可以是 VPC 网络中的所有虚拟机，或者，您可以按 IP 地址范围、目标标记或目标服务账号来识别虚拟机。

• 规则必须包含以下协议和端口：

  • TCP（所有端口，0 到 65535）
  • UDP（所有端口，0 到 65535）
  • ICMP

  Dataproc 使用在多个端口上运行的服务。指定所有端口有助于服务成功运行。

诊断 VPC 防火墙规则

如需审核未由优先级较高的防火墙规则处理的数据包，您可以创建两条低优先级 (65534) 的拒绝防火墙规则。与隐式防火墙规则不同，您可以为以下每条低优先级规则启用防火墙规则日志记录：

1. 入站拒绝规则（来源 0.0.0.0/0、所有协议以及 VPC 网络中的所有目标）

2. 出站拒绝规则（目的地为 0.0.0.0/0，所有协议，VPC 网络中的所有目标）

• 借助这些低优先级规则和防火墙规则日志记录，您可以记录未由更高优先级（可能更具体）的防火墙规则处理的数据包。这两个低优先级规则还通过实现“最终丢弃数据包”策略来遵循安全性最佳做法。

• 检查这些规则的防火墙规则日志，以确定是否需要创建或修改更高优先级的规则来允许数据包。例如，如果 Dataproc 集群虚拟机之间发送的数据包被丢弃，这可能表示需要调整防火墙规则。

创建 VPC 网络

您可以创建自己的自动模式或自定义 VPC 网络，而不是使用 default VPC 网络。创建集群时，您需要将您的网络与集群相关联。

Assured Workloads 环境：如果您使用 Assured Workloads 环境来满足监管合规性要求，则集群、其 VPC 网络及其 Cloud Storage 存储桶必须包含在 Assured Workloads 环境中。

创建使用您的 VPC 网络的集群

gcloud dataproc clusters create CLUSTER_NAME \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

gcloud dataproc clusters create CLUSTER_NAMEW \
    --subnet projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
    --region=REGION \
    ... other args ...

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "PROJECT_ID",
  "clusterName": CLUSTER_NAME,
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": SUBNET_NAME,
    },
    ...

创建使用另一个项目中的 VPC 网络的集群

Dataproc 集群可以使用宿主项目中定义的共享 VPC 网络。在其中创建 Dataproc 集群的项目称为服务项目。

1. 查找 Dataproc 集群项目编号：

   1. 打开 Google Cloud 控制台中的 IAM 和管理设置页面。选择您要在其中创建 Dataproc 集群的项目。复制项目 ID。

2. 具有共享 VPC 管理员角色的主账号必须执行以下步骤。如需了解背景信息，请参阅关于设置共享 VPC 的说明。

   1. 确保已启用共享 VPC 宿主项目。

   2. 将包含 Dataproc 集群的项目关联到宿主项目。

   3. 将 Dataproc 服务代理服务账号 (service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) 配置为具有宿主项目的 Network User 角色：

      1. 打开 Google Cloud 控制台中的 IAM 和管理页面。

      2. 使用项目选择器选择新的宿主项目。

      3. 点击授予访问权限。

      4. 填写“授予访问权限”表单：

         1. 添加主账号：输入服务账号。

         2. 分配角色：在过滤条件框中插入“Compute Network”，然后选择 Compute Network User 角色。

         3. 点击保存。

3. 服务账号具有宿主项目的 Network User 角色后，创建一个使用共享 VPC 网络的集群。

创建使用其他项目中的 VPC 子网的集群

Dataproc 集群可以使用在宿主项目中定义的共享 VPC 子网。在其中创建 Dataproc 集群的项目称为服务项目。

1. 查找 Dataproc 集群项目编号：

   1. 打开 Google Cloud 控制台中的 IAM 和管理设置页面。选择您要在其中创建 Dataproc 集群的项目。复制项目 ID。

2. 具有共享 VPC 管理员角色的主账号必须执行以下步骤。如需了解背景信息，请参阅关于设置共享 VPC 的说明。

   1. 确保已启用共享 VPC 宿主项目。

   2. 将包含 Dataproc 集群的项目关联到宿主项目。

   3. 将 Dataproc 服务代理服务账号 (service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) 配置为具有宿主项目的 Network User 角色：

      1. 打开 Google Cloud 控制台中的 VPC 网络页面。

      2. 使用项目选择器选择宿主项目。

      3. 点击包含 Dataproc 集群使用的子网的网络。

      4. 在 VPC 网络详情页面中，点击集群使用的子网名称旁边的复选框。

      5. 如果信息面板未打开，请点击显示信息面板。

      6. 针对每个服务账号执行以下步骤：

         1. 在信息面板中，点击添加主账号。

         2. 填写“授予访问权限”表单：

            1. 添加主账号：输入服务账号。

            2. 分配角色：在过滤条件框中插入“Compute Network”，然后选择 Compute Network User 角色。

            3. 点击保存。

3. 服务账号具有宿主项目的 Network User 角色后，创建一个使用共享 VPC 子网的集群。

创建仅使用内部 IP 地址的 Dataproc 集群

您可以创建与公共互联网隔离的 Dataproc 集群，该集群的虚拟机实例通过专用 IP 子网进行通信（集群虚拟机不会分配有公共 IP 地址）。为此，集群子网必须启用了专用 Google 访问通道，以便集群节点能够通过内部 IP 访问 Google API 和服务，例如 Cloud Storage。

您可以使用 Google Cloud 控制台、gcloud CLI 或 Dataproc API 仅在创建集群时启用内部 IP 地址。

gcloud dataproc clusters create CLUSTER_NAME \
    --no-address \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

gcloud dataproc clusters create cluster-name \
    --no-address \
    --subnet projects/project-id/regions/region/subnetworks/subnetwork-name \
    --region=region \
    ... other args ...

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "custom-subnet-1",
      "zoneUri": "us-central1-b",
      "internalIpOnly": true
    },
    ...

下载包含仅限内部 IP 的集群的依赖项

默认情况下，仅限内部 IP 的集群无权访问互联网。因此，从互联网下载依赖项的作业（例如从 Maven Central 下载 Spark 依赖项软件包的作业）会失败。可通过多种解决方法避免此问题：

1. 使用 Cloud NAT 启用对互联网的集群访问权限。

2. 创建包含依赖项（例如 /usr/lib/spark/jars/ 中的 Spark 依赖项软件包）的自定义映像。

3. 将依赖项上传到 Cloud Storage 存储分区，然后使用初始化操作在创建集群期间从存储分区下载依赖项。

Dataproc 和 VPC Service Controls 网络

借助 VPC Service Controls，管理员可以为 Google 托管式服务的资源定义安全边界，以控制与这些服务的通信以及这些服务之间的通信。

请注意，当 VPC Service Controls 网络与 Dataproc 集群搭配使用时，遵循以下限制和策略：

• 如需在 VPC Service Controls 边界外安装组件，请创建预安装组件的 Dataproc 自定义映像，然后使用自定义映像创建集群。

• 请参阅使用 VPC Service Controls 进行保护的 Dataproc 特殊步骤。