Dataproc 可选 Docker 组件

使用可选组件功能创建 Dataproc 集群时，可以安装 Docker 等其他组件。本页面介绍了 Docker 组件。

Dataproc 组件会在每个集群节点上安装一个 Docker 守护程序，并在每个节点上创建一个 Linux 用户“docker”和一个 Linux 组“docker”以运行 Docker 守护程序。此组件还会创建一个“docker”systemd 服务以运行 dockerd 服务。建议您使用 systemd 服务来管理 Docker 服务的生命周期。

安装组件

在创建 Dataproc 集群时安装组件。 可以将 Docker 组件安装在使用 Dataproc 映像版本 1.5 或更高版本创建的集群上。

如需查看每个 Dataproc 映像版本中包含的组件版本，请参阅支持的 Dataproc 版本。

gcloud 命令

如需创建包含 Docker 组件的 Dataproc 集群，请使用带有 --optional-components 标志的 gcloud dataproc clusters create cluster-name 命令。

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

可以通过 Dataproc API 使用 SoftwareConfig.Component 将 Docker 组件指定为 clusters.create 请求的一部分。

控制台

  1. 启用组件。
    • 在 Google Cloud 控制台中，打开 Dataproc 创建集群页面。选中“设置集群”面板。
    • 在组件部分中执行以下操作：
      • 在可选组件下，选择 Docker 和其他可选组件安装在集群上。

在 YARN 上启用 Docker

如需将自定义 Docker 映像与 YARN 搭配使用，请参阅在 YARN 上使用 Docker 自定义 Spark 作业运行时环境。

Docker 日志记录

默认情况下，Dataproc Docker 组件通过设置 gcplogs driver 将日志写入 Cloud Logging，请参阅查看日志。

Docker 注册表

除了默认的 Docker 注册表外，Dataproc Docker 组件还会将 Docker 配置为使用 Container Registry。Docker 将使用 Docker 凭据帮助程序向 Container Registry 进行身份验证。

使用 Kerberos 集群上的 Docker 组件

可以将 Docker 可选组件安装在已启用 Kerberos 安全的情况下所创建的集群上。