Dataproc 選用 Docker 元件

當您使用選用元件功能建立 Dataproc 叢集時，可以安裝 Docker 等其他元件。本頁面說明 Docker 元件。

Dataproc 元件會在每個叢集節點上安裝 Docker 守護程式，並在每個節點上建立 Linux 使用者「docker」和 Linux 群組「docker」來執行 Docker 守護程式。這個元件也會建立「docker」systemd 服務，以便執行 dockerd 服務。您應使用 systemd 服務來管理 Docker 服務的生命週期。

安裝元件

請在建立 Dataproc 叢集時安裝元件。您可以在使用 Dataproc 映像檔 1.5 以上版本建立的叢集中安裝 Docker 元件。

請參閱支援的 Dataproc 版本，瞭解每個 Dataproc 映像檔版本中包含的元件版本。

gcloud 指令

如要建立包含 Docker 元件的 Dataproc 叢集，請使用 gcloud dataproc clusters create cluster-name 指令搭配 --optional-components 標記。

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

您可以透過 Dataproc API，使用 SoftwareConfig.Component 做為 clusters.create 要求的一部分，指定 Docker 元件。

控制台

  1. 啟用元件。
    • 在 Google Cloud 控制台中，開啟 Dataproc 的「Create a cluster」(建立叢集) 頁面。已選取「設定叢集」面板。
    • 在「元件」部分：
      • 在「選用元件」下方，選取要安裝在叢集上的 Docker 和其他選用元件。

在 YARN 上啟用 Docker

請參閱「使用 YARN 上的 Docker 自訂 Spark 工作執行階段環境」，瞭解如何在 YARN 中使用自訂的 Docker 映像檔。

Docker 記錄

根據預設，Dataproc Docker 元件會透過設定 gcplogs driver 將記錄寫入 Cloud Logging，請參閱「查看記錄」一文。

Docker Registry

Dataproc Docker 元件會將 Docker 設為使用 Container Registry，並搭配預設 Docker 登錄項。Docker 會使用 Docker 憑證輔助程式，透過 Container Registry 進行驗證。

在 Kerberos 叢集中使用 Docker 元件

您可以在啟用 Kerberos 安全性的叢集上安裝 Docker 選用元件。