Puedes instalar componentes adicionales, como Docker, al crear un clúster de Dataproc mediante la función Componentes opcionales. En esta página se describe el componente Docker.
El componente de Dataproc instala un daemon de Docker en cada nodo del clúster y crea un usuario de Linux "docker" y un grupo de Linux "docker" en cada nodo para ejecutar el daemon de Docker. Este componente también crea un servicio "docker" systemd
para ejecutar el servicio dockerd. Deberías usar el servicio systemd para gestionar el ciclo de vida del servicio Docker.
Instalar el componente
Instala el componente al crear un clúster de Dataproc. El componente Docker se puede instalar en clústeres creados con la versión 1.5 o una posterior de la imagen de Dataproc.
Consulta las versiones de Dataproc compatibles para ver la versión del componente incluida en cada lanzamiento de imagen de Dataproc.
Comando gcloud
Para crear un clúster de Dataproc que incluya el componente Docker, usa el comando gcloud dataproc clusters create cluster-name
con la marca --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
API REST
El componente de Docker se puede especificar a través de la API de Dataproc mediante SoftwareConfig.Component como parte de una solicitud clusters.create.
Consola
- Habilita el componente.
- En la consola de Google Cloud , abre la página de Dataproc Crear un clúster. Se selecciona el panel Configurar clúster.
- En la sección Components (Componentes):
- En Componentes opcionales, selecciona Docker y otros componentes opcionales que quieras instalar en el clúster.
Habilitar Docker en YARN
Consulta Personalizar el entorno de ejecución de trabajos de Spark con Docker en YARN para usar una imagen de Docker personalizada con YARN.
Registro de Docker
De forma predeterminada, el componente Docker de Dataproc escribe los registros en Cloud Logging definiendo gcplogs driver. Consulta Ver los registros.
Registro de Docker
El componente Docker de Dataproc configura Docker para usar Container Registry además de los registros de Docker predeterminados. Docker usará el asistente de credenciales de Docker para autenticarse en Container Registry.
Usar el componente Docker en un clúster de Kerberos
Puedes instalar el componente opcional de Docker en un clúster que se esté creando con la seguridad de Kerberos habilitada.