Vuelve a crear y actualizar un clúster virtual de Dataproc on GKE

Puedes copiar la configuración existente de un clúster virtual de Dataproc on GKE, actualizar la configuración copiada y, luego, crear un nuevo Dataproc on GKE clúster con la configuración actualizada.

Pasos para volver a crear y actualizar un clúster de Dataproc en GKE

gcloud

1. Establece las variables de entorno:

CLUSTER=existing Dataproc on GKE  cluster name \
  REGION=region

  1. Exporta la configuración existente del clúster de Dataproc on GKE a un archivo YAML. 

    gcloud dataproc clusters export $CLUSTER \
    --region=$REGION > "${CLUSTER}-config.yaml"

  2. Actualiza la configuración.

    1. Quita el kubernetesNamespace . Debes quitar este campo para evitar un conflicto de espacio de nombres cuando creas el clúster actualizado.

      Comando sed de muestra para quitar el campo kubernetesNamespace: 

      sed -E "s/kubernetesNamespace: .+$//g" ${CLUSTER}-config.yaml

    2. Realiza cambios adicionales para actualizar el clúster virtual de Dataproc en GKE parámetros de configuración, como cambiar la cuenta componentVersion.

  3. Borra el clúster virtual de Dataproc on GKE existente si crearás un clúster que tiene el mismo nombre que el clúster que está actualizando (si reemplazas el clúster original).

  4. Espera a que finalice la operación de eliminación anterior y, luego, importa configuración actualizada del clúster para crear un nuevo Dataproc on GKE clúster virtual con los parámetros de configuración actualizados. 

    gcloud dataproc clusters import $CLUSTER \
    --region=$REGION \
    --source="${CLUSTER}-config.yaml"

API

1. Establece las variables de entorno:

CLUSTER=existing Dataproc on GKE  cluster name \
  REGION=region

  1. Exporta la configuración existente del clúster de Dataproc on GKE a un archivo YAML. 

    curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}?alt=json" > "${CLUSTER}-config.json"

  2. Quita el kubernetesNamespace . Debes quitar este campo para evitar un conflicto de espacio de nombres cuando creas el clúster actualizado.

    Comando jq de muestra para quitar el campo kubernetesNamespace: 

    jq 'del(.virtualClusterConfig.kubernetesClusterConfig.kubernetesNamespace)'

    1. Realiza cambios adicionales para actualizar el clúster virtual de Dataproc en GKE parámetros de configuración, como cambiar la cuenta componentVersion.

  3. Borra el clúster virtual de Dataproc on GKE existente si vas a crear un clúster con el mismo nombre que el clúster que está actualizando (si reemplazas el clúster original). 

    curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}"

  4. Espera a que finalice la operación de eliminación anterior. Luego, importa la configuración actualizada del clúster para crear un nuevo Dataproc on GKE. clúster virtual con la configuración actualizada. 

    curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${CLUSTER}-config.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"

Console

La consola de Google Cloud no admite la recreación de un Dataproc en GKE clúster virtual importando la configuración de un clúster existente.