Recriar e atualizar um cluster virtual do Dataproc no GKE

gcloud

1. Defina as variáveis de ambiente:

CLUSTER=existing Dataproc on GKE  cluster name \
  REGION=region
  

1. Exporte a configuração atual do cluster do Dataproc no GKE para um arquivo YAML.

   gcloud dataproc clusters export $CLUSTER \
       --region=$REGION > "${CLUSTER}-config.yaml"
   

2. Atualizar a configuração.

   1. Remova o campo kubernetesNamespace. É necessário remover este campo para evitar um conflito de namespace quando você criar o cluster atualizado.

      Exemplo de comando sed para remover o campo kubernetesNamespace:

      sed -E "s/kubernetesNamespace: .+$//g" ${CLUSTER}-config.yaml
      

   2. Fazer mais alterações para atualizar o Dataproc no cluster virtual do GKE de configuração, como alterar o nome componentVersion.

3. Exclua o Dataproc no cluster virtual do GKE se você for criar um cluster com o mesmo nome do cluster que está sendo atualizado (se você estiver substituindo o cluster original).

4. Aguarde a conclusão da operação de exclusão anterior e importe o atualizou a configuração do cluster para criar um novo Dataproc no GKE cluster virtual com as definições de configuração atualizadas.

   gcloud dataproc clusters import $CLUSTER \
       --region=$REGION \
       --source="${CLUSTER}-config.yaml"

API

1. Defina as variáveis de ambiente:

CLUSTER=existing Dataproc on GKE  cluster name \
  REGION=region
  

1. Exporte a configuração atual do cluster do Dataproc no GKE para um arquivo YAML.

   curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}?alt=json" > "${CLUSTER}-config.json"

2. Remova o kubernetesNamespace . É necessário remover este campo para evitar um conflito de namespace quando você criar o cluster atualizado.

   Exemplo de comando jq para remover o campo kubernetesNamespace:

   jq 'del(.virtualClusterConfig.kubernetesClusterConfig.kubernetesNamespace)'
     

   1. Fazer mais alterações para atualizar o Dataproc no cluster virtual do GKE de configuração, como alterar o nome componentVersion.

3. Exclua o Dataproc atual do cluster virtual do GKE se você for criar um cluster com o mesmo nome do cluster que está sendo atualizado (se você substituir o cluster original).

   curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}"
   

4. Aguarde a conclusão da operação de exclusão anterior e importe a configuração atualizada do cluster para criar um novo cluster virtual do Dataproc no GKE com as configurações atualizadas.

   curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${CLUSTER}-config.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"
   

Console

O console do Google Cloud não permite recriar um Dataproc no GKE cluster virtual importando a configuração de um cluster atual.