Controle de versão do Dataproc

O Dataproc usa imagens para agrupar conectores úteis Google Cloud com componentes Apache Spark e Apache Hadoop em um mesmo pacote que pode ser implantado em um cluster do Dataproc. Essas imagens contêm o sistema operacional básico (Debian ou Ubuntu) para o cluster, além dos componentes principais e opcionais necessários para executar jobs, como Spark, Hadoop e Hive. Essas imagens são atualizadas periodicamente para incluir novos aprimoramentos e recursos. O controle de versão do Dataproc permite selecionar conjuntos de versões de software ao criar clusters.

Como funciona o controle de versão

Ao ser criada, uma imagem recebe um número de versão com este formato:

version_major.version_minor.version_sub_minor-os_distribution

As seguintes distribuições do SO são mantidas:

Consulte as versões de imagem antigas para distribuições do SO compatíveis anteriormente.

A prática recomendada é especificar a versão da imagem major.minor para ambientes de produção ou quando a compatibilidade com versões específicas dos componentes é importante. As distribuições subsecundárias e do SO são definidas automaticamente para a versão semanal mais recente.

Selecionar versões

Quando você cria um novo cluster do Dataproc, a versão mais recente da imagem do Debian é usada por padrão. Você pode selecionar uma versão de imagem do Debian, Rocky Linux ou Ubuntu ao criar um cluster (consulte a Lista de versões de imagem do Dataproc). Ao especificar imagens baseadas no Debian, é possível omitir o sufixo do código de distribuição do SO, por exemplo, especificando 2.0 para selecionar a imagem 2.0-debian10. O sufixo do SO precisa ser usado para selecionar uma imagem baseada no Rocky Linux ou no Ubuntu, por exemplo, especificando 2.0-ubuntu18.

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0 \
    --region=REGION

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0-ubuntu18 \
    --region=REGION

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION

POST /v1/projects/project-id/regions/us-central1/clusters/
{
  "projectId": "project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-b"
    },
    "masterConfig": {
      ...
      }
    },
    "workerConfig": {
      ...
      }
    },
    "softwareConfig": {
      "imageVersion": "2.0"
    }
  }
}
  

Quando novas versões são criadas

Novas versões principais são criadas periodicamente para incorporar um ou mais dos seguintes elementos:

• Versões principais de:
  • Spark, Hadoop e outros componentes de Big Data
  • Google Cloud conectores
• Principais alterações ou atualizações na funcionalidade do Dataproc

Novas versões de pré-lançamento (com um sufixo -RC) são lançadas antes do lançamento de uma nova versão principal:

• As imagens de prévia não são destinadas ao uso em cargas de trabalho de produção.
• As versões de componentes de imagem de prévia podem ser atualizadas para a versão mais recente disponível na versão de imagem GA pós-prévia.

Novas versões secundárias são criadas periodicamente para incorporar um ou mais dos seguintes elementos:

• Versões e atualizações secundárias de:
  • Spark, Hadoop e outros componentes de Big Data
  • Google Cloud conectores
• Atualizações ou alterações não importantes da funcionalidade do Dataproc

Quando uma nova versão secundária é criada, sua imagem Debian passa a ser o padrão para a versão principal e representa a versão mais recente da versão principal.

Novas versões subsecundárias são criadas periodicamente para incorporar um ou mais dos seguintes itens:

• Patches ou correções de um componente na imagem
• Upgrades de versão subalterna do componente

Suporte a versão de imagem e Dataproc

As versões secundárias da imagem são compatíveis por 24 meses após o lançamento inicial (disponibilidade geral). Durante esse período, os clusters que usam essas versões de imagem são qualificados para suporte. Para receber correções, recrie o cluster usando a versão de imagem subsecundária compatível. Depois que a janela de suporte é fechada, os clusters que usam a versão da imagem não são mais compatíveis.

Versões de imagem antigas

Distribuições do SO suportadas compatíveis anteriormente

As seguintes distribuições do SO eram compatíveis anteriormente:

Versões de imagem sem distribuição explícita do SO

Antes de 16 de agosto de 2018, todas as versões de imagem eram construídas com o Debian 8 e omitiam o Código de distribuição do SO. Elas são especificadas no seguinte formato:

version_major.version_minor.version_sub_minor

Versões 0.1 e 0.2

As versões de imagem lançadas como Alfa ou dos lançamentos Beta anteriores à versão geral do 1.0 do Dataproc não estão sujeitas à política de suporte do Dataproc.

Notas importantes sobre o controle de versões

• As versões de imagem contêm os seguintes componentes:
  • Componentes principais instalados em todos os clusters, como Spark, Hadoop e Hive
  • Componentes opcionais que você especifica ao criar um cluster
• Os clusters do Dataproc não são atualizados automaticamente quando novas versões de imagem são lançadas.
  • Recomendações:
  • Execute clusters com a versão de imagem subsecundária mais recente. Os metadados da imagem incluem um rótulo previous-subminor, que é definido como true se o cluster não estiver usando a versão subprincipal mais recente da imagem.
    • Para ver os metadados da imagem:
      1. Execute o comando gcloud compute images list --filter a seguir para listar o nome do recurso de uma imagem do Dataproc.

         gcloud compute images list --project=PROJECT_NAME --filter="labels.goog-dataproc-version ~ ^IMAGE_VERSION (such as 2.2.16-debian12)"
         

      2. Execute o seguinte gcloud compute images describe para conferir os metadados da imagem.

         gcloud compute images describe --project=PROJECT_NAME IMAGE_NAME"
         

  • Teste e valide se os aplicativos são executados corretamente em clusters criados com novas versões de imagem, principalmente ao usar novas versões principais.