Controllo delle versioni di Dataproc

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Dataproc utilizza le immagini per collegare Google Cloud Platform connettori e Apache Spark i componenti Apache Hadoop in un unico pacchetto il deployment su un cluster Dataproc. Queste immagini contengono il sistema operativo di base (Debian o Ubuntu) per il cluster, oltre ai componenti di base e facoltativi necessari per eseguire i job, come Spark, Hadoop e Hive. Viene eseguito periodicamente l'upgrade di queste immagini per includere nuovi miglioramenti e funzionalità. Il controllo delle versioni di Dataproc consente di selezionare set di software quando crei i cluster.

Come funziona il controllo delle versioni

Quando viene creata un'immagine, le viene assegnato Numero Versione immagine nel seguente formato:

version_major.version_minor.version_sub_minor-os_distribution

Attualmente sono mantenute le seguenti distribuzioni del sistema operativo:

Consulta le vecchie versioni delle immagini per le distribuzioni del sistema operativo supportate in precedenza.

Si consiglia di specificare l'immagine major.minor versione per ambienti di produzione o in caso di compatibilità con componenti specifici è importante. Le distribuzioni secondarie e del sistema operativo vengono automaticamente impostato sull'ultima release settimanale.

Selezione delle versioni

Quando crei un nuovo cluster Dataproc, l'ultima versione Per impostazione predefinita viene utilizzata la versione immagine Debian. Puoi selezionare un Versione dell'immagine Debian, Rocky Linux o Ubuntu durante la creazione di un cluster (consulta il Elenco delle versioni delle immagini Dataproc). Quando specifichi le immagini basate su Debian, puoi omettere il suffisso del codice della distribuzione del sistema operativo, ad esempio specificando 2.0 per selezionare l'immagine 2.0-debian10. Il suffisso del sistema operativo deve essere utilizzato per selezionare un'immagine basata su Rocky Linux o Ubuntu, ad esempio specificando 2.0-ubuntu18.

gcloud dataproc clusters create cluster-name \
    --image-version=2.0 \
    --region=region

gcloud dataproc clusters create cluster-name \
    --image-version=2.0-ubuntu18 \
    --region=region

gcloud dataproc clusters describe cluster-name \
    --region=region

POST /v1/projects/project-id/regions/us-central1/clusters/
{
  "projectId": "project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-b"
    },
    "masterConfig": {
      ...
      }
    },
    "workerConfig": {
      ...
      }
    },
    "softwareConfig": {
      "imageVersion": "2.0"
    }
  }
}
  

Quando vengono create nuove versioni

Periodicamente vengono create nuove versioni principali per incorporare uno o più dei seguenti elementi:

• Uscite principali per:
  • Spark, Hadoop e altri componenti per big data
  • Connettori Google Cloud
• Modifiche o aggiornamenti importanti alla funzionalità di Dataproc

Le nuove versioni di anteprima (con suffisso -RC) vengono rilasciate prima del rilascio di una nuova versione principale:

• Le immagini di anteprima non sono destinate all'uso nei carichi di lavoro di produzione.
• Le versioni dei componenti delle immagini di anteprima potrebbero essere aggiornate alla versione più recente del componente disponibile nella versione dell'immagine GA post-anteprima.

Vengono create periodicamente nuove versioni minore per incorporare uno o più dei seguenti elementi:

• Uscite minori e aggiornamenti per:
  • Spark, Hadoop e altri componenti per big data
  • Connettori Google Cloud
• Modifiche o aggiornamenti minori alla funzionalità di Dataproc

Quando viene creata una nuova versione minore, la relativa immagine Debian diventa predefinita per la versione principale e rappresenta l'ultima release della versione principale.

Periodicamente vengono create nuove versioni di subminor per incorporare uno o più dei seguenti elementi:

• Patch o correzioni per un componente dell'immagine
• Upgrade delle versioni secondarie dei componenti

Supporto per la versione dell'immagine e Dataproc

Le versioni minori delle immagini sono supportate per 24 mesi dopo la release iniziale con disponibilità generale (GA). Durante questo periodo, i cluster che utilizzano le versioni immagine sono idonee per l'assistenza (per ricevere correzioni, ricreare il cluster utilizzando l'ultima versione dell'immagine secondaria supportata). Dopo il periodo di assistenza i cluster che utilizzano le versioni immagine non sono idonei per il supporto.

Vecchie versioni delle immagini

Distribuzioni del sistema operativo supportate in precedenza

In precedenza, erano supportate le seguenti distribuzioni del sistema operativo:

Versioni delle immagini senza distribuzione del sistema operativo esplicita

Prima del 16 agosto 2018, le versioni delle immagini venivano create con Debian 8 e il codice della distribuzione del sistema operativo veniva omesso. Sono specificati nel seguente formato:

version_major.version_minor.version_sub_minor

0,1 e 0,2

Versioni delle immagini rilasciate come release alpha o beta precedenti al Disponibilità generale della versione 1.0 di Dataproc non sono soggetti ai Criteri di assistenza di Dataproc.

Note importanti sulla gestione delle versioni

• Le versioni delle immagini contengono i seguenti componenti:
  • Componenti principali che vengono installati su tutti i cluster, come Spark, Hadoop e Hive
  • Componenti facoltativi che specifichi quando crei un cluster
• I cluster Dataproc non vengono aggiornati automaticamente quando vengono rilasciate nuove versioni delle immagini.
  • Consigli:
  • Esegui i cluster con l'ultima versione dell'immagine secondaria. I metadati dell'immagine includono un'etichetta previous-subminor, impostata su true se il cluster non utilizza la versione dell'immagine secondaria più recente.
    • Per visualizzare i metadati delle immagini:
      1. Esegui il seguente gcloud compute images list --filter comando per elencare il nome della risorsa di un'immagine Dataproc.

         gcloud compute images list --project=PROJECT_NAME --filter="labels.goog-dataproc-version ~ ^IMAGE_VERSION (such as 2.2.16-debian12)"
         

      2. Esegui il seguente gcloud compute images describe per visualizzare i metadati delle immagini.

         gcloud compute images describe --project=PROJECT_NAME IMAGE_NAME"
         

  • Testa e convalida il corretto funzionamento delle applicazioni sui cluster creati con nuove versioni delle immagini, in particolare quando utilizzi nuove release principali delle versioni delle immagini.