Dataproc-Versionsverwaltung

Dataproc verwendet Images, um nützliche Google Cloud-Connectors sowie Apache Spark- und Apache Hadoop-Komponenten zu einem Paket zusammenzufassen, das in einem Dataproc-Cluster bereitgestellt werden kann. Diese Images enthalten das Basis-Betriebssystem (Debian oder Ubuntu) für den Cluster sowie Kernkomponenten und optionale Komponenten, die für die Ausführung von Jobs erforderlich sind, z. B. Spark, Hadoop und Hive. Die Images werden regelmäßig mit neuen Verbesserungen und Funktionen aktualisiert. Mit der Dataproc-Versionsverwaltung können Sie beim Erstellen von Clustern Sätze von Softwareversionen auswählen.

So funktioniert die Versionierung

Images erhalten bei ihrer Erstellung eine Image-Versionsnummer im folgenden Format:

version_major.version_minor.version_sub_minor-os_distribution

Die folgenden Betriebssystem-Distributionen werden gepflegt:

Weitere Informationen zu zuvor unterstützten Betriebssystem-Distributionen finden Sie unter Alte Image-Versionen.

Die empfohlene Vorgehensweise besteht darin, die Image-Version major.minor für Produktionsumgebungen oder in dem Fall anzugeben, dass die Kompatibilität mit bestimmten Komponentenversionen wichtig ist. Die Sub-Minor- und Betriebssystem-Distributionen werden automatisch auf die neueste wöchentliche Version eingestellt.

Versionen auswählen

Beim Erstellen eines neuen Dataproc-Clusters wird standardmäßig die neueste verfügbare Debian-Image-Version verwendet. Sie können beim Erstellen eines Clusters eine Debian-, Rocky Linux- oder Ubuntu-Image-Version auswählen. Weitere Informationen finden Sie unter Liste der Dataproc-Image-Versionen. Bei der Angabe von Debian-basierten Images können Sie das Suffix für den Betriebssystem-Distributionscode weglassen, indem Sie beispielsweise 2.0 angeben, um das Image 2.0-debian10 auszuwählen. Das Betriebssystemsuffix muss dagegen verwendet werden, um ein Rocky Linux- oder Ubuntu-basiertes Image auszuwählen, z. B. durch Angabe von 2.0-ubuntu18.

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0 \
    --region=REGION

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0-ubuntu18 \
    --region=REGION

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION

POST /v1/projects/project-id/regions/us-central1/clusters/
{
  "projectId": "project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-b"
    },
    "masterConfig": {
      ...
      }
    },
    "workerConfig": {
      ...
      }
    },
    "softwareConfig": {
      "imageVersion": "2.0"
    }
  }
}
  

Wann neue Versionen erstellt werden

Neue Hauptversionen werden regelmäßig erstellt, um mindestens eine der folgenden Komponenten einzubeziehen:

• Hauptversionen für:
  • Spark, Hadoop und andere Big Data-Komponenten
  • Google Cloud -Connectors
• Größere Änderungen oder Aktualisierungen an der Dataproc-Funktionalität

Neue Vorschauversionen (mit dem Suffix -RC) werden vor der Veröffentlichung einer neuen Hauptversion veröffentlicht:

• Vorschaubilder sind nicht für die Verwendung in Produktionsarbeitslasten vorgesehen.
• Komponentenversionen von Preview-Images werden möglicherweise auf die neueste verfügbare Komponentenversion in der GA-Image-Version nach der Preview aktualisiert.

Neue Nebenversionen werden regelmäßig erstellt, um mindestens eine der folgenden Komponenten einzubeziehen:

• Nebenversionen und Aktualisierungen für:
  • Spark, Hadoop und andere Big Data-Komponenten
  • Google Cloud -Connectors
• Geringfügige Änderungen oder Aktualisierungen an der Dataproc-Funktionalität

Wenn eine Nebenversion neu erstellt wird, wird deren Debian-Image zum Standard der Hauptversion und stellt den neuesten Release der Hauptversion dar.

Neue Sub-Minor-Versionen werden regelmäßig erstellt, um eines oder mehrere der folgenden Elemente einzubinden:

• Patches oder Korrekturen für eine Komponente im Image
• Upgrades von untergeordneten Nebenversionen von Komponenten

Unterstützung für Image-Version und Dataproc

Nebenversionen des Image werden nach dem ersten GA-Release (General Availability, allgemeine Verfügbarkeit) für 24 Monate unterstützt. In diesem Zeitraum haben Cluster, die diese Image-Versionen verwenden, Anspruch auf Support, um Korrekturen zu erhalten und Cluster mit der neuesten unterstützten Sub-Minor-Version des Image neu zu erstellen. Nachdem das Support-Fenster geschlossen wurde, sind Cluster, die diese Image-Versionen verwenden, nicht mehr supportberechtigt.

Alte Bildversionen

Zuvor unterstützte Betriebssystem-Distributionen

Die folgenden Betriebssystem-Distributionen wurden zuvor unterstützt:

Image-Versionen ohne explizite Betriebssystem-Distribution

Vor dem 16. August 2018 wurden Image-Versionen mit Debian 8 erstellt und der Betriebssystem-Distributionscode wurde weggelassen. Sie werden in folgendem Format angegeben:

version_major.version_minor.version_sub_minor

Versionen 0.1 und 0.2

Image-Versionen, die vor der allgemeinen Verfügbarkeit von Cloud Dataproc Version 1.0 als Alpha- oder Betaversionen veröffentlicht wurden, unterliegen nicht den Supportrichtlinien von Cloud Dataproc.

Wichtige Hinweise zu Versionen

• Bildversionen enthalten die folgenden Komponenten:
  • Kernkomponenten, die auf allen Clustern installiert sind, z. B. Spark, Hadoop und Hive
  • Optionale Komponenten, die Sie beim Erstellen eines Clusters angeben
• Ihre Dataproc-Cluster werden nicht automatisch aktualisiert, wenn neue Image-Versionen veröffentlicht werden.
  • Empfehlungen:
  • Führen Sie Cluster mit der neuesten Sub-Minor-Version des Image aus. Die Bildmetadaten enthalten das Label previous-subminor, das auf true gesetzt ist, wenn im Cluster nicht die neueste untergeordnete Image-Version verwendet wird.
    • So rufen Sie Bildmetadaten auf:
      1. Führen Sie den folgenden gcloud compute images list --filter-Befehl aus, um den Ressourcennamen eines Dataproc-Images aufzulisten.

         gcloud compute images list --project=PROJECT_NAME --filter="labels.goog-dataproc-version ~ ^IMAGE_VERSION (such as 2.2.16-debian12)"
         

      2. Führen Sie den folgenden gcloud compute images describe aus, um die Bildmetadaten aufzurufen.

         gcloud compute images describe --project=PROJECT_NAME IMAGE_NAME"
         

  • Testen Sie, ob Ihre Anwendungen auf Clustern, die mit neuen Image-Versionen erstellt wurden, ordnungsgemäß ausgeführt werden. Dies gilt insbesondere für neue Hauptversionen.