Versionsupgrades für Instanzen und Pipelines verwalten
Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Auf dieser Seite wird beschrieben, wie Sie die Version Ihrer Instanzen oder Batchpipelines aktualisieren.
Aktualisieren Sie Ihre Cloud Data Fusion-Instanzen und ‑Batchpipelines auf die neuesten Plattform- und Plug-in-Versionen, um die neuesten Funktionen, Fehlerkorrekturen und Leistungsverbesserungen zu erhalten.
Hinweise
Planen Sie eine geplante Ausfallzeit für das Upgrade.
Der Vorgang dauert bis zu einer Stunde.
In the Google Cloud console, activate Cloud Shell.
Nachdem Sie eine Cloud Data Fusion-Instanz erstellt haben, können Sie ihre Edition nicht mehr ändern, auch nicht durch ein Upgrade.
Lösen Sie kein Upgrade mit Terraform aus, da die Instanz dadurch gelöscht und neu erstellt wird, anstatt ein direktes Upgrade durchzuführen. Dieses Problem führt zum Verlust aller vorhandenen Daten in der Instanz.
Cloud Data Fusion startet Pipelines, die aufgrund des Upgradevorgangs beendet werden, nicht neu.
Wenn Sie ein Upgrade einer Instanz von Versionen vor 6.11.0 durchführen, müssen Sie mit längeren Ausfallzeiten rechnen, insbesondere wenn die Instanz viele Daten verarbeitet.
Das Upgrade von Echtzeit-Pipelines wird nicht unterstützt, außer bei Pipelines, die in Version 6.8.0 mit einer Kafka-Echtzeitquelle erstellt wurden. Eine Problemumgehung finden Sie unter Echtzeit-Pipelines aktualisieren.
Cloud Data Fusion-Instanzen aktualisieren
So aktualisieren Sie eine Cloud Data Fusion-Instanz auf eine neue Cloud Data Fusion-Version: Rufen Sie die Seite Instanzdetails auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.
Führen Sie in einer lokalen Cloud Shell-Sitzung den folgenden gcloud CLI-Befehl aus, um ein Upgrade auf eine neue Cloud Data Fusion-Version durchzuführen:
Empfohlen:Sichern Sie alle Pipelines. Sie haben zwei Möglichkeiten, Pipelines zu sichern:
So laden Sie die ZIP-Datei herunter:
Sichern Sie alle Pipelines mit dem folgenden Befehl, um einen ZIP-Datei-Download auszulösen:
echo$CDAP_ENDPOINT/v3/export/apps
Kopieren Sie die URL-Ausgabe in Ihren Browser.
Entpacken Sie die heruntergeladene Datei und prüfen Sie, ob alle Pipelines exportiert wurden. Die Pipelines sind nach Namespace organisiert.
Sichern Sie Pipelines mit Source Control Management (SCM), das ab Version 6.9 verfügbar ist. SCM bietet eine GitHub-Integration, mit der Sie Pipelines sichern können.
So aktualisieren Sie Pipelines:
Erstellen Sie eine Variable, die auf die Datei pipeline_upgrade.json verweist. Diese Datei erstellen Sie im nächsten Schritt, um eine Liste von Pipelines zu speichern.
export PIPELINE_LIST=PATH/pipeline_upgrade.json
Ersetzen Sie PATH durch den Pfad zur Datei.
Erstellen Sie mit dem folgenden Befehl eine Liste aller Pipelines für eine Instanz und einen Namespace. Das Ergebnis wird in der Datei $PIPELINE_LIST im Format JSON gespeichert. Sie können die Liste bearbeiten, um Pipelines zu entfernen, die nicht aktualisiert werden müssen.
Ersetzen Sie NAMESPACE_ID durch den Namespace, in dem das Upgrade ausgeführt werden soll.
Upgrade für die in pipeline_upgrade.json aufgeführten Pipelines ausführen
Fügen Sie die NAMESPACE_ID der Pipelines ein, die aktualisiert werden sollen.
Der Befehl zeigt eine Liste der aktualisierten Pipelines mit dem Upgradestatus an.
Das Upgrade von Echtzeit-Pipelines wird nicht unterstützt, mit Ausnahme von Pipelines, die in Version 6.8.0 mit einer Kafka-Echtzeitquelle erstellt wurden.
Für alles andere gehen Sie stattdessen so vor:
Beenden Sie die Pipelines und exportieren Sie sie.
Führen Sie ein Upgrade der Instanz durch.
Importieren Sie die Echtzeit-Pipelines in Ihre aktualisierte Instanz.
Upgrade zur Aktivierung der Replikation
Die Replikation kann in Cloud Data Fusion-Umgebungen ab Version 6.3.0 aktiviert werden. Wenn Sie Version 6.2.3 haben, führen Sie ein Upgrade auf Version 6.3.0 und dann auf die aktuelle Version durch. Anschließend können Sie die Replikation aktivieren.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-12 (UTC)."],[[["\u003cp\u003eThis guide explains how to upgrade Cloud Data Fusion instances and batch pipelines to the latest versions for improved features, bug fixes, and performance.\u003c/p\u003e\n"],["\u003cp\u003eBefore initiating an upgrade, it is mandatory to stop all running pipelines, suspend scheduled pipelines, and disable upstream triggers to avoid unpredictable issues and ensure instance availability.\u003c/p\u003e\n"],["\u003cp\u003eUpgrading a Cloud Data Fusion instance involves selecting a new version through the Google Cloud console or gcloud CLI, followed by verification of the successful upgrade within the instance's web interface.\u003c/p\u003e\n"],["\u003cp\u003eBatch pipeline upgrades require backing up pipelines, either by downloading a zip file or using Source Control Management, followed by using a specific command-line process to upgrade the pipelines listed in a JSON file.\u003c/p\u003e\n"],["\u003cp\u003eUpgrading real-time pipelines is generally not supported, but for real-time pipelines that were created with Kafka in version 6.8.0 it is, and a workaround for other real-time pipelines is to export the pipeline, upgrade the instance, then import the real-time pipeline into the new instance.\u003c/p\u003e\n"]]],[],null,["# Manage version upgrades for instances and pipelines\n\nThis page describes upgrading the version of your instances or batch\npipelines.\n\nUpgrade your Cloud Data Fusion instances and batch pipelines to the latest\nplatform and plugin versions for the latest features, bug fixes, and performance\nimprovements.\n\nBefore you begin\n----------------\n\n| **Caution:** Before you upgrade, stop all running pipelines, suspend all pipeline schedules and disable all upstream triggers, such as Cloud Composer triggers. Upgrading an instance that has running pipelines can have unpredictable results and affect instance availability.\n\n- **Plan a scheduled downtime for the upgrade.** The process takes up to an hour.\n- In the Google Cloud console, activate Cloud Shell.\n\n [Activate Cloud Shell](https://console.cloud.google.com/?cloudshell=true)\n\n\u003cbr /\u003e\n\nLimitations\n-----------\n\n- After you create a Cloud Data Fusion instance, you cannot change its\n edition, even through an upgrade operation.\n\n- Don't trigger an upgrade with Terraform, as it deletes and recreates the\n instance, instead of performing an in-place upgrade. This issue results\n in the loss of any existing data within the instance.\n\n- Cloud Data Fusion doesn't restart pipelines that stop as a result of\n the upgrade operation.\n\n- When you upgrade an instance from versions prior to 6.11.0, expect greater\n downtime for the upgrade, especially if the instance handles a lot of data.\n\n- Upgrading real-time pipelines isn't supported, except in pipelines created\n in version 6.8.0 with a Kafka real-time source. For a workaround, see\n [Upgrade real-time pipelines](#upgrade-real-time-pipelines).\n\nUpgrade Cloud Data Fusion instances\n-----------------------------------\n\nTo upgrade a Cloud Data Fusion instance to a new Cloud Data Fusion\nversion, go to the **Instance details** page:\n\n1. In the Google Cloud console, go to the Cloud Data Fusion page.\n\n2. Click **Instances** , and then click the instance's name to go to the\n **Instance details** page.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n\nThen perform the upgrade using either the Google Cloud console or\ngcloud CLI: \n\n### Console\n\n1. Click **Upgrade** for a list of available versions.\n\n2. Select a version.\n\n3. Click **Upgrade**.\n\n4. Verify that the upgrade was successful:\n\n 1. Refresh the **Instance details** page.\n\n 2. Click **View instance** to access the upgraded instance in the\n Cloud Data Fusion web interface.\n\n 3. Click **System admin** in the menu bar.\n\n The new version number appears at the top of the page.\n5. To prevent your pipelines from getting stuck when you run them in the\n new version, [grant the required roles](#grant-roles) in your upgraded\n instance.\n\n### gcloud\n\n1. To upgrade to a new Cloud Data Fusion version, run the following\n gcloud CLI command from a local terminal\n [Cloud Shell](https://console.cloud.google.com/?cloudshell=true) session:\n\n gcloud beta data-fusion instances update \u003cvar translate=\"no\"\u003eINSTANCE_ID\u003c/var\u003e \\\n --project=\u003cvar translate=\"no\"\u003ePROJECT_ID\u003c/var\u003e \\\n --location=\u003cvar translate=\"no\"\u003eLOCATION_NAME\u003c/var\u003e \\\n --version=\u003cvar translate=\"no\"\u003eAVAILABLE_INSTANCE_VERSION\u003c/var\u003e\n\n - Optional: If applicable for your instance, add the\n [`--enable_stackdriver_logging`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--enable_stackdriver_logging),\n [`--enable_stackdriver_monitoring`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--enable_stackdriver_monitoring), and\n [`--labels`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--labels) flags.\n\n - Optional: You can pass the CDAP properties, such as\n `enable.unrecoverable.reset`, as\n [`--options`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--options).\n\n2. Verify that the upgrade was successful by following these steps:\n\n 1. In the Google Cloud console, go to the Cloud Data Fusion\n **Instances** page.\n\n 2. Click **View instance** to access the upgraded instance in the\n Cloud Data Fusion web interface.\n\n 3. Click **System Admin** in the menu bar.\n\n The new version number appears at the top of the page.\n3. To prevent your pipelines from getting stuck when you run them in the\n new version, [grant the required roles](#grant-roles) in your upgraded\n instance.\n\nUpgrade batch pipelines\n-----------------------\n\nTo upgrade your Cloud Data Fusion batch pipelines to use the latest\nplugin versions:\n\n1. [Set environment variables](/data-fusion/docs/reference/cdap-reference#set-up).\n\n2. **Recommended:** Back up all pipelines. You can back up pipelines in one of\n two ways:\n\n - Download the zip file by following these steps:\n\n 1. To trigger a zip file download, back up all pipelines with the following command:\n\n echo $CDAP_ENDPOINT/v3/export/apps\n\n 1. Copy the URL output to your browser.\n 2. Extract the downloaded file, then confirm that all pipelines were exported. The pipelines are organized by namespace.\n - Back up pipelines using [Source Control Management](/data-fusion/docs/how-to/source-control-management)\n (SCM), available in version 6.9 and later. SCM provides GitHub\n integration, which you can use to back up pipelines.\n\n3. Upgrade pipelines by following these steps:\n\n 1. Create a variable that points to the `pipeline_upgrade.json` file that\n you will create in the next step to save a list of pipelines.\n\n export PIPELINE_LIST=\u003cvar translate=\"no\"\u003ePATH\u003c/var\u003e/pipeline_upgrade.json\n\n Replace \u003cvar translate=\"no\"\u003ePATH\u003c/var\u003e with the path to the file.\n 2. Create a list of all pipelines for an instance and namespace using\n the following command. The result is stored in the `$PIPELINE_LIST` file\n in `JSON` format. You can edit the list to remove pipelines that don't\n need upgrades.\n\n curl -H \"Authorization: Bearer $(gcloud auth print-access-token)\" -H \"Content-Type: application/json\" ${CDAP_ENDPOINT}/v3/namespaces/\u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e/apps -o $PIPELINE_LIST\n\n Replace \u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e with the namespace where you want the\n upgrade to happen.\n 3. Upgrade the pipelines listed in `pipeline_upgrade.json`.\n Insert the \u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e of pipelines to be upgraded.\n The command displays a list of upgraded pipelines with their upgrade\n status.\n\n curl -N -H \"Authorization: Bearer $(gcloud auth print-access-token)\" -H \"Content-Type: application/json\" ${CDAP_ENDPOINT}/v3/namespaces/\u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e/upgrade --data @$PIPELINE_LIST\n\n Replace \u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e with the namespace ID of the pipelines\n that are getting upgraded.\n4. To prevent your pipelines from getting stuck when you run them in the new\n version, [grant the required roles](#grant-roles) in your upgraded instance.\n\nUpgrade real-time pipelines\n---------------------------\n\nUpgrading real-time pipelines is not supported, except in pipelines created in\nversion 6.8.0 with a Kafka real-time source.\n\nFor everything else, you instead do the following:\n\n1. Stop and export the pipelines.\n2. Upgrade the instance.\n3. Import the real-time pipelines into your upgraded instance.\n\nUpgrade to enable Replication\n-----------------------------\n\nReplication can be enabled in Cloud Data Fusion\nenvironments in version 6.3.0 or later. If you have version 6.2.3, upgrade to\n6.3.0, then upgrade to the latest version. You can then [enable Replication](/data-fusion/docs/how-to/enable-replication).\n\nGrant roles for upgraded instances\n----------------------------------\n\nAfter the upgrade completes, grant the\n[Cloud Data Fusion Runner role](/data-fusion/docs/how-to/granting-service-account-permission#runtime-permission)\n(`roles/datafusion.runner`) and\n[Cloud Storage Admin role](/data-fusion/docs/how-to/granting-service-account-permission#admin-permission)\n(`roles/storage.admin`) to the Dataproc service account in your\n[project](/data-fusion/docs/concepts/security#projects).\n\nWhat's next\n-----------\n\n- [Manage patch revisions](/data-fusion/docs/how-to/upgrade-to-patch-revision) for Cloud Data Fusion instances.\n- Learn about [versioning in Cloud Data Fusion](/data-fusion/docs/concepts/versioning).\n- Refer to the [available version and patch revision upgrades](/data-fusion/docs/concepts/available-upgrades).\n- [Troubleshoot upgrades](/data-fusion/docs/support/troubleshoot-upgrades)."]]
