VPC Service Controls mit Cloud Data Fusion verwenden
Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Wenn Sie eine Cloud Data Fusion-Instanz mit einer privaten IP-Adresse erstellen möchten, können Sie für zusätzliche Sicherheit sorgen, indem Sie zuerst einen Sicherheitsbereich für die Instanz einrichten mithilfe von VPC Service Controls (VPC-SC) ..
Der VPC-SC-Sicherheitsbereich um die private Cloud Data Fusion-Instanz und andere Google Cloud Ressourcen trägt dazu bei, das Risiko einer Daten-Exfiltration zu verringern. Beispiel: Liest bei VPC Service Controls eine Cloud Data Fusion-Pipeline Daten aus einer unterstützten Ressource wie einem BigQuery-Dataset aus, die sich im Perimeter befindet, und versucht die Ausgabe dann in eine Ressource außerhalb des Perimeters zu schreiben, schlägt die Pipeline fehl.
Cloud Data Fusion-Ressourcen werden auf zwei API-Oberflächen verfügbar gemacht:
Die Steuerungsebene-API-Oberfläche datafusion.googleapis.com, mit der Sie Vorgänge auf Instanzebene ausführen können, z. B. das Erstellen und Löschen von Instanzen.
Die Datenebene-API-Oberfläche datafusion.googleusercontent.com (die Cloud Data Fusion-Web-UI in der Google Cloud Console), die auf einer Cloud Data Fusion-Instanz ausgeführt wird, um Datenpipelines zu erstellen und auszuführen.
Sie richten VPC Service Controls mit Cloud Data Fusion ein, indem Sie die Verbindung auf diese beiden API-Oberflächen beschränken.
Strategien
Cloud Data Fusion-Pipelines werden auf Dataproc-Clustern ausgeführt.
Wenn Sie einen Dataproc-Cluster mit einem Dienstperimeter schützen möchten, folgen Sie der Anleitung zum Einrichten privater Verbindungen, damit der Cluster innerhalb des Perimeters funktionieren kann.
Verwenden Sie keine Plug-ins, die Google Cloud APIs nutzen, die nicht von VPC Service Controls unterstützt werden.
Wenn Sie nicht unterstützte Plug-ins verwenden, blockiert Cloud Data Fusion die API-Aufrufe, was zu einer Pipelinevorschau und einem Ausführungsfehler führt.
Zur Verwendung von Cloud Data Fusion in einem VPC Service Controls-Dienstperimeter fügen Sie mehrere DNS-Einträge hinzu oder konfigurieren Sie diese, um die folgenden Domains auf die eingeschränkte VIP (virtuelle IP-Adresse) zu verweisen:
datafusion.googleapis.com
*.datafusion.googleusercontent.com
*.datafusion.cloud.google.com
Beschränkungen:
Richten Sie den VPC Service Controls-Sicherheitsperimeter ein, bevor Sie Ihre private Cloud Data Fusion-Instanz erstellen. Der Perimeterschutz für Instanzen, die vor der Einrichtung von VPC Service Controls erstellt wurden, wird nicht unterstützt.
Derzeit unterstützt die Cloud Data Fusion-Datenebenen-UI nicht die Angabe von Zugriffsebenen mithilfe des identitätsbasierten Zugriffs.
Konfigurieren Sie das DNS mithilfe der folgenden Schritte für die Domains *.datafusion.googleusercontent.com und *.datafusion.cloud.google.com, um eine private Verbindung zur API-Datenebene einzurichten.
Netzwerk: Wählen Sie das private IP-Netzwerk aus, das Sie beim Erstellen der Cloud Data Fusion-Instanz ausgewählt haben.
Klicken Sie auf der Seite Cloud DNS auf den DNS-Zonennamen datafusiongoogleusercontent, um die Seite Zonendetails zu öffnen. Zwei Einträge werden aufgelistet: ein NS- und ein SOA-Eintrag.
Verwenden Sie Standard hinzufügen, um die folgenden beiden Datensätze Ihrer DNS-Zone „datafusiongoogleusercontent“ hinzuzufügen.
Fügen Sie einen CNAME-Eintrag hinzu: Füllen Sie im Dialogfeld Eintragsgruppe erstellen die folgenden Felder aus, um den DNS-Namen *.datafusion.googleusercontent.com. dem kanonischen Namen datafusion.googleusercontent.com zuzuordnen:
Einen A-Eintrag hinzufügen: Füllen Sie in einem neuen Dialogfeld Datensatz erstellen die folgenden Felder aus, um den DNS-Namen datafusion.googleusercontent.com. den IP-Adressen 199.36.153.4 - 199.36.153.7 zuzuordnen:
DNS-Name: ".datafusion.googleusercontent.com"
IPv4-Adresse
199.36.153.4
199.36.153.5
199.36.153.6
199.36.153.7
Auf der datafusiongoogleusercontentZonendetails-Seite werden die folgenden Datensätze angezeigt:
Führen Sie die oben genannten Schritte aus, um eine private DNS-Zone zu erstellen und einen Datensatz für die Domain *.datafusion.cloud.google.com hinzuzufügen.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-12 (UTC)."],[[["\u003cp\u003eVPC Service Controls enhances security for private Cloud Data Fusion instances by creating a security perimeter to mitigate data exfiltration risks.\u003c/p\u003e\n"],["\u003cp\u003eTo utilize VPC Service Controls with Cloud Data Fusion, it is necessary to restrict connectivity to both the \u003ccode\u003edatafusion.googleapis.com\u003c/code\u003e control plane API surface and the \u003ccode\u003edatafusion.googleusercontent.com\u003c/code\u003e data plane API surface.\u003c/p\u003e\n"],["\u003cp\u003eCloud Data Fusion's service perimeter can be configured by setting up private connectivity for Dataproc clusters and avoiding unsupported plugins.\u003c/p\u003e\n"],["\u003cp\u003eSetting up VPC Service Controls for Cloud Data Fusion instances involves configuring DNS entries to point \u003ccode\u003edatafusion.googleapis.com\u003c/code\u003e, \u003ccode\u003e*.datafusion.googleusercontent.com\u003c/code\u003e, and \u003ccode\u003e*.datafusion.cloud.google.com\u003c/code\u003e domains to the restricted VIP.\u003c/p\u003e\n"],["\u003cp\u003eVPC Service Control perimeters should be established before creating a private Cloud Data Fusion instance, as protecting existing instances created before the perimeter is set up is unsupported.\u003c/p\u003e\n"]]],[],null,["# Use VPC Service Controls with Cloud Data Fusion\n\nIf you plan to create a [Cloud Data Fusion instance with a private IP address](/data-fusion/docs/how-to/create-private-ip),\nyou can provide additional security by first establishing a security perimeter\nfor the instance using [VPC Service Controls (VPC-SC)](/vpc-service-controls/docs/overview).\nThe VPC-SC security perimeter around the private\nCloud Data Fusion instance and other Google Cloud resources helps\nmitigate the risk of data exfiltration. For example, with\nVPC Service Controls, if a Cloud Data Fusion pipeline reads data\nfrom a [supported resource](/vpc-service-controls/docs/supported-products),\nsuch as a BigQuery dataset, located within the perimeter,\nthen tries to write the output to a resource outside the perimeter, the pipeline\nwill fail.\n\nCloud Data Fusion resources are exposed on two API surfaces:\n\n1. The `datafusion.googleapis.com` control plane API surface, which\n allows you to perform instance-level operations, such as the creation and\n deletion of instances.\n\n2. The `datafusion.googleusercontent.com` data plane API surface (the\n [Cloud Data Fusion Web UI](/data-fusion/docs/concepts/overview#using_the_code-free_web_ui)\n in the Google Cloud console), which executes on a Cloud Data Fusion\n instance to create and execute data pipelines.\n\nYou set up VPC Service Controls with Cloud Data Fusion by\nrestricting connectivity to both of these API surfaces.\n\nStrategies:\n\n- Cloud Data Fusion pipelines are executed on Dataproc clusters.\n To protect a Dataproc cluster with a service perimeter,\n follow the instructions for\n [setting up private connectivity](/vpc-service-controls/docs/set-up-private-connectivity)\n to allow the cluster to function inside the perimeter.\n\n- Don't use plugins that use Google Cloud APIs that are not [supported by\n VPC Service Controls](/vpc-service-controls/docs/supported-products).\n If you use unsupported plugins, Cloud Data Fusion will block the API calls,\n resulting in pipeline preview and execution failure.\n\n- To use Cloud Data Fusion within a VPC Service Controls service\n perimeter, add or configure several DNS entries to point the\n following domains to the restricted VIP (Virtual IP address):\n\n - `datafusion.googleapis.com`\n - `*.datafusion.googleusercontent.com`\n - `*.datafusion.cloud.google.com`\n\nLimitations:\n\n- Establish the VPC Service Controls security perimeter before creating your\n Cloud Data Fusion private instance. Perimeter protection for\n instances created prior to setting up VPC Service Controls is not\n supported.\n\n- Currently, the Cloud Data Fusion data plane UI does not support\n specifying access levels using [identity based access](/access-context-manager/docs/create-basic-access-level#members-example).\n\nRestricting Cloud Data Fusion API surfaces\n------------------------------------------\n\n### Restricting the control plane surface\n\nSee [Setting up private connectivity to Google APIs and services](/vpc-service-controls/docs/set-up-private-connectivity)\nto restrict connectivity to the `datafusion.googleapis.com` API control plane\nsurface.\n\n### Restricting the data plane surface\n\nTo set up private connectivity to the API data plane,\nconfigure DNS by completing the following steps for both the `*.datafusion.googleusercontent.com` and `*.datafusion.cloud.google.com` domains.\n\n1. Create a new private [zone using Cloud DNS](https://console.cloud.google.com/net-services/dns/zones):\n\n 1. Zone type: Check **private**\n 2. Zone name: datafusiongoogleusercontentcom\n 3. DNS name: datafusion.googleusercontent.com\n 4. Network: Select the private IP network you chose when you created your\n Cloud Data Fusion instance.\n\n2. From the [Cloud DNS](https://console.cloud.google.com/net-services/dns/zones) page, click your\n `datafusiongoogleusercontent` DNS zone name to open the\n **Zone details** page. Two records are listed: an NS and an SOA record.\n Use **Add Standard** to add the following two record sets to your\n datafusiongoogleusercontent DNS zone.\n\n 1. Add a CNAME record: In the **Create record set** dialog, fill\n in the following fields to map DNS name `*.datafusion.googleusercontent.com.`\n to the canonical name `datafusion.googleusercontent.com`:\n\n - DNS name: \"\\*.datafusion.googleusercontent.com\"\n - Canonical name: \"datafusion.googleusercontent.com\"\n\n 2. Add an A record: In a new **Create record set** dialog, fill\n in the following fields to map DNS name `datafusion.googleusercontent.com.`\n to IP addresses `199.36.153.4` - `199.36.153.7`:\n\n - DNS name: \".datafusion.googleusercontent.com\"\n - IPv4 address:\n\n - 199.36.153.4\n - 199.36.153.5\n - 199.36.153.6\n - 199.36.153.7\n\n The `datafusiongoogleusercontent` **Zone details** page shows the\n following record sets:\n3. Follow the above steps to create a private DNS zone and add a record set\n for the `*.datafusion.cloud.google.com` domain.\n\nWhat's next\n-----------\n\n- Learn about [Creating a private instance](/data-fusion/docs/how-to/create-private-ip).\n- Learn more about [VPC Service Controls](/vpc-service-controls/docs)."]]