Usar o VPC Service Controls com o Cloud Data Fusion
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Se você planeja criar um Instância do Cloud Data Fusion com um endereço IP particular , forneça segurança extra estabelecendo primeiro um perímetro de segurança para a instância usando VPC Service Controls (VPC-SC).
O perímetro de segurança VPC-SC em torno da instância particular do Cloud Data Fusion e de outros Google Cloud recursos ajuda a reduzir o risco de exfiltração de dados. Por exemplo, com o VPC Service Controls, se um pipeline do Cloud Data Fusion ler dados de um recurso compatível, como um conjunto de dados do BigQuery, localizado no perímetro, e tentar gravar a saída em um recurso fora do perímetro, o pipeline falhará.
Os recursos do Cloud Data Fusion são expostos em duas plataformas de API:
A plataforma da API do plano de controle datafusion.googleapis.com, que permite realizar operações no nível da instância, como criar e excluir instâncias.
A plataforma da API do plano de dados datafusion.googleusercontent.com (a
IU da Web do Cloud Data Fusion
no console Google Cloud ), que é executada em uma instância do Cloud Data Fusion
para criar e executar pipelines de dados.
Você configura o VPC Service Controls com o Cloud Data Fusion restringindo a conectividade a essas duas plataformas de API.
Estratégias:
Os pipelines do Cloud Data Fusion são executados em clusters do Dataproc.
Para proteger um cluster do Dataproc com um perímetro de serviço, siga as instruções para configurar a conectividade privada e permitir que o cluster funcione dentro do perímetro.
Não use plug-ins que usem APIs Google Cloud que não sejam compatíveis com o
VPC Service Controls.
Se você usar plug-ins incompatíveis, o Cloud Data Fusion bloqueará as chamadas de API, resultando em falha na visualização e execução do pipeline.
Para usar o Cloud Data Fusion em um perímetro de serviço do VPC Service Controls, adicione ou configure várias entradas DNS para apontar os domínios a seguir para o VIP restrito (endereço IP virtual):
datafusion.googleapis.com
*.datafusion.googleusercontent.com
*.datafusion.cloud.google.com
Limitações:
Estabeleça o perímetro de segurança do VPC Service Controls antes de criar a instância particular do Cloud Data Fusion. A proteção de perímetro para
instâncias criadas antes da configuração do VPC Service Controls não é
compatível.
Atualmente, a IU do plano de dados do Cloud Data Fusion não é compatível
com a especificação de níveis de acesso usando o acesso baseado em identidade.
Como restringir as plataformas da API Cloud Data Fusion
Para configurar a conectividade privada com o plano de dados da API, configure o DNS concluindo as etapas a seguir para os domínios *.datafusion.googleusercontent.com e *.datafusion.cloud.google.com.
Rede: selecione a rede IP privada que você escolheu ao criar sua instância do Cloud Data Fusion.
Na página Cloud DNS, clique no nome da zona DNS datafusiongoogleusercontent para abrir a página Detalhes da zona. Dois registros são listados: um NS e um registro SOA.
Use Adicionar padrão para adicionar os dois conjuntos de registros a seguir à zona de DNS datafusiongoogleusercontent.
Adicionar um registro CNAME: na caixa de diálogo Criar conjunto de registros, preencha os seguintes campos para mapear o nome DNS *.datafusion.googleusercontent.com. para o nome canônico datafusion.googleusercontent.com:
Nome DNS: "*.datafusion.googleusercontent.com"
Nome canônico: "datafusion.googleusercontent.com"
Adicionar um registro A: em uma nova caixa de diálogo Criar conjunto de registros, preencha
os seguintes campos para mapear o nome do DNS datafusion.googleusercontent.com.
para endereços IP 199.36.153.4 - 199.36.153.7:
Nome DNS: ".datafusion.googleusercontent.com"
Endereço IPv4:
199.36.153.4
199.36.153.5
199.36.153.6
199.36.153.7
A página datafusiongoogleusercontentDetalhes da zona mostra os seguintes conjuntos de registros:
Siga as etapas acima para criar uma zona DNS particular e adicionar um conjunto de registros para o domínio *.datafusion.cloud.google.com.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-08-12 UTC."],[[["\u003cp\u003eVPC Service Controls enhances security for private Cloud Data Fusion instances by creating a security perimeter to mitigate data exfiltration risks.\u003c/p\u003e\n"],["\u003cp\u003eTo utilize VPC Service Controls with Cloud Data Fusion, it is necessary to restrict connectivity to both the \u003ccode\u003edatafusion.googleapis.com\u003c/code\u003e control plane API surface and the \u003ccode\u003edatafusion.googleusercontent.com\u003c/code\u003e data plane API surface.\u003c/p\u003e\n"],["\u003cp\u003eCloud Data Fusion's service perimeter can be configured by setting up private connectivity for Dataproc clusters and avoiding unsupported plugins.\u003c/p\u003e\n"],["\u003cp\u003eSetting up VPC Service Controls for Cloud Data Fusion instances involves configuring DNS entries to point \u003ccode\u003edatafusion.googleapis.com\u003c/code\u003e, \u003ccode\u003e*.datafusion.googleusercontent.com\u003c/code\u003e, and \u003ccode\u003e*.datafusion.cloud.google.com\u003c/code\u003e domains to the restricted VIP.\u003c/p\u003e\n"],["\u003cp\u003eVPC Service Control perimeters should be established before creating a private Cloud Data Fusion instance, as protecting existing instances created before the perimeter is set up is unsupported.\u003c/p\u003e\n"]]],[],null,["# Use VPC Service Controls with Cloud Data Fusion\n\nIf you plan to create a [Cloud Data Fusion instance with a private IP address](/data-fusion/docs/how-to/create-private-ip),\nyou can provide additional security by first establishing a security perimeter\nfor the instance using [VPC Service Controls (VPC-SC)](/vpc-service-controls/docs/overview).\nThe VPC-SC security perimeter around the private\nCloud Data Fusion instance and other Google Cloud resources helps\nmitigate the risk of data exfiltration. For example, with\nVPC Service Controls, if a Cloud Data Fusion pipeline reads data\nfrom a [supported resource](/vpc-service-controls/docs/supported-products),\nsuch as a BigQuery dataset, located within the perimeter,\nthen tries to write the output to a resource outside the perimeter, the pipeline\nwill fail.\n\nCloud Data Fusion resources are exposed on two API surfaces:\n\n1. The `datafusion.googleapis.com` control plane API surface, which\n allows you to perform instance-level operations, such as the creation and\n deletion of instances.\n\n2. The `datafusion.googleusercontent.com` data plane API surface (the\n [Cloud Data Fusion Web UI](/data-fusion/docs/concepts/overview#using_the_code-free_web_ui)\n in the Google Cloud console), which executes on a Cloud Data Fusion\n instance to create and execute data pipelines.\n\nYou set up VPC Service Controls with Cloud Data Fusion by\nrestricting connectivity to both of these API surfaces.\n\nStrategies:\n\n- Cloud Data Fusion pipelines are executed on Dataproc clusters.\n To protect a Dataproc cluster with a service perimeter,\n follow the instructions for\n [setting up private connectivity](/vpc-service-controls/docs/set-up-private-connectivity)\n to allow the cluster to function inside the perimeter.\n\n- Don't use plugins that use Google Cloud APIs that are not [supported by\n VPC Service Controls](/vpc-service-controls/docs/supported-products).\n If you use unsupported plugins, Cloud Data Fusion will block the API calls,\n resulting in pipeline preview and execution failure.\n\n- To use Cloud Data Fusion within a VPC Service Controls service\n perimeter, add or configure several DNS entries to point the\n following domains to the restricted VIP (Virtual IP address):\n\n - `datafusion.googleapis.com`\n - `*.datafusion.googleusercontent.com`\n - `*.datafusion.cloud.google.com`\n\nLimitations:\n\n- Establish the VPC Service Controls security perimeter before creating your\n Cloud Data Fusion private instance. Perimeter protection for\n instances created prior to setting up VPC Service Controls is not\n supported.\n\n- Currently, the Cloud Data Fusion data plane UI does not support\n specifying access levels using [identity based access](/access-context-manager/docs/create-basic-access-level#members-example).\n\nRestricting Cloud Data Fusion API surfaces\n------------------------------------------\n\n### Restricting the control plane surface\n\nSee [Setting up private connectivity to Google APIs and services](/vpc-service-controls/docs/set-up-private-connectivity)\nto restrict connectivity to the `datafusion.googleapis.com` API control plane\nsurface.\n\n### Restricting the data plane surface\n\nTo set up private connectivity to the API data plane,\nconfigure DNS by completing the following steps for both the `*.datafusion.googleusercontent.com` and `*.datafusion.cloud.google.com` domains.\n\n1. Create a new private [zone using Cloud DNS](https://console.cloud.google.com/net-services/dns/zones):\n\n 1. Zone type: Check **private**\n 2. Zone name: datafusiongoogleusercontentcom\n 3. DNS name: datafusion.googleusercontent.com\n 4. Network: Select the private IP network you chose when you created your\n Cloud Data Fusion instance.\n\n2. From the [Cloud DNS](https://console.cloud.google.com/net-services/dns/zones) page, click your\n `datafusiongoogleusercontent` DNS zone name to open the\n **Zone details** page. Two records are listed: an NS and an SOA record.\n Use **Add Standard** to add the following two record sets to your\n datafusiongoogleusercontent DNS zone.\n\n 1. Add a CNAME record: In the **Create record set** dialog, fill\n in the following fields to map DNS name `*.datafusion.googleusercontent.com.`\n to the canonical name `datafusion.googleusercontent.com`:\n\n - DNS name: \"\\*.datafusion.googleusercontent.com\"\n - Canonical name: \"datafusion.googleusercontent.com\"\n\n 2. Add an A record: In a new **Create record set** dialog, fill\n in the following fields to map DNS name `datafusion.googleusercontent.com.`\n to IP addresses `199.36.153.4` - `199.36.153.7`:\n\n - DNS name: \".datafusion.googleusercontent.com\"\n - IPv4 address:\n\n - 199.36.153.4\n - 199.36.153.5\n - 199.36.153.6\n - 199.36.153.7\n\n The `datafusiongoogleusercontent` **Zone details** page shows the\n following record sets:\n3. Follow the above steps to create a private DNS zone and add a record set\n for the `*.datafusion.cloud.google.com` domain.\n\nWhat's next\n-----------\n\n- Learn about [Creating a private instance](/data-fusion/docs/how-to/create-private-ip).\n- Learn more about [VPC Service Controls](/vpc-service-controls/docs)."]]
