Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Usar transferências de terceiros
As transferências de terceiros para o serviço de transferência de dados do BigQuery permitem que você programe e gerencie automaticamente jobs de carregamento recorrentes para origens de dados externas, como Salesforce CRM, Adobe Analytics e Facebook Ads.
Antes de começar
Antes de criar uma transferência de dados de terceiros, siga estas recomendações:
Certifique-se de que a pessoa que está criando a transferência tenha as seguintes permissões necessárias no BigQuery:
Permissões bigquery.transfers.update para criar a transferência
As permissões bigquery.datasets.get e bigquery.datasets.update no conjunto de dados de destino
O papel predefinido bigquery.admin do IAM
inclui permissões
bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Para mais informações sobre
os papéis do IAM no serviço de transferência de dados do BigQuery, consulte o
controle de acesso.
Consulte a documentação da origem de dados de terceiros para verificar se você
configurou as permissões necessárias para ativar a transferência.
Se você pretende configurar notificações de execução de transferência do Pub/Sub,
é preciso ter permissões pubsub.topics.setIamPolicy. As permissões do Pub/Sub não serão necessárias se você configurar notificações por e-mail. Para mais informações, consulte Notificações de execução do serviço de transferência de dados do BigQuery.
Limitações
As transferências de terceiros estão sujeitas às seguintes limitações:
Você precisa criar ou atualizar uma transferência de terceiros usando o Console do Google Cloud.
Atualmente, não é possível configurar ou atualizar as transferências de terceiros usando a
ferramenta de linha de comando bq.
Configurar uma transferência de dados de terceiros
Para criar uma transferência de dados de terceiros usando o Console do Google Cloud, faça o seguinte:
Na página de documentação do provedor terceirizado, clique em Inscrever-se. O processo de inscrição pode demorar um pouco.
Após a conclusão da inscrição, clique em Configurar transferência.
Na página Criar transferência:
Para Origem, escolha a origem de dados de terceiros apropriada. Clique em Explorar origens de dados para ver uma lista de provedores de terceiros no Google Cloud Marketplace.
Em Nome de exibição, insira um nome para a transferência, como My Transfer.
Ele pode ter qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la no futuro.
Para Programação, deixe o valor padrão Iniciar agora ou clique em Iniciar em um horário definido.
Para Repetições, escolha uma opção para a frequência de execução da transferência.
As opções incluem:
Diário (padrão)
Semanal
Mensal
Personalizadas
Sob demanda
Se você escolher uma opção diferente de "Diário", outras opções estarão disponíveis. Por exemplo, se você escolher "Semanal", aparecerá uma opção para selecionar o dia da semana.
Para Data e hora de início, insira a data e a hora para iniciar a transferência. Se você escolher Iniciar agora, essa opção ficará desativada.
Para o Conjunto de dados de destino, escolha o conjunto de dados que você criou para armazenar seus dados.
(Opcional) Na seção Opções de notificação:
Clique no botão para ativar as notificações por e-mail. Quando você ativa essa
opção, o administrador de transferência recebe uma notificação por e-mail quando uma
execução de transferência falha.
Em Selecionar um tópico do Pub/Sub, escolha o nome do seu tópico
ou clique em Criar um tópico. Essa opção configura
notificações de execução do Pub/Sub
para sua transferência.
Clique em Conectar origem.
Quando solicitado, clique em Aceitar para permitir que o serviço de transferência de dados do BigQuery se conecte à origem de dados e gerencie seus dados no BigQuery.
Siga as instruções nas próximas páginas para configurar a conexão com sua origem de dados externa.
Depois de concluir as etapas de configuração, clique em Salvar.
Resolver problemas na configuração de transferências de terceiros
Se você tiver problemas ao configurar sua transferência, consulte o fornecedor terceirizado apropriado. As informações de contato estão disponíveis na página de documentação da transferência no Google Cloud Marketplace.
Consultar dados
Quando os dados são transferidos para o BigQuery, eles são gravados em tabelas particionadas por tempo de processamento. Para mais informações, consulte
Introdução às tabelas particionadas.
Use a pseudocoluna _PARTITIONTIME para consultar suas tabelas diretamente em vez de usar visualizações geradas automaticamente. Para mais informações, veja Como consultar tabelas particionadas.
Para informações sobre o uso de transferências, incluindo ver detalhes sobre a configuração,
listar configurações e visualizar o histórico de execução, consulte Como trabalhar com transferências.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-04-21 UTC."],[[["\u003cp\u003eThird party transfers in BigQuery Data Transfer Service enable automated, recurring data loading from external sources like Salesforce CRM, Adobe Analytics, and Facebook Ads.\u003c/p\u003e\n"],["\u003cp\u003eBefore creating a third party transfer, you must have enabled BigQuery Data Transfer Service, created a BigQuery dataset, and ensured proper permissions like \u003ccode\u003ebigquery.transfers.update\u003c/code\u003e and \u003ccode\u003ebigquery.datasets.update\u003c/code\u003e on the dataset.\u003c/p\u003e\n"],["\u003cp\u003eThird party transfers must be created or updated through the Google Cloud console, as they are not currently supported by the bq command-line tool.\u003c/p\u003e\n"],["\u003cp\u003eSetting up a third party transfer involves navigating to the Google Cloud Marketplace, selecting a provider, enrolling, configuring the transfer settings, connecting to the data source, and saving.\u003c/p\u003e\n"],["\u003cp\u003eTransferred data is written to ingestion-time partitioned tables in BigQuery, which requires using the \u003ccode\u003e_PARTITIONTIME\u003c/code\u003e pseudocolumn when querying directly.\u003c/p\u003e\n"]]],[],null,["# Use third party transfers\n=========================\n\nThird party transfers for BigQuery Data Transfer Service allow you to automatically\nschedule and manage recurring load jobs for external data sources such as\nSalesforce CRM, Adobe Analytics, and Facebook Ads.\n\nBefore you begin\n----------------\n\nBefore you create a third party data transfer:\n\n- Verify that you have completed all actions required to [enable the BigQuery Data Transfer Service](/bigquery/docs/enable-transfer-service).\n- [Create a BigQuery dataset](/bigquery/docs/datasets) to store the data.\n- Ensure that the person creating the transfer has the following required\n permissions in BigQuery:\n\n - `bigquery.transfers.update` permissions to create the transfer\n - Both `bigquery.datasets.get` and `bigquery.datasets.update` permissions on the target dataset\n\n The `bigquery.admin` predefined IAM role\n includes `bigquery.transfers.update`, `bigquery.datasets.update` and\n `bigquery.datasets.get` permissions. For more information on\n IAM roles in BigQuery Data Transfer Service, see\n [Access control](/bigquery/docs/access-control).\n- Consult the documentation for your third party data source to ensure you have\n configured any permissions necessary to enable the transfer.\n\n- If you intend to setup transfer run notifications for Pub/Sub, you\n must have `pubsub.topics.setIamPolicy` permissions. Pub/Sub\n permissions are not required if you just set up email notifications. For more\n information, see\n [BigQuery Data Transfer Service run notifications](/bigquery/docs/transfer-run-notifications).\n\nLimitations\n-----------\n\nThird party transfers are subject to the following limitations:\n\n- You must create or update a third party transfer by using the Google Cloud console.\n- Currently, you cannot configure or update a third party transfers by using the bq command-line tool.\n\nSet up a third party data transfer\n----------------------------------\n\nTo create a third party data transfer by using the Google Cloud console:\n\n1. Go to the Google Cloud Marketplace.\n\n [Go to the Google Cloud Marketplace](https://console.cloud.google.com/marketplace/browse?filter=category:data-transfer-services)\n2. Click the appropriate third party provider.\n\n3. On the documentation page for the third party provider, click\n **Enroll**. The enrollment process may take a moment.\n\n4. After the enrollment is complete, click **Configure Transfer**.\n\n5. On the **Create Transfer** page:\n\n - For **Source** , choose the appropriate third party data source. You can\n click **Explore Data Sources** to see the list of third party providers\n in the Google Cloud Marketplace.\n\n - For **Display name** , enter a name for the transfer such as `My Transfer`.\n The transfer name can be any value that allows you to easily identify the\n transfer if you need to modify it later.\n\n - For **Schedule** , leave the default value (**Start now** ) or click\n **Start at a set time**.\n\n - For **Repeats**, choose an option for how often to run the transfer.\n Options include:\n\n - Daily (default)\n - Weekly\n - Monthly\n - Custom\n - On-demand\n\n If you choose an option other than Daily, additional options are\n available. For example, if you choose Weekly, an option appears for\n you to select the day of the week.\n - For **Start date and run time** , enter the date and time to start the\n transfer. If you choose **Start now**, this option is disabled.\n\n - For **Destination dataset**, choose the dataset you created to store your\n data.\n\n - (Optional) In the **Notification options** section:\n\n - Click the toggle to enable email notifications. When you enable this option, the transfer administrator receives an email notification when a transfer run fails.\n - For **Select a Pub/Sub topic** , choose your [topic](/pubsub/docs/overview#types) name or click **Create a topic** to create one. This option configures Pub/Sub run [notifications](/bigquery/docs/transfer-run-notifications) for your transfer.\n6. Click **Connect Source**.\n\n | **Note:** If you did not select a destination dataset, clicking **Connect\n | Source** produces the following error: `A selected destination dataset is\n | required before connecting to the source.`\n7. When prompted, click **Accept** to give the BigQuery Data Transfer Service permission\n to connect to the data source and to manage your data in\n BigQuery.\n\n8. Follow the instructions in the subsequent pages to configure the connection\n to your external data source.\n\n9. After you complete the configuration steps, click **Save**.\n\nTroubleshoot third party transfer setup\n---------------------------------------\n\nIf you are having issues setting up your transfer, consult the appropriate third\nparty vendor. Contact information is available on the transfer's documentation\npage in the Google Cloud Marketplace.\n\nQuery your data\n---------------\n\nWhen your data is transferred to BigQuery, the data is\nwritten to ingestion-time partitioned tables. For more information, see\n[Introduction to partitioned tables](/bigquery/docs/partitioned-tables).\n\nIf you query your tables directly instead of using the auto-generated views, you\nmust use the `_PARTITIONTIME` pseudocolumn in your query. For more information,\nsee [Querying partitioned tables](/bigquery/docs/querying-partitioned-tables).\n\nWhat's next\n-----------\n\n- For an overview of BigQuery Data Transfer Service, see [Introduction to BigQuery Data Transfer Service](/bigquery/docs/dts-introduction).\n- For information on using transfers including getting information about a transfer configuration, listing transfer configurations, and viewing a transfer's run history, see [Working with transfers](/bigquery/docs/working-with-transfers)."]]
