Programar preparações de dados

Este documento descreve como programar pipelines de preparação de dados e realizar execuções manuais.

As preparações de dados são geradas pelo Dataform. Cada programação de preparação de dados é executada usando as credenciais de usuário da sua Conta do Google ou uma conta de serviço do Dataform que você seleciona ao configurar a programação ou o teste.

As mudanças feitas nas etapas de preparação de dados não são salvas automaticamente. Você precisa salvar e implantar as mudanças antes que elas possam ser executadas com uma programação. Os agendamentos sempre executam a versão implantada mais recente da preparação de dados e excluem as mudanças não implantadas que você possa estar desenvolvendo.

Antes de começar

Antes de começar, crie uma preparação de dados.

Funções exigidas

Para autorizar uma preparação de dados com uma conta de serviço ao executar manualmente a preparação de dados em desenvolvimento ou programar a preparação de dados, é necessário conceder os papéis à conta de serviço que você planeja usar para executar as execuções de preparação de dados. Para mais informações, consulte Conceder acesso à conta de serviço do Dataform.

Desenvolver uma preparação de dados

Ao desenvolver uma preparação de dados, é possível executar as etapas manualmente e inspecionar a saída antes de implantar as mudanças na produção. Você pode testar a versão atual que está desenvolvendo nos seus dados, enquanto o BigQuery continua executando a versão implantada mais recente, de acordo com uma programação. Antes de executar, é necessário configurar o destino e corrigir os erros de validação.

Executar manualmente uma preparação de dados em desenvolvimento

Para testar as etapas de preparação de dados e validar os resultados na tabela de destino, execute a preparação de dados manualmente no editor:

1. No console Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Explorer, expanda seu projeto e a pasta Preparações de dados. Clique no nome da preparação de dados que você quer executar.

3. Na barra de ferramentas do editor de preparação de dados, clique em Mais > Configurar a experiência Executar agora.

4. Na seção Autenticação, autorize a preparação de dados com as credenciais de usuário da sua Conta do Google ou uma conta de serviço.

   • Para usar as credenciais de usuário da sua Conta do Google (Prévia), selecione Executar com minhas credenciais de usuário. Essa é a opção padrão.
   • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e escolha uma conta de serviço. Se a conta de serviço precisar de mais permissões, conceda a ela os papéis necessários clicando em Conceder tudo.

5. Clique em Salvar.

6. Corrija os erros de validação que aparecerem.

7. Na barra de ferramentas do editor de preparação de dados, clique em Executar.

8. Na caixa de diálogo Executar agora, clique em Confirmar para reconhecer que essa execução manual grava dados em uma tabela de destino, que você também pode estar usando para execuções programadas.

   Se você selecionou Executar com minhas credenciais de usuário como método de autenticação, autorize sua Conta do Google (Prévia).

   Em seguida, a execução executa as etapas e carrega a saída no destino.

9. Opcional: depois que a execução for concluída, você poderá conferir os detalhes sobre ela no painel Execuções.

Implantar uma preparação de dados

Para agendar execuções de uma versão da sua preparação de dados, primeiro é preciso implantá-la. Os agendamentos executam a versão implantada mais recentemente.

Para implantar uma preparação de dados, siga estas etapas:

1. No console Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Explorer, expanda seu projeto e a pasta Preparações de dados. Clique no nome da preparação de dados escolhida.

   O editor de preparação de dados é aberto.

3. Na barra de ferramentas do editor de preparação de dados, clique em Implantar.

Criar uma programação

Para criar uma programação que execute as etapas de preparação de dados implantadas e carregue os dados preparados na tabela de destino, primeiro programe uma execução de preparação de dados. Para programar a execução, você precisa configurar o destino e corrigir os erros de validação.

Para criar uma programação de preparação de dados, siga estas etapas:

Autorizar sua Conta do Google

Para autenticar o recurso com suas credenciais de usuário da Conta do Google, conceda permissão manualmente para que os pipelines do BigQuery recebam o token de acesso da sua Conta do Google e acessem os dados de origem em seu nome. É possível conceder aprovação manual com a interface da caixa de diálogo do OAuth.

Você só precisa conceder permissão aos pipelines do BigQuery uma vez.

Para revogar a permissão concedida, siga estas etapas:

1. Acesse a página da sua Conta do Google.
2. Clique em Pipelines do BigQuery.
3. Clique em Remover acesso.

Mudar o proprietário da programação de preparação de dados atualizando as credenciais também requer aprovação manual se o novo proprietário da Conta do Google nunca tiver criado uma programação antes.

Executar manualmente uma preparação de dados programada

Quando você executa manualmente um preparo de dados em uma programação selecionada, o BigQuery executa o preparo de dados uma vez, independente da programação.

Para executar manualmente uma preparação de dados programada, siga estas etapas:

1. No Google Cloud console, acesse a página Programação.

   Acessar "Programação"

2. Clique no nome da programação de preparação de dados selecionada.

3. Na página de detalhes da programação, clique em Executar.

Ver programações

É possível conferir as programações de preparação de dados no editor de preparação de dados ou na página Programação.

Editar uma programação

É possível editar uma programação no editor de preparação de dados ou na página Programação.

Excluir uma programação

Para excluir permanentemente uma programação de uma preparação de dados selecionada, siga estas etapas:

1. No Google Cloud console, acesse a página Programação.

   Acessar "Programação"

2. Na linha que contém a programação, clique em more_vert Ações > Excluir.

A seguir

• Saiba como criar preparações de dados.
• Saiba mais sobre como gerenciar preparações de dados.