Configurar outras configurações da tabela

Neste documento, mostramos como configurar outras definições de tabela em um arquivo de definição de tabela. Com o Dataform Core, é possível definir pre_operations e post_operations para executar uma instrução SQL antes ou depois da criação da tabela. Também é possível substituir as configurações da tabela, como database ou schema, e desativar a criação de tabelas.

Antes de começar

  1. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Criar uma tabela.

Funções exigidas

Para receber as permissões necessárias para configurar outras opções de tabela, peça ao administrador que conceda a você o papel do IAM Editor do Dataform (roles/dataform.editor) em espaços de trabalho. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Substituir as configurações da tabela

É possível substituir o esquema, o banco de dados e o nome de uma tabela selecionada.

Por padrão, uma tabela segue o esquema e a configuração de banco de dados definidos em workflow_settings.yaml. O nome de uma tabela é o mesmo do arquivo SQLX de definição de tabela.

Para substituir o esquema e o nome de uma tabela selecionada, siga estas etapas:

  1. Acesse o espaço de trabalho de desenvolvimento.

  2. No painel Arquivos, expanda definitions/.

  3. Abra um arquivo de definição de tabela SQLX.

  4. No bloco config, insira o seguinte snippet de código:

     {
   schema: "OVERRIDDEN_SCHEMA",
   database: "OVERRIDDEN_DATABASE",
   name: "OVERRIDDEN_NAME"
 }

    Substitua:

    • OVERRIDDEN_SCHEMA: o conjunto de dados do BigQuery em que você quer criar a tabela.

    • OVERRIDDEN_DATABASE: o ID do projeto do BigQuery em que você quer criar a tabela

    • OVERRIDDEN_NAME: o nome da tabela, diferente do nome do arquivo de definição da tabela SQLX

  5. Opcional: clique em Formatar.

Referenciar uma tabela com um nome substituído

  • Para fazer referência a uma tabela com um nome substituído, na função ref, insira o nome substituído definido em name: "".

O exemplo de código a seguir faz referência a uma tabela com o nome substituído por overridden_name:

  SELECT * FROM ${ref("overridden_name")}

Definir uma instrução SQL a ser executada antes da criação da tabela

É possível configurar o Dataform para executar uma ou mais instruções SQL antes de criar uma tabela selecionada no BigQuery. Para executar uma instrução SQL antes que o Dataform crie uma tabela selecionada, adicione a instrução ao bloco pre_operations no arquivo SQLX de definição da tabela.

Para criar uma instrução SQL personalizada executada antes que o Dataform crie uma tabela específica, siga estas etapas:

  1. Acesse o espaço de trabalho de desenvolvimento.

  2. No painel Arquivos, expanda definitions/.

  3. Abra um arquivo de definição de tabela SQLX.

  4. Fora do bloco config, insira pre_operations { ... }.

  5. Em pre_operations { ... }, adicione sua instrução SQL.

  6. Opcional: para adicionar várias instruções, separe-as com ---.

  7. Opcional: clique em Formatar.

O exemplo de código a seguir mostra uma instrução pre_operations que cria uma função temporária que pode ser usada na instrução SELECT:

  pre_operations {
    CREATE TEMP FUNCTION AddFourAndDivide(x INT64, y INT64)
      RETURNS FLOAT64
      AS ((x + 4) / y);
  }

Definir uma instrução SQL a ser executada após a criação da tabela

É possível configurar o Dataform para executar uma ou mais instruções SQL depois de criar uma tabela selecionada no BigQuery. Para executar uma instrução SQL depois que o Dataform criar uma tabela selecionada, adicione a instrução ao bloco post_operations no arquivo SQLX de definição da tabela. É possível adicionar várias instruções SQL ao bloco post_operations.

Para criar uma instrução SQL personalizada executada depois que o Dataform cria uma tabela específica, siga estas etapas:

  1. Acesse o espaço de trabalho de desenvolvimento.

  2. No painel Arquivos, expanda definitions/.

  3. Abra um arquivo de definição de tabela SQLX.

  4. Fora do bloco config, insira post_operations { ... }.

  5. Em post_operations { ... }, adicione sua instrução SQL.

  6. Opcional: clique em Formatar.

O exemplo de código a seguir mostra instruções post_operations que concedem aos grupos acesso à tabela criada:

    post_operations {
      GRANT `roles/bigquery.dataViewer`
      ON
      TABLE ${self()}
      TO "group:allusers@example.com", "user:otheruser@example.com"
    }

Desativar a criação de tabelas

Para impedir que o Dataform crie uma tabela selecionada no BigQuery, desative a tabela no arquivo de definição de tabela SQLX. O Dataform mantém uma tabela desativada no gráfico de dependência, mas não a compila nem a cria. Isso pode ser útil, por exemplo, se uma tabela falhar e você não quiser que todo o fluxo de trabalho falhe enquanto corrige o problema.

Para desativar uma tabela, siga estas etapas:

  1. Acesse o espaço de trabalho de desenvolvimento.

  2. No painel Arquivos, expanda definitions/.

  3. Selecione um arquivo de definição de tabela SQLX.

  4. No bloco config do arquivo, digite disabled: true.

  5. Opcional: clique em Formatar.

O exemplo de código a seguir mostra uma tabela desativada:

  config {
    type: "table",
    disabled: true
  }

  select * from ${ref("source_data")}

A seguir