Configurar um destino do BigQuery

Nesta página, descrevemos como configurar o Datastream para gravar dados em conjuntos de dados do BigQuery.

Permissões necessárias

O Datastream usa o suporte integrado do BigQuery para atualizações de captura de dados alterados (CDC). O Datastream atualiza as tabelas do BigQuery processando e aplicando as mudanças transmitidas usando a API BigQuery Storage Write.

As permissões necessárias para usar a API e ingerir dados no BigQuery são concedidas ao papel de agente de serviço do Datastream.

Configurar o BigQuery como um destino

Para configurar o Datastream para streaming no BigQuery, siga estas etapas:

  1. Verifique se a API BigQuery está ativada no seu projeto Google Cloud.
  2. Se você quiser usar a opção Um conjunto de dados para todos os esquemas, crie um conjunto de dados no BigQuery.
  3. Configure o conjunto de dados de destino do seu stream.
  4. Configurar o modo de gravação.
  5. Especifique o limite máximo de inatividade dos dados para seu stream.

Configurar os conjuntos de dados de destino

Os conjuntos de dados são contêineres de nível superior usados na organização e no controle de acesso às tabelas do BigQuery.

Ao configurar conjuntos de dados para o destino do BigQuery usando o Datastream, você pode selecionar uma das seguintes opções:

  • Conjunto de dados para cada esquema: o conjunto de dados é selecionado ou criado automaticamente pelo Datastream no local do BigQuery especificado, com base no nome do esquema da origem. Como resultado, cada esquema na origem tem um conjunto de dados correspondente no BigQuery. Por exemplo, se você tiver uma origem do MySQL com um banco de dados mydb e uma tabela employees dentro dele, o Datastream vai criar o conjunto de dados mydb e a tabela employees no BigQuery.

    Se você selecionar essa opção, o Datastream vai criar conjuntos de dados no projeto que contém o fluxo. Embora não seja necessário criar os conjuntos de dados na mesma região do seu fluxo, recomendamos manter todos os recursos do fluxo, bem como os conjuntos de dados, na mesma região para otimizar o custo e o desempenho.

  • Um único conjunto de dados para todos os esquemas: você seleciona um conjunto de dados do BigQuery para o fluxo. O Datastream transmite todos os dados para esse conjunto de dados. Para o conjunto de dados selecionado, o Datastream cria todas as tabelas como <schema>_<table>.

    Por exemplo, se você tiver uma origem do MySQL com um banco de dados mydb e uma tabela employees dentro dele, o Datastream vai criar a tabela mydb_employees no conjunto de dados selecionado.

Configurar o modo de gravação

Há dois modos que podem ser usados para definir como você quer que os dados sejam gravados no BigQuery:

  • Mesclar: é o modo de gravação padrão. Quando selecionado, o BigQuery reflete a forma como os dados são armazenados no banco de dados de origem. Isso significa que o Datastream grava todas as mudanças nos seus dados no BigQuery, que consolida as mudanças com os dados atuais, criando tabelas finais que são réplicas das tabelas de origem. No modo de mesclagem, nenhum registro histórico dos eventos de mudança é mantido. Por exemplo, se você inserir e atualizar uma linha, o BigQuery vai manter apenas os dados atualizados. Se você excluir a linha da tabela de origem, o BigQuery não manterá mais nenhum registro dela.

  • Somente anexar: o modo de gravação "somente anexar" permite adicionar dados ao BigQuery como um fluxo de mudanças (eventos INSERT, UPDATE-INSERT, UPDATE-DELETE e DELETE). Use esse modo quando precisar manter o estado histórico dos seus dados. Para entender melhor o modo de gravação somente de anexação, considere os seguintes cenários:

    • Preenchimento inicial: após o preenchimento inicial, todos os eventos são gravados no BigQuery como eventos do tipo INSERT, com o mesmo carimbo de data/hora, identificador universalmente exclusivo (UUID) e número de sequência de mudança.
    • Atualização da chave primária: quando uma chave primária muda, duas linhas são gravadas no BigQuery:
      • Uma linha UPDATE-DELETE com a chave primária original
      • Uma linha UPDATE-INSERT com a nova chave primária
    • Atualização de linha: quando você atualiza uma linha, uma única linha UPDATE-INSERT é gravada no BigQuery.
    • Exclusão de linhas: quando você exclui uma linha, uma única linha DELETE é gravada no BigQuery.

Especificar o limite de inatividade dos dados

O BigQuery aplica as modificações de origem em segundo plano de maneira contínua ou no ambiente de execução da consulta, de acordo com o limite de desatualização de dados configurado. Quando o Datastream cria uma tabela no BigQuery, a opção max_staleness dela é definida de acordo com o valor atual do limite de desatualização de dados para o fluxo.

Para mais informações sobre como usar tabelas do BigQuery com a opção max_staleness, consulte Defasagem da tabela.