Configurar um destino do BigQuery

Esta página descreve como configurar seu destino do BigQuery para fazer streaming de dados de um banco de dados de origem usando o Datastream.

Configurar os conjuntos de dados de destino

Ao configurar conjuntos de dados para o destino do BigQuery, você pode selecionar uma das seguintes opções:

• Conjunto de dados para cada esquema: o conjunto de dados é selecionado ou criado no local do BigQuery especificado, com base no nome do esquema da origem. Como resultado, para cada esquema na origem, o Datastream cria automaticamente um conjunto de dados no BigQuery.

  Por exemplo, se você tiver uma origem do MySQL com um banco de dados mydb e uma tabela employees dentro dele, o Datastream vai criar o conjunto de dados mydb e a tabela employees no BigQuery.

  Se você selecionar essa opção, o Datastream vai criar conjuntos de dados no projeto que contém o fluxo. Embora não seja necessário criar os conjuntos de dados na mesma região do seu fluxo, recomendamos manter todos os recursos do fluxo, bem como os conjuntos de dados, na mesma região para otimizar o custo e o desempenho.

• Um único conjunto de dados para todos os esquemas: é possível selecionar um conjunto de dados do BigQuery para o stream. O Datastream transmite todos os dados para esse conjunto de dados. Para o conjunto de dados selecionado, o Datastream cria todas as tabelas como <schema>_<table>.

  Por exemplo, se você tiver uma origem do MySQL com um banco de dados mydb e uma tabela employees dentro dele, o Datastream vai criar a tabela mydb_employees no conjunto de dados selecionado.

Comportamento de gravação

• O tamanho máximo do evento ao transmitir dados para o BigQuery é de 20 MB.

• Ao configurar seu stream, você pode selecionar a maneira como o Datastream grava os dados de mudança no BigQuery. Para mais informações, consulte Configurar o modo de gravação.

Configurar o modo de gravação

Há dois modos que podem ser usados para definir como você quer que os dados sejam gravados no BigQuery:

• Mesclar: é o modo de gravação padrão. Quando selecionado, o BigQuery reflete a forma como os dados são armazenados no banco de dados de origem. Isso significa que o Datastream grava todas as mudanças nos seus dados no BigQuery, que consolida as mudanças com os dados atuais, criando tabelas finais que são réplicas das tabelas de origem. No modo Mesclar, nenhum registro histórico dos eventos de mudança é mantido. Por exemplo, se você inserir e atualizar uma linha, o BigQuery vai manter apenas os dados atualizados. Se você excluir a linha da tabela de origem, o BigQuery não manterá mais nenhum registro dela.
• Somente anexar: o modo de gravação "somente anexar" permite adicionar dados ao BigQuery como um fluxo de mudanças (eventos INSERT, UPDATE-INSERT, UPDATE-DELETE e DELETE). Use esse modo quando precisar manter o estado histórico dos seus dados. Para entender melhor o modo de gravação somente de anexação, considere os seguintes cenários:
  • Preenchimento inicial: após o preenchimento inicial, todos os eventos são gravados no BigQuery como eventos do tipo INSERT, com o mesmo carimbo de data/hora, identificador universalmente exclusivo (UUID) e número de sequência de mudança.
  • Atualização da chave primária: quando uma chave primária muda, duas linhas são gravadas no BigQuery:
    • Uma linha UPDATE-DELETE com a chave primária original
    • Uma linha UPDATE-INSERT com a nova chave primária
  • Atualização de linha: quando você atualiza uma linha, uma única linha UPDATE-INSERT é gravada no BigQuery.
  • Exclusão de linhas: quando você exclui uma linha, uma única linha DELETE é gravada no BigQuery.

Metadados da tabela

O Datastream anexa uma coluna STRUCT chamada datastream_metadata a cada tabela gravada no destino do BigQuery.

Modo de gravação de mesclagem

Se uma tabela tiver uma chave primária na origem, a coluna vai conter os seguintes campos:

• UUID: esse campo tem o tipo de dados STRING.
• SOURCE_TIMESTAMP: esse campo tem o tipo de dados INTEGER.

Se uma tabela não tiver uma chave primária, a coluna vai conter um campo adicional: IS_DELETED. Esse campo tem o tipo de dados BOOLEAN e indica se os dados transmitidos pelo Datastream para o destino estão associados a uma operação DELETE na origem. Tabelas sem chaves primárias são somente de anexação.

Modo de gravação somente anexar

A coluna datastream_metadata contém os mesmos campos para tabelas com e sem chaves primárias:

• UUID: esse campo tem o tipo de dados STRING.
• SOURCE_TIMESTAMP: esse campo tem o tipo de dados INTEGER.
• CHANGE_SEQUENCE_NUMBER: esse campo tem o tipo de dados STRING. É um número de sequência interno usado pelo Datastream para cada evento de mudança.
• CHANGE_TYPE: esse campo tem o tipo de dados STRING. Indica o tipo de evento de mudança: INSERT, UPDATE-INSERT, UPDATE-DELETE ou DELETE.
• SORT_KEYS: esse campo contém uma matriz de valores STRING. Você pode usar os valores para classificar os eventos de mudança.

Usar tabelas do BigQuery com a opção max_staleness

Como parte da ingestão quase em tempo real, o Datastream usa o suporte integrado do BigQuery para operações de upsert, como atualização, inserção e exclusão de dados. As operações de upsert permitem atualizar dinamicamente o destino do BigQuery à medida que as linhas são adicionadas, modificadas ou excluídas. O Datastream transmite essas operações de upsert para a tabela de destino usando a API BigQuery Storage Write.

Especificar o limite de inatividade dos dados

O BigQuery aplica as modificações de origem em segundo plano de maneira contínua ou no ambiente de execução da consulta, de acordo com o limite de desatualização de dados configurado. Quando o Datastream cria uma tabela no BigQuery, a opção max_staleness dela é definida de acordo com o valor atual do limite de desatualização de dados para o fluxo.

Para mais informações sobre como usar tabelas do BigQuery com a opção max_staleness, consulte Defasagem da tabela.

Controlar custos do BigQuery

Os custos do BigQuery são cobrados separadamente do Datastream. Para saber como controlar os custos do BigQuery, consulte Preços do CDC do BigQuery.

Mapear tipos de dados

A tabela a seguir lista as conversões de tipo de dados de bancos de dados de origem compatíveis para o destino do BigQuery.

Tipos de dados do MongoDB

Os documentos JSON binários (BSON) do MongoDB são gravados no BigQuery no formato de modo estrito do JSON estendido do MongoDB (v1). A tabela mostra como os tipos de dados são representados no BigQuery, além de exemplos de valores.

[
    "item1",
    123,
    true,
    { subItem: "object in array" }
  ]
    

Consultar uma matriz do PostgreSQL como um tipo de dados de matriz do BigQuery

Se você preferir consultar uma matriz do PostgreSQL como um tipo de dados ARRAY do BigQuery, converta os valores JSON em uma matriz do BigQuery usando a função JSON_VALUE_ARRAY do BigQuery:

  SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_col
  

Substitua:

• TYPE: o tipo do BigQuery que corresponde ao tipo de elemento na matriz de origem do PostgreSQL. Por exemplo, se o tipo de origem for uma matriz de valores BIGINT, substitua TYPE por INT64.

  Para mais informações sobre como mapear os tipos de dados, consulte Mapear tipos de dados.

• BQ_COLUMN_NAME: o nome da coluna relevante na tabela do BigQuery.

Há duas exceções à forma de converter os valores:

• Para matrizes de valores BIT, BIT_VARYING ou BYTEA na coluna de origem, execute a seguinte consulta:

  SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_bytes

• Para matrizes de valores JSON ou JSONB na coluna de origem, use a função JSON_QUERY_ARRAY:

  SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_jsons

Limitações conhecidas

Limitações conhecidas para o uso do BigQuery como destino:

• Só é possível replicar dados em um conjunto de dados do BigQuery que esteja no mesmo projeto Google Cloud que o fluxo do Datastream.
• Por padrão, o Datastream não oferece suporte à adição de uma chave primária a uma tabela já replicada no BigQuery sem uma chave primária ou à remoção de uma chave primária de uma tabela replicada no BigQuery com uma chave primária. Se precisar fazer essas mudanças, entre em contato com o suporte do Google. Para informações sobre como mudar a definição de chave primária de uma tabela de origem que já tem uma chave primária, consulte Diagnosticar problemas.

• As chaves primárias no BigQuery precisam ser dos seguintes tipos de dados:

  • DATE
  • BOOL
  • GEOGRAPHY
  • INT64
  • NUMERIC
  • BIGNUMERIC
  • STRING
  • TIMESTAMP
  • DATETIME

  As tabelas que contêm chaves primárias de tipos de dados não compatíveis não são replicadas pelo Datastream.

• O BigQuery não aceita nomes de tabelas com caracteres ., $, /, @ ou +. O Datastream substitui esses caracteres por sublinhados ao criar tabelas de destino.

  Por exemplo, table.name no banco de dados de origem se torna table_name no BigQuery.

  Para mais informações sobre nomes de tabelas no BigQuery, consulte Nomenclatura de tabelas.

• O BigQuery não aceita mais de quatro colunas de clusterização. Ao replicar uma tabela com mais de quatro colunas de chave primária, o Datastream usa quatro colunas de chave primária como colunas de clusterização.

• O Datastream mapeia literais de data e hora fora do intervalo, como tipos de data infinita do PostgreSQL, para os seguintes valores:

  • Positivo DATE para o valor de 9999-12-31
  • Negativo DATE para o valor de 0001-01-01
  • Positivo TIMESTAMP para o valor de 9999-12-31 23:59:59.999000 UTC
  • Negativo TIMESTAMP para o valor de 0001-01-01 00:00:00 UTC

• O BigQuery não oferece suporte a tabelas de streaming com chaves primárias dos tipos de dados FLOAT ou REAL. Essas tabelas não são replicadas. Para saber mais sobre os tipos e intervalos de datas do BigQuery, consulte Tipos de dados.

• Se a origem for o Salesforce, a opção de configuração Conjunto de dados para cada esquema não será compatível.

A seguir

• Saiba como replicar dados de um banco de dados de origem para conjuntos de dados do BigQuery usando o Datastream.