Perguntas frequentes

O Datastream é um serviço de replicação de dados (CDC, na sigla em inglês) sem alterações e fácil de usar. O Datastream permite a replicação otimizada de dados de origens banco de dados relacional, como AlloyDB para PostgreSQL, PostgreSQL, MySQL, SQL Server e Oracle, além de Salesforce e MongoDB, diretamente para o BigQuery. O Datastream oferece a escala, a velocidade, a segurança e a simplicidade de que as empresas modernas precisam. Com uma arquitetura sem servidor e com escalonamento automático, o Datastream permite configurar um pipeline ELT (extrair, carregar e transformar) para replicação de dados de baixa latência, gerando insights quase em tempo real.

O Datastream também pode sincronizar streams de dados em bancos de dados e aplicativos heterogêneos de maneira confiável e com latência mínima. Você pode integrar o serviço com modelos do Dataflow para replicar bancos de dados no Cloud SQL ou no Spanner para sincronização de bancos de dados ou aproveitar o fluxo de eventos diretamente do Cloud Storage para implementar arquiteturas orientadas a eventos.

• CDC: captura de alterações contínuas da origem em tempo real.
• Preenchimento: fornecimento de um instantâneo histórico dos dados que existe em uma tabela.

O CDC é uma abordagem de integração de dados que permite integrar e analisar dados mais rapidamente, usando menos recursos do sistema. É um método para extrair apenas as alterações mais recentes (atualizações, inserções ou exclusões) de uma fonte de dados, geralmente lendo o registro de alterações que a fonte mantém para a própria integridade transacional interna.

A CDC é um mecanismo altamente eficiente para limitar o impacto na fonte ao carregar novos dados em armazenamentos e data warehouses operacionais. Ela elimina a necessidade de atualização em massa e janelas de lote inconvenientes, permitindo o carregamento incremental ou o streaming quase em tempo real de mudanças de dados para um destino.

A CDC pode ser usada em muitos casos de uso que derivam valor do acesso constante às mudanças de dados conforme elas acontecem, como análises, sincronização de dados em sistemas distribuídos geograficamente e arquiteturas orientadas a eventos.

Além das alterações em andamento, o Datastream também usa o preenchimento para extrair todos os dados existentes de uma origem e, em seguida, enviá-los para um destino. Como resultado, o destino é "preenchimento" com todos os dados históricos da origem. Há dois tipos de preenchimento:

• Incremental: o tipo padrão de preenchimento automático para tabelas. Durante o preenchimento incremental, o Datastream busca dados de intervalos de linhas em vários lotes e os transmite para um destino lote por lote.
• Despejo completo: durante o preenchimento de despejo completo, o Datastream extrai todos os dados de uma vez e os transmite para um destino.

Para informações sobre restrições de backfill, consulte as páginas de limitações conhecidas dos respectivos tipos de origem:

• MySQL
• Oracle
• PostgreSQL (incluindo o AlloyDB para PostgreSQL)
• SQL Server
• Salesforce (Pré-lançamento)
• MongoDB (pré-lançamento)

É possível monitorar o status do preenchimento por objeto:

1. No console Google Cloud , acesse a página Streams.
2. Clique no stream que você quer monitorar.
3. Clique na guia Objetos.

O status do CDC é efetivamente o status do stream. Se a operação de CDC falhar, todo o fluxo vai falhar.

Outras métricas no nível do objeto estão disponíveis no Cloud Monitoring. Para mais informações, consulte a documentação do Cloud Monitoring.

Um fluxo de alterações é uma sequência de eventos que o Datastream emite para um destino com o objetivo de consumo downstream. O resultado de um stream de alterações gravado no Cloud Storage é um conjunto de arquivos que contém eventos de registro de alterações de uma tabela específica durante um período. Os eventos representam inserções, atualizações e exclusões da tabela. Eles podem ser consumidos e processados posteriormente no Cloud Storage por serviços como o Dataflow para casos de uso como arquiteturas orientadas a eventos.

Replicação no contexto do Datastream significa uma representação atualizada de um para um da tabela de origem no destino. Por exemplo, uma tabela no Oracle cujas mudanças são replicadas continuamente para uma tabela do BigQuery, que é mantida atualizada usando as mudanças transmitidas da tabela do Oracle. A replicação aproveita os fluxo de alterações consumindo cada evento de alteração e usando-o para atualizar o destino. O Datastream permite a replicação direta no BigQuery e oferece suporte a outros destinos, como Cloud SQL e Spanner, por meio da integração com o Dataflow. Para isso, ele usa modelos que extraem os eventos de stream de mudança do Cloud Storage e atualizam as tabelas de destino.

O CDC é um mecanismo altamente eficiente para limitar o impacto na fonte quando novos dados são carregados em armazenamentos e armazenamentos de dados de destino. O CDC também elimina a necessidade de atualização em massa e janelas de lote inconvenientes, permitindo carregamento incremental ou streaming de dados em tempo real para um destino.

Além disso, o Datastream minimiza o impacto de um preenchimento inicial, limitando o número de tarefas simultâneas e oferecendo o controle para decidir em quais objetos fazer o preenchimento.

1. Crie um stream em uma nova região ou projeto com a mesma configuração do stream, mas não marque a caixa de seleção Preenchimento de dados históricos.
2. Inicie o stream que você criou.
3. Depois que a transmissão que você criou tiver o status RUNNING, pause a transmissão existente.
4. Se quiser, modifique o novo stream marcando a caixa de seleção Preencher dados históricos. Os dados existentes nas tabelas adicionadas ao stream serão transmitidos da origem para o destino no futuro.

Para ver uma lista das regiões em que o Datastream está disponível, consulte Listas de permissões e regiões de IP.

O Datastream é compatível com streaming de dados das origens Oracle, MySQL, PostgreSQL, AlloyDB para PostgreSQL, SQL Server, Salesforce (prévia) e MongoDB (prévia), hospedadas na nuvem e autogerenciadas. Para informações sobre versões específicas da origem, consulte as seguintes páginas:

• Fonte do MySQL
• Origem Oracle
• Origem do PostgreSQL (incluindo o AlloyDB para PostgreSQL)
• Origem do SQL Server
• Origem do Salesforce (Pré-lançamento)
• Origem do MongoDB (pré-lançamento)

No MySQL, o Datastream processa o registro binário do MySQL para extrair eventos de alteração.

Para a Oracle, o Datastream usa as configurações de registro LogMiner e complementares para extrair dados dos registros "redo" da Oracle.

Para o PostgreSQL e o AlloyDB para PostgreSQL, o Datastream conta com o recurso de decodificação lógica do PostgreSQL. A decodificação lógica expõe todas as alterações confirmadas no banco de dados e permite consumir e processar essas alterações.

Para o SQL Server, o Datastream rastreia as mudanças na linguagem de manipulação de dados (DML) usando registros de transações.

Há limitações gerais e limitações que se aplicam a fontes de banco de dados específicas.

Limitações gerais incluem:

• Tamanho do evento: limite máximo de 100 MB para o destino do Cloud Storage e de 20 MB para o BigQuery.
• Algumas operações de linguagem de definição de dados (DDL) não são compatíveis durante a replicação, incluindo as seguintes:
  • Remoção de uma coluna do meio de uma tabela Isso pode causar uma discrepância de dados, porque os valores estão associados à coluna errada.
  • Alterar o tipo de dados de uma coluna. Isso pode causar uma discrepância de dados, porque eles não são mapeados corretamente para o tipo unificado de Datastream correto, e os dados podem ser corrompidos.
  • As exclusões em cascata são ignoradas.
  • O truncamento da tabela é ignorado.

Para limitações específicas da fonte, consulte as seguintes páginas:

• Limitações do MySQL
• Limitações da Oracle
• Limitações do PostgreSQL (incluindo o AlloyDB para PostgreSQL e o AlloyDB Omni)
• Limitações do SQL Server
• Limitações do Salesforce
• Limitações do MongoDB

Ao gravar em um destino sem esquema, como o Cloud Storage, o Datastream simplifica o processamento downstream de dados em várias fontes, normalizando os tipos de dados em todas elas. O Datastream usa o tipo de dados de origem original (por exemplo, um tipo NUMERIC do MySQL ou PostgreSQL ou NUMBER da Oracle) e o normaliza para um tipo unificado do Datastream.

Os tipos unificados representam um superconjunto sem perdas de todos os tipos possíveis. A normalização significa que dados de origens diferentes podem ser processados com o mínimo de esforço e consultados downstream de forma independente da fonte.

Para corrigir um fluxo com o status Failed, resolva os erros informados pelo Datastream. Para mais informações, consulte Resolver problemas de uma transmissão.

Também é possível recuperar um fluxo com o status Failed permanently. Para mais informações, consulte Recuperar um stream.

Não. O Datastream não precisa bloquear as tabelas.

Sim, o Datastream é compatível com instâncias de réplica de leitura para o Cloud SQL para MySQL versões 5.7 e 8.0.

É possível ativar a geração de registros binários nestas instâncias. Para isso, execute o seguinte comando da CLI gcloud:

gcloud sql instances patch INSTANCE_NAME -- enable-bin-log

Para mais informações, consulte Geração de registros binários em réplicas de leitura.

Você precisa conceder as seguintes permissões ao usuário do Datastream para replicar dados de um banco de dados MySQL:

• SELECT
• REPLICATION SLAVE
• REPLICATION CLIENT

Não, o Datastream não oferece suporte à compactação de eventos de transação com compactação de transação de registro binário. Desative a compactação de transações de registro binário para usar a funcionalidade de captura de dados alterados do MySQL no Datastream.

É possível conceder a permissão SELECT às tabelas específicas que você quer replicar ou a todo o esquema em um banco de dados. Para isso, execute um dos seguintes comandos:

GRANT SELECT ON DATABASE_NAME.TABLE_NAME TO USER_NAME@'%';

GRANT SELECT ON DATABASE_NAME.* TO USER_NAME@'%';

Substitua:

• DATABASE_NAME: o nome do banco de dados do MySQL.
• TABLE_NAME: o nome da tabela a que você está concedendo a permissão SELECT.
• USER_NAME: o nome do usuário a quem você está concedendo a permissão SELECT.

Se você quiser restringir as permissões a um nome de host específico, substitua o caractere % pelo endereço IP ou intervalo de endereços específico.

O Datastream permite a criptografia de dados em trânsito com base nos Serviços do Oracle Net. O Datastream é executado no modo REQUESTED.

Sim, o Datastream é compatível com o protocolo TCPS para conexões criptografadas com SSL/TLS a fontes do Oracle.

Se não for possível conceder a permissão GRANT SELECT ANY TABLE, conceda as permissões SELECT à seguinte lista de tabelas:

• ALL_COL_COMMENTS
• ALL_CONS_COLUMNS
• ALL_CONSTRAINTS
• ALL_DB_LINKS
• ALL_EXTERNAL_TABLES
• ALL_IND_COLUMNS
• ALL_INDEXES
• ALL_LOG_GROUPS
• ALL_MVIEWS
• ALL_OBJECTS
• ALL_PART_TABLES
• ALL_SEQUENCES
• ALL_SOURCE
• ALL_SYNONYMS
• ALL_TAB_COLS
• ALL_TAB_COLUMNS
• ALL_TAB_COMMENTS
• ALL_TABLES
• ALL_TRIGGERS
• ALL_TRIGGER_COLS
• ALL_TYPES
• ALL_USERS
• ALL_VIEWS
• DATABASE_PROPERTIES
• DBA_ROLE_PRIVS
• DUAL
• PRODUCT_COMPONENT_VERSION
• ROLE_SYS_PRIVS
• USER_ROLE_PRIVS
• USER_TAB_PRIVS

Para fazer streaming de mudanças usando o Datastream, você também precisa de acesso de leitura a todas as tabelas incluídas no stream.

Para iniciar o stream, ignore a validação usando a API. Para mais informações, consulte Iniciar uma transmissão.

ALTER USER USER_NAME BYPASSRLS;

Substitua USER_NAME pelo nome do usuário que o Datastream usa para se conectar ao banco de dados e para quem você quer ignorar as políticas de RLS.

Não. A replicação do PostgreSQL depende do conceito de slots de replicação, que não aceitam conexões simultâneas. Só pode haver uma tarefa de CDC lendo do slot de replicação por vez. Por exemplo, se você excluir um grande número de registros do banco de dados de origem, o slot de replicação poderá ficar sobrecarregado com eventos de exclusão. Todas as mudanças subsequentes na origem são adiadas até que os eventos de exclusão já na fila do slot de replicação sejam processados.

Para informações sobre a abordagem sugerida ao replicar grandes dados de transação, consulte Diagnosticar problemas.

Sim, o Datastream oferece suporte a conexões criptografadas com SSL/TLS.

Você precisa conceder os seguintes papéis e permissões ao usuário do Datastream para replicar dados de um banco de dados do SQL Server:

Para o método CDC de tabelas de mudanças:

• db_owner
• db_denydatawriter

Além disso, para o método CDC de registros de transação:

• Permissões SELECT no banco de dados e para a função sys.fn_dblog
• Permissões de SELECT na tabela dbo.sysjobs
• VIEW SERVER STATE

Para informações detalhadas sobre como configurar sua origem, consulte as páginas de configuração respectivas do seu tipo de banco de dados.

Você pode selecionar um dos dois métodos de CDC disponíveis, com base na configuração do banco de dados SQL Server de origem:

• Registros de transações: selecione esse método para processar mudanças diretamente dos registros do banco de dados. Esse método oferece o melhor desempenho e é mais eficiente, mas requer outras etapas de configuração que podem não ser aceitas pelo seu banco de dados.
• Tabelas de mudanças: selecione esse método para processar mudanças de tabelas de mudanças dedicadas. Esse método é mais fácil de configurar e tem menos limitações, mas oferece menor capacidade de processamento e aumenta a carga no banco de dados.

Para mais informações, consulte Visão geral do SQL Server como uma origem.

Um objeto é uma entidade de classe e é semelhante a uma tabela na nomenclatura de bancos de dados relacionais. Eles podem ser padrão ou personalizados. Os objetos padrão são incluídos no Salesforce por padrão, enquanto os personalizados são criados pelos usuários para armazenar dados específicos do caso de uso deles.

Um registro é uma instância específica de um objeto, semelhante a uma linha em bancos de dados relacionais.

Um campo é um atributo específico de um objeto, semelhante a uma coluna em bancos de dados relacionais.

• No modo Somente anexar, os dados são anexados no BigQuery como um fluxo de mudanças, com uma linha separada para cada evento INSERT, UPDATE-INSERT, UPDATE-DELETE e DELETE.
• No modo Mesclar (padrão), quando o Datastream cria uma tabela no BigQuery, ele define as chaves primárias de acordo com as chaves primárias definidas na origem. O BigQuery processa os eventos e aplica mudanças à tabela do BigQuery com base nas chaves primárias da tabela de origem. Se a tabela de origem não tiver uma chave primária, ela será tratada como se o modo Somente anexar tivesse sido usado.

Cada evento contém vários campos de metadados que identificam exclusivamente a linha nos arquivos de registro e permitem classificar os eventos. Esses campos incluem:

Para origens Oracle:

• rs_id (ID do conjunto de registros), que é composto por três valores (por exemplo, 0x0073c9.000a4e4c.01d0). O rs_id identifica exclusivamente o registro no redo log.
• ssn (número de sequência SQL), que é usado quando o registro no redo log é muito longo. Por isso, o Oracle LogMiner divide o registro em várias linhas.

Para fontes do MySQL:

• log_file, de onde o Datastream extrai eventos na replicação do CDC.
• log_position, que identifica o deslocamento do registro no registro binário do MySQL.

Para fontes do PostgreSQL:

• source_timestamp, que é o carimbo de data/hora em que o registro foi alterado na origem. Se os valores de source_timestamp dos eventos que você está classificando forem idênticos, compare os valores de lsn.
• lsn (número de sequência de registros), que identifica o deslocamento do registro no arquivo de registro WAL.

Para mais informações sobre campos de metadados, consulte Metadados específicos da fonte.

O Datastream é um serviço de CDC e replicação, o que significa que ele é flexível em vários casos de uso que podem se beneficiar do acesso a dados de alterações de streaming contínuo. Os casos de uso mais comuns do Datastream são:

1. Analytics:ao replicar dados diretamente no BigQuery, os clientes podem acessar dados operacionais atualizados no BigQuery. Os clientes podem usar esses dados atualizados continuamente no BigQuery para criar painéis atualizados com base nos dados deles. Isso pode ser usado, por exemplo, para monitorar sistemas e receber insights atualizados sobre o estado da empresa.
2. Cenários de replicação e sincronização de banco de dados:ao integrar o Datastream com modelos do Dataflow para carregar dados no Cloud SQL ou no Spanner, você tem acesso à replicação atualizada dos seus dados de origem nesses bancos de dados. Use esses dados atualizados continuamente nos bancos de dados de destino para uma migração de banco de dados de baixa inatividade da origem para o destino, ou para configurações de nuvem híbrida, em que a origem e o destino residir em diferentes ambientes de hospedagem.
3. Arquiteturas orientadas a eventos: as arquiteturas modernas baseadas em microsserviços dependem de hubs centrais de dados que são atualizados continuamente com eventos de toda a organização para serem orientados por eventos. Ao gravar dados de eventos continuamente em destinos como o BigQuery e o Cloud Storage, você pode criar arquiteturas orientadas a eventos com base no consumo de dados de evento desses destinos.

O Datastream complementa e aprimora o pacote de dados do Google Cloud fornecendo replicação de dados do CDC de origens para vários serviços do Google Cloud . Ao se integrar perfeitamente a esses serviços, o Datastream se encaixa no ecossistema Google Cloud .

O Datastream se integra aos seguintes serviços de dados:

• BigQuery:o Datastream usa a API BigQuery Write para se integrar diretamente ao BigQuery. O Datastream grava os eventos de mudança diretamente no conjunto de dados do BigQuery, em que as mudanças são mescladas continuamente (UPSERT) com os dados atuais.
• Dataflow:o Datastream pode se integrar ao Dataflow usando modelos do Dataflow. Esses modelos leem dados do Cloud Storage e os carregam no BigQuery, no Cloud SQL para PostgreSQL ou no Spanner. O objetivo desses modelos é manter tabelas de origem replicadas atualizadas nos destinos. Os modelos estão disponíveis na interface do Dataflow e foram criados para arquivos gerados pelo Datastream, garantindo um processamento pronto.
• Cloud Storage: o Datastream se integra ao Cloud Storage, gravando-o como um destino de streaming de alteração.
• Cloud SQL e Spanner:ao usar modelos do Datastream e do Dataflow, é possível manter tabelas replicadas atualizadas nos bancos de dados.

Existem três tipos de métodos de conectividade que podem ser configurados:

• Lista de permissões de IP: este método fornece conectividade pública listando os endereços IP regionais do Datastream na origem. Quando você cria seu stream, o Datastream exibe esses endereços IP na IU.
• Encaminhar túnel SSH: este método fornece conectividade segura em redes públicas, aproveitando um bastion SSH configurado pelo cliente, além de permitir endereços IP regionais.
• Conectividade privada por peering de VPC:use esse método para se conectar aos bancos de dados hospedados no Google Cloudpela rede interna do Google Cloudou aproveite uma conexão VPN ou Interconnect estabelecendo o peering de VPC entre a rede privada do Datastream e a Google Cloud VPC da sua organização.

O Datastream permite especificar quais elementos de dados específicos (esquemas, tabelas e colunas) da sua fonte você quer transmitir para um destino e quais elementos você quer excluir do fluxo.

Os registros do banco de dados podem conter dados de alterações de elementos que foram excluídos na definição do stream. Como não é possível filtrar esses elementos na origem, o Datastream lê, mas ignora todos os dados associados a eles.

Selecionar intervalos de IP dinamicamente

• compute.routes.get
• compute.routes.list
• compute.subnetworks.get
• compute.subnetworks.list

Criar redes com peering

• compute.globalOperations.get
• compute.networks.addPeering
• compute.networks.removePeering
• compute.networks.get

Reservar endereços IP

• compute.globalAddresses.get
• compute.globalAddresses.create
• compute.globalAddresses.createInternal
• compute.globalAddresses.delete
• compute.globalAddresses.deleteInternal
• compute.networks.use
• compute.networks.listPeeringRoutes

O preço do Datastream é baseado no volume (GB) de dados processados da sua origem para um destino.

Para saber mais sobre informações de preços do Datastream, consulte Preços.