Programar uma transferência do Snowflake

Com o conector do Snowflake fornecido pelo serviço de transferência de dados do BigQuery, é possível programar e gerenciar jobs de transferência automatizados para migrar dados do Snowflake para o BigQuery usando listas de permissão de IP público.

Visão geral

O conector do Snowflake usa agentes de migração no Google Kubernetes Engine e aciona uma operação de carregamento do Snowflake para uma área de preparo no mesmo provedor de nuvem em que o Snowflake está hospedado. Para contas do Snowflake hospedadas na AWS, os dados são primeiro armazenados em um bucket do Amazon S3, que é transferido para o BigQuery com o serviço de transferência de dados do BigQuery.

O diagrama a seguir mostra como os dados são transferidos de um data warehouse do Snowflake hospedado na AWS para o BigQuery.

Limitações

As transferências de dados feitas com o conector do Snowflake estão sujeitas às seguintes limitações:

• As transferências de dados só são compatíveis com contas do Snowflake hospedadas na AWS. As transferências de dados de contas do Snowflake hospedadas no Google Cloud ou no Microsoft Azure não são compatíveis.
• O conector do Snowflake não é compatível com transferências de dados incrementais.
• O conector do Snowflake só aceita transferências de tabelas em um único banco de dados e esquema do Snowflake. Para transferir de tabelas com vários bancos de dados ou esquemas do Snowflake, configure cada job de transferência separadamente.
• A velocidade de carregamento de dados do Snowflake para seu bucket do Amazon S3 é limitada pelo data warehouse do Snowflake escolhido para essa transferência.

• Os dados são extraídos do Snowflake no formato Parquet antes de serem carregados no BigQuery:

  • Os seguintes tipos de dados do Parquet não são aceitos:
    • TIMESTAMP_TZ, TIMESTAMP_LTZ
    • OBJECT, VARIANT, ARRAY
    • Para mais informações, consulte Avaliar dados do Snowflake.

  • O tipo de dados Parquet a seguir não é compatível, mas pode ser convertido:

    • TIMESTAMP_NTZ

    Use o YAML de configuração de conversão de tipo global para substituir o comportamento padrão da conversão de DATETIME para TIMESTAMP ao gerar metadados e executar o mecanismo de tradução.

    A configuração YAML pode ser semelhante ao exemplo a seguir:

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

Antes de começar

Antes de configurar uma transferência do Snowflake, siga todas as etapas listadas nesta seção. Confira a seguir uma lista de todas as etapas necessárias.

1. Preparar o Google Cloud projeto
2. Papéis obrigatórios do BigQuery
3. Preparar o bucket do Amazon S3
4. Crie um usuário do Snowflake com as permissões necessárias
5. Adicionar políticas de rede
6. Gerar metadados e executar o mecanismo de tradução
7. Avalie o Snowflake para identificar tipos de dados incompatíveis
8. Coletar informações de transferência

Preparar seu projeto do Google Cloud

Crie e configure seu projeto Google Cloud para uma transferência do Snowflake com estas etapas:

1. Crie um Google Cloud projeto ou selecione um projeto atual.

2. Verifique se você realizou todas as ações necessárias para ativar o serviço de transferência de dados do BigQuery.

3. Crie um conjunto de dados do BigQuery para armazenar seus dados. Não é necessário criar tabelas.

Papéis obrigatórios do BigQuery

Para receber as permissões necessárias para criar uma transferência, peça ao administrador para conceder a você o papel do IAM Administrador do BigQuery (roles/bigquery.admin). Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para criar uma transferência. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Preparar o bucket do Amazon S3

Para concluir uma transferência de dados do Snowflake, crie um bucket do Amazon S3 e configure-o para permitir acesso de gravação do Snowflake.

1. Crie um bucket do Amazon S3. O bucket do Amazon S3 é usado para preparar os dados antes de serem carregados no BigQuery.

2. Crie e configure um objeto de integração de armazenamento do Snowflake para permitir que o Snowflake grave dados no bucket do Amazon S3 como um estágio externo.

Para permitir o acesso de leitura ao bucket do Amazon S3, faça o seguinte:

1. Crie um usuário do IAM da Amazon dedicado e conceda a ele a política AmazonS3ReadOnlyAccess.

2. Crie um par de chaves de acesso da Amazon para o usuário do IAM.

Criar um usuário do Snowflake com as permissões necessárias

Durante uma transferência do Snowflake, o conector do Snowflake se conecta à sua conta usando uma conexão JDBC. Crie um usuário do Snowflake com uma função personalizada que tenha apenas os privilégios necessários para realizar a transferência de dados:

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

Substitua:

• MIGRATION_ROLE: o nome da função personalizada que você está criando
• WAREHOUSE_NAME: o nome do seu data warehouse
• DATABASE_NAME: o nome do banco de dados do Snowflake.
• SCHEMA_NAME: o nome do seu esquema do Snowflake.
• TABLE_NAME: o nome do Snowflake incluído nesta transferência de dados.
• STORAGE_INTEGRATION_OBJECT_NAME: o nome do seu objeto de integração de armazenamento do Snowflake.

Adicionar políticas de rede

Para conectividade pública, a conta do Snowflake permite a conexão pública com credenciais de banco de dados por padrão. No entanto, talvez você tenha configurado regras ou políticas de rede que podem impedir que o conector do Snowflake se conecte à sua conta. Nesse caso, adicione os endereços IP necessários à lista de permissões.

A tabela a seguir é uma lista de endereços IP para os locais regionais e multirregionais usados em transferências públicas. Você pode adicionar os endereços IP que correspondem apenas à localização do seu conjunto de dados ou todos os endereços IP listados na tabela. São endereços IP reservados pelo Google para transferências de dados do serviço de transferência de dados do BigQuery.

Para adicionar um endereço IP a uma lista de permissões, faça o seguinte:

1. Crie uma regra de rede com type = IPV4. O serviço de transferência de dados do BigQuery usa uma conexão JDBC para se conectar à conta do Snowflake.
2. Crie uma política de rede com a regra de rede que você criou antes e o endereço IP da tabela a seguir.

Locais regionais

Locais multirregionais

¹ Os dados localizados na multirregião EU não são armazenados nos data centers europe-west2 (Londres) ou europe-west6 (Zurique).

Gerar metadados e executar o mecanismo de tradução

O conector do serviço de transferência de dados do BigQuery para Snowflake usa o mecanismo de tradução do serviço de migração do BigQuery para mapeamento de esquema ao migrar tabelas do Snowflake para o BigQuery. Para concluir uma transferência de dados do Snowflake, primeiro gere metadados para tradução e execute o mecanismo de tradução:

1. Execute o dwh-migration-tool para o Snowflake. Para mais informações, consulte Gerar metadados para tradução e avaliação.
2. Faça upload do arquivo metadata.zip gerado para um bucket do Cloud Storage. O arquivo metadata.zip é usado como entrada para o mecanismo de tradução.

3. Execute o serviço de tradução em lote, especificando o campo target_types como metadata. Para mais informações, consulte Traduzir consultas SQL com a API Translation.

   • Confira um exemplo de comando para executar uma tradução em lote para o Snowflake:

     curl -d "{
     \"name\": \"sf_2_bq_translation\",
     \"displayName\": \"Snowflake to BigQuery Translation\",
     \"tasks\": {
         string: {
           \"type\": \"Snowflake2BigQuery_Translation\",
           \"translation_details\": {
               \"target_base_uri\": \"gs://sf_test_translation/output\",
               \"source_target_mapping\": {
                 \"source_spec\": {
                     \"base_uri\": \"gs://sf_test_translation/input\"
                 }
               },
               \"target_types\": \"metadata\",
           }
         }
     },
     }" \
     -H "Content-Type:application/json" \
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
   

   • É possível verificar o status desse comando na página de tradução de SQL no BigQuery. A saída do job de tradução em lote é armazenada em gs://translation_target_base_uri/metadata/config/.

Permissões necessárias da conta de serviço

Em uma transferência do Snowflake, uma conta de serviço é usada para ler dados da saída do mecanismo de tradução no caminho especificado do Cloud Storage. Você precisa conceder à conta de serviço as permissões storage.objects.get e storage.objects.list.

Se a conta de serviço for de um projeto Google Cloud diferente do projeto que criou a transferência de dados do BigQuery, também será necessário ativar a autorização de conta de serviço entre projetos.

Para mais informações, consulte Papéis e permissões do BigQuery IAM.

Avaliar dados do Snowflake

O BigQuery grava dados do Snowflake no Cloud Storage como arquivos Parquet. Os arquivos Parquet não são compatíveis com os tipos de dados TIMESTAMP_TZ e TIMESTAMP_LTZ. Se os dados tiverem esses tipos, exporte-os para o Amazon S3 como arquivos CSV e importe-os para o BigQuery. Para mais informações, consulte Visão geral das transferências do Amazon S3.

Coletar informações de transferência

Reúna as informações necessárias para configurar a migração com o serviço de transferência de dados do BigQuery:

• O identificador da sua conta do Snowflake, que é o prefixo no URL da conta. Por exemplo, ACCOUNT_IDENTIFIER.snowflakecomputing.com
• O nome de usuário e a senha de um usuário com as permissões adequadas para seu banco de dados do Snowflake. Ele só precisa ter as permissões necessárias para executar a transferência de dados.
• O URI do bucket do Amazon S3 que você quer usar para a transferência e o par de chaves de acesso do usuário da AWS. Recomendamos que você configure uma política de ciclo de vida para esse bucket, evitando cobranças desnecessárias.
• O URI do bucket do Cloud Storage em que você armazenou os arquivos de mapeamento de esquema obtidos do mecanismo de tradução.

Configurar uma transferência do Snowflake

Selecione uma das seguintes opções:

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/metadata/config/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

Cotas e limites

O BigQuery tem uma cota de carregamento de 15 TB para cada job de carregamento de cada tabela. Internamente, o Snowflake compacta os dados da tabela. Portanto, o tamanho da tabela exportada é maior do que o informado pelo Snowflake. Se você planeja migrar uma tabela com mais de 15 TB, entre em contato com dts-migration-preview-support@google.com.

Devido ao modelo de consistência do Amazon S3, é possível que alguns arquivos não sejam incluídos na transferência para o BigQuery.

Preços

Para mais informações sobre os preços do serviço de transferência de dados do BigQuery, consulte a página "Preços".

• Se o data warehouse do Snowflake e o bucket do Amazon S3 estiverem em regiões diferentes, o Snowflake vai aplicar cobranças de saída ao executar uma transferência de dados do Snowflake. Não há cobranças de saída para transferências de dados do Snowflake se o data warehouse do Snowflake e o bucket do Amazon S3 estiverem na mesma região.
• Quando os dados são transferidos da AWS para o Google Cloud, são aplicadas cobranças de saída entre nuvens.

A seguir

• Saiba mais sobre o serviço de transferência de dados do BigQuery.
• Migrar o código SQL com a translação de SQL em lote.