Carregar dados do MySQL no BigQuery

Console

1. Acesse a página Transferências de dados.

   Acesse Transferências de dados

2. Clique em add Criar transferência.

3. Na seção Tipo de origem, em Origem, selecione MySQL.

4. No campo Nome de exibição, na seção Nome de configuração da transferência, insira um nome para a transferência. O nome da transferência pode ser qualquer valor que permita a identificação dela, caso você precise modificá-la mais tarde.

5. Na seção Opções de programação, realize estas ações:

   • Selecione uma frequência de repetição. Se você selecionar a opção Horas, Dias (padrão), Semanas ou Meses, também precisará especificar uma frequência. Também é possível selecionar a opção Personalizada para criar uma frequência de repetição mais específica. Se você selecionar a opção Sob demanda, essa transferência de dados só vai ser executada quando você acioná-la manualmente.
   • Se aplicável, selecione a opção Começar agora ou Começar em um horário definido e forneça uma data de início e um horário de execução.

6. Na seção Configurações de destino, em Conjunto de dados, selecione o conjunto que você criou para armazenar seus dados ou clique em Criar novo conjunto de dados e crie um para usar como conjunto de dados de destino.

7. Na seção Detalhes da fonte de dados, faça o seguinte:

   • Em Anexo de rede, selecione um anexo de rede ou clique em Criar anexo de rede. Para mais informações, consulte a seção Conexões de rede deste documento.
   • Em Host, digite o nome do host ou o endereço IP do servidor de banco de dados MySQL.
   • Em Número da porta, insira o número da porta do servidor de banco de dados MySQL.
   • Em Nome do banco de dados, insira o nome do banco de dados MySQL.
   • Em Nome de usuário, insira o nome de usuário do usuário do MySQL que está iniciando a conexão com o banco de dados MySQL.
   • Em Senha, insira a senha do usuário do MySQL que iniciou a conexão do banco de dados MySQL.
   • Para Modo de criptografia, selecione Completo no menu para ativar a validação SSL completa ao se conectar ao banco de dados MySQL ou selecione Desativar para não validar o SSL.

   • Em Objetos do MySQL a serem transferidos, faça o seguinte:

     • Clique em Procurar para selecionar as tabelas do MySQL necessárias para a transferência e clique em Selecionar.
     • Insira manualmente os nomes das tabelas nos objetos do MySQL a serem transferidos.

   

8. Opcional: no menu Conta de serviço, especifique uma conta de serviço personalizada para autorizar a transferência. Verifique se a conta de serviço usada tem todos os papéis e permissões necessários. Para mais informações, consulte Transferir o proprietário como uma conta de serviço.

9. Opcional: na seção Opções de notificação, faça o seguinte:

   • Para ativar as notificações por e-mail, clique no botão Notificações por e-mail e coloque na posição ativada. Quando você ativa essa opção, o administrador de transferências recebe uma notificação por e-mail quando uma execução de transferência falha.
   • Para configurar as notificações de execução do Pub/Sub para sua transferência, clique no botão Notificações do Pub/Sub para ativar. Selecione o nome do tópico ou clique em Criar um tópico.

10. Clique em Salvar.

bq

Insira o comando bq mk e forneça a sinalização de execução da transferência --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Substitua:

• PROJECT_ID (opcional): o ID do projeto do Google Cloud . Se a flag --project_id não for fornecida para especificar um projeto específico, o projeto padrão será usado.
• DATA_SOURCE: a fonte de dados, que é mysql.
• DISPLAY_NAME: o nome de exibição da configuração da transferência de dados. O nome da transferência pode ser qualquer valor que permita identificá-la, caso você precise modificá-la mais tarde.
• DATASET: o conjunto de dados de destino na configuração da transferência de dados.

• PARAMETERS é o parâmetro da configuração de transferência criada no formato JSON. Por exemplo, --params='{"param":"param_value"}'. Confira a seguir os parâmetros de uma transferência do MySQL:

  • networkAttachment (opcional): o nome do anexo de rede para se conectar ao banco de dados MySQL.
  • connector.database: o nome do banco de dados do MySQL.
  • connector.endpoint.host: o nome do host ou o endereço IP do banco de dados.
  • connector.endpoint.port: o número da porta do banco de dados.
  • connector.authentication.username: o nome de usuário do usuário do banco de dados.
  • connector.authentication.password: a senha do usuário do banco de dados. connector.connectionType
  • connector.connectionType (opcional): o tipo de conexão para determinar o URL de conexão. Os valores podem ser SERVICE, SID ou TNS. Quando não fornecido, o padrão é SERVICE.
  • connector.encryptionMode: o modo de criptografia. Pode ser FULL para validação SSL completa ao se conectar ao banco de dados MySQL ou DISABLE para não validar o SSL.
  • assets: uma lista dos nomes das tabelas do MySQL a serem transferidas do banco de dados MySQL como parte da transferência.

Por exemplo, o comando a seguir cria uma transferência do MySQL chamada My Transfer:

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=mysql
    --display_name='My Transfer'
    --params='{"assets":["DB1/DEPARTMENT","DB1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.encryptionMode":"FULL",
        "connector.database":"DB1",
        "connector.endpoint.host":"54.74.220.23",
        "connector.endpoint.port":3306}'

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.