Criar repositórios

Neste documento, mostramos como trabalhar com repositórios no BigQuery, incluindo as seguintes tarefas:

  • Como criar repositórios
  • Como excluir repositórios
  • Compartilhamento de repositórios
  • Conectar um repositório do BigQuery a um repositório de terceiros (opcional)

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

    Funções exigidas

    Para receber as permissões necessárias para trabalhar com repositórios e espaços de trabalho, peça ao administrador para conceder a você os seguintes papéis do IAM em repositórios e espaços de trabalho:

    • Criar e gerenciar repositórios compartilhados: Proprietário do código (roles/dataform.codeOwner)
    • Criar e excluir espaços de trabalho em repositórios compartilhados: Editor de código (roles/dataform.codeEditor)
    • Criar, modificar e controlar versões de arquivos em espaços de trabalho em repositórios compartilhados: Editor de código (roles/dataform.codeEditor)
    • Confira os espaços de trabalho e os arquivos deles em repositórios compartilhados: Visualizador de código (roles/dataform.codeViewer)
    • Crie e gerencie repositórios particulares, incluindo todas as ações com espaços de trabalho e arquivos no repositório particular: Criador de código (roles/dataform.codeCreator)

    Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

    Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

    Os principais com a função de editor de código em um repositório podem editar todos os espaços de trabalho nele.

    Os repositórios particulares que você cria ainda ficam visíveis para os principais que recebem os papéis de administrador do BigQuery ou administrador do BigQuery Studio no nível do projeto. Esses principais podem compartilhar seu repositório particular com outros usuários.

    Criar um repositório

    Para criar um repositório do BigQuery, siga estas etapas:

    1. No console Google Cloud , acesse a página BigQuery.

      Acessar o BigQuery

    2. No painel Explorer, clique na pasta Repositórios.

    3. No editor, clique em Adicionar repositório.

    4. No painel Criar repositório, no campo ID do repositório, digite um ID exclusivo.

      Os IDs podem incluir apenas números, letras, hifens e sublinhados.

    5. Na lista suspensa Região, selecione uma região do BigQuery para armazenar o repositório e o conteúdo dele. Selecione a região do BigQuery mais próxima de você.

      Para conferir uma lista de regiões disponíveis do BigQuery, consulte Locais do BigQuery Studio. A região do repositório não precisa corresponder ao local dos conjuntos de dados do BigQuery.

    6. Clique em Criar.

    Conectar a um repositório de terceiros

    Nesta seção, mostramos como conectar um repositório do BigQuery a um repositório remoto. Depois de conectar os repositórios, você pode realizar ações do Git nos arquivos dos espaços de trabalho contidos no repositório. Por exemplo, extrair atualizações do repositório remoto e enviar mudanças para o repositório remoto.

    Recomendamos criar um repositório dedicado do BigQuery para cada repositório remoto a que você se conecta. Dê ao repositório do BigQuery um nome semelhante ao do repositório remoto para facilitar o mapeamento.

    É possível conectar um repositório remoto por HTTPS ou SSH. A conexão de um repositório do BigQuery a um repositório remoto pode falhar se o repositório remoto não estiver aberto à Internet pública, por exemplo, se ele estiver atrás de um firewall. A tabela a seguir lista os provedores do Git compatíveis e os métodos de conexão disponíveis para os repositórios deles:

    Provedor do git Método de conexão
    Serviços do Azure DevOps SSH
    Bitbucket SSH
    GitHub SSH ou HTTPS
    GitLab SSH ou HTTPS

    Conectar um repositório remoto por SSH

    Para conectar um repositório remoto por SSH, gere uma chave SSH e um secret do Secret Manager. A chave SSH consiste em uma chave pública e uma chave privada. Você precisa compartilhar a chave pública SSH com seu provedor Git e criar um secret do Secret Manager com a chave privada SSH. Em seguida, compartilhe o Secret com sua conta de serviço padrão do BigQuery.

    O BigQuery usa o Secret com a chave SSH privada para fazer login no provedor Git e confirmar as mudanças em nome dos usuários. O BigQuery faz esses commits usando o endereço de e-mail Google Cloud do usuário para que você saiba quem fez cada commit.

    Para conectar um repositório remoto a um repositório do BigQuery por SSH, siga estas etapas:

    1. No seu provedor Git, faça o seguinte:

      Serviços do Azure DevOps

      1. No Azure DevOps Services, crie uma chave privada SSH.
      2. Faça upload da chave SSH pública para o repositório do Azure DevOps Services.

      Bitbucket

      1. No Bitbucket, crie uma chave SSH privada.
      2. Faça upload da chave SSH pública para seu repositório do Bitbucket.

      GitHub

      1. No GitHub, verifique se há chaves SSH.
      2. Se você não tiver chaves SSH ou quiser usar uma nova, crie uma chave SSH privada.
      3. Faça upload da chave SSH pública do GitHub para seu repositório do GitHub.

      GitLab

      1. No GitLab, crie uma chave SSH privada.
      2. Faça upload da chave SSH pública do GitLab para seu repositório do GitLab.

    2. No Secret Manager, crie um secret e cole sua chave SSH privada como o valor do secret. Sua chave SSH privada deve ser armazenada em um arquivo semelhante a ~/.ssh/id_ed25519. Dê um nome ao secret para encontrá-lo no futuro.

    3. Conceda acesso ao secret para sua conta de serviço padrão do Dataform.

      A conta de serviço padrão do Dataform está neste formato:

      service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    4. Conceda o papel roles/secretmanager.secretAccessor à conta de serviço.

    5. No console Google Cloud , acesse a página BigQuery.

      Acessar o BigQuery

    6. No painel Explorer, expanda a pasta Repositórios.

    7. Selecione o repositório do BigQuery que você quer conectar ao repositório remoto.

    8. No editor, selecione a guia Configuração.

    9. Clique em Conectar com o Git.

    10. No painel Conectar ao repositório remoto, selecione o botão de opção SSH.

    11. No campo URL do repositório Git remoto, digite o URL do repositório Git remoto, terminando com .git.

      O URL do repositório Git remoto precisa estar em um dos seguintes formatos:

      • URL absoluto: ssh://git@{host_name}[:{port}]/{repository_path}. port é opcional.
      • URL semelhante a SCP: git@{host_name}:{repository_path}.

    12. No campo Nome da ramificação remota padrão, digite o nome da ramificação principal do repositório Git remoto.

    13. No menu suspenso Secret, selecione o secret que você criou e que contém a chave privada SSH.

    14. No campo Valor da chave pública do host SSH, digite a chave pública do host do seu provedor do Git.

      Serviços do Azure DevOps

      O valor da chave pública do host SSH precisa estar no formato de um arquivo known_hosts. O valor precisa conter um algoritmo e uma chave pública codificada no formato base64, mas sem o nome do host ou o IP, no seguinte formato:

      ALGORITHM BASE64_KEY_VALUE

      Para recuperar a chave pública do host dos Serviços do Azure DevOps, execute o comando ssh-keyscan -t rsa ssh.dev.azure.com no terminal.

      Bitbucket

      O valor da chave pública do host SSH precisa estar no formato de um arquivo known_hosts. O valor precisa conter um algoritmo e uma chave pública codificada no formato base64, mas sem o nome do host ou o IP, no seguinte formato:

      ALGORITHM BASE64_KEY_VALUE

      Para recuperar a chave pública do host do Bitbucket, consulte Configurar SSH.

      GitHub

      O valor da chave pública do host SSH precisa estar no formato de um arquivo known_hosts. O valor precisa conter um algoritmo e uma chave pública codificada no formato base64, mas sem o nome do host ou o IP, no seguinte formato:

      ALGORITHM BASE64_KEY_VALUE

      Para recuperar a chave pública do host do GitHub, consulte Impressões digitais da chave SSH do GitHub.

      GitLab

      O valor da chave pública do host SSH precisa estar no formato de um arquivo known_hosts. O valor precisa conter um algoritmo e uma chave pública codificada no formato base64, mas sem o nome do host ou o IP, no seguinte formato:

      ALGORITHM BASE64_KEY_VALUE

      Para recuperar a chave pública do host do GitLab, consulte Entradas known_hosts do SSH.

    15. Clique em Conectar.

    Conectar um repositório remoto por HTTPS

    Para conectar um repositório remoto por HTTPS, crie um secret do Secret Manager com um token de acesso pessoal e compartilhe o secret com sua conta de serviço padrão do BigQuery.

    Em seguida, o BigQuery usa o token de acesso para fazer login no seu provedor do Git e confirmar as mudanças em nome dos usuários. O BigQuery faz esses commits usando o endereço de e-mail Google Cloud do usuário para que você saiba quem fez cada commit.

    Para conectar um repositório remoto a um repositório do BigQuery por HTTPS, siga estas etapas:

    1. No seu provedor Git, faça o seguinte:

      GitHub

      1. No GitHub, crie um token de acesso pessoal refinado ou um token de acesso pessoal clássico.

        • Para um token de acesso pessoal refinado do GitHub, faça o seguinte:

        1. Selecione o acesso ao repositório para apenas os repositórios selecionados e escolha o repositório que você quer conectar.

        2. Conceda acesso de leitura e gravação ao conteúdo do repositório.

        3. Defina um prazo de validade do token adequado às suas necessidades.

        • Para um token de acesso pessoal clássico do GitHub, faça o seguinte:

        1. Conceda ao BigQuery a permissão repo.

        2. Defina um prazo de validade do token adequado às suas necessidades.

      2. Se a organização usa o Logon único (SSO) via SAML, autorize o token.

      GitLab

      1. No GitLab, crie um token de acesso pessoal do GitLab.

      2. Dê ao token o nome dataform. Isso é obrigatório.

      3. Conceda ao BigQuery as permissões api, read_repository e write_repository.

      4. Defina um prazo de validade do token adequado às suas necessidades.

    2. No Secret Manager, crie um secret com o token de acesso pessoal do seu repositório remoto.

    3. Conceda acesso ao secret para sua conta de serviço padrão do Dataform.

      A conta de serviço padrão do Dataform está neste formato:

      service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    4. Conceda o papel roles/secretmanager.secretAccessor à conta de serviço.

    5. No console Google Cloud , acesse a página BigQuery.

      Acessar o BigQuery

    6. No painel Explorer, expanda a pasta Repositórios.

    7. Selecione o repositório do BigQuery que você quer conectar ao repositório remoto.

    8. No editor, selecione a guia Configuração.

    9. Clique em Conectar com o Git.

    10. No painel Conectar ao repositório remoto, selecione o botão de opção HTTPS.

    11. No campo URL do repositório Git remoto, digite o URL do repositório Git remoto, terminando com .git.

      O URL do repositório Git remoto não pode conter nomes de usuário nem senhas.

    12. No campo Nome da ramificação remota padrão, digite o nome da ramificação principal do repositório Git remoto.

    13. No menu suspenso Secret, selecione o secret que você criou e que contém o token de acesso pessoal.

    14. Clique em Conectar.

    Editar a conexão do repositório remoto

    Para editar uma conexão entre um repositório do BigQuery e um repositório Git remoto, siga estas etapas:

    1. No console Google Cloud , acesse a página BigQuery.

      Acessar o BigQuery

    2. No painel Explorer, expanda a pasta Repositórios.

    3. Selecione o repositório do BigQuery cuja conexão você quer editar.

    4. No editor, selecione a guia Configuração.

    5. Na página do repositório, clique em Editar conexão do Git.

    6. Edite as configurações de conexão.

    7. Clique em Atualizar.

    Compartilhar um repositório

    Para compartilhar um repositório, siga estas etapas:

    1. No console Google Cloud , acesse a página BigQuery.

      Acessar o BigQuery

    2. No painel Explorer, clique na pasta Repositórios.

    3. No painel Repositórios Git, selecione o repositório que você quer compartilhar.

    4. Clique na opção Ações e em Compartilhar.

    5. No painel Permissões de compartilhamento, clique em Adicionar usuário/grupo.

    6. No painel Adicionar usuário/grupo, no campo Novos principais, digite um ou mais nomes de usuários ou grupos, separados por vírgulas.

    7. No campo Função, escolha a função que será atribuída aos novos principais.

    8. Clique em Salvar.

    Excluir um repositório.

    Para excluir um repositório e todo o conteúdo dele, siga estas etapas:

    1. No console Google Cloud , acesse a página BigQuery.

      Acessar o BigQuery

    2. No painel Explorer, clique na pasta Repositórios.

    3. No painel Repositórios Git, selecione o repositório que você quer excluir.

    4. Clique na opção Ações e depois em Excluir.

    5. Clique em Excluir.

    A seguir