创建代码库

本文档介绍了如何在 BigQuery 中处理代码库，包括以下任务：

  • 创建代码库
  • 删除代码库
  • 共享代码库
  • （可选）将 BigQuery 代码库连接到第三方代码库

准备工作

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

    所需的角色

    如需获得处理代码库和工作区所需的权限，请让您的管理员为您授予代码库和工作区的以下 IAM 角色：

    • 创建和管理共享代码库：Code Owner (roles/dataform.codeOwner)
    • 在共享代码库中创建和删除工作区： 代码编辑器 (roles/dataform.codeEditor)
    • 在共享代码库的工作区中创建、修改文件并进行版本控制： 代码编辑器 (roles/dataform.codeEditor)
    • 查看共享代码库中的工作区及其文件： Code Viewer (roles/dataform.codeViewer)
    • 创建和管理私有代码库，包括对私有代码库中的工作区和文件执行的所有操作： Code Creator (roles/dataform.codeCreator)

    如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

    如果主账号对代码库具有 Code Editor 角色，则能够修改该代码库中的所有工作区。

    您创建的私有代码库仍对在项目级层被授予 BigQuery Admin 或 BigQuery Studio Admin 角色的正文可见。这些委托人可以与其他用户共享您的私有代码库。

    创建代码库

    如需创建 BigQuery 代码库，请按以下步骤操作：

    1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

      转到 BigQuery

    2. 在探索器窗格中，点击代码库文件夹。

    3. 在编辑器中，点击添加代码库。

    4. 在创建代码库窗格的代码库 ID 字段中，输入一个唯一 ID。

      ID 只能包含数字、字母、连字符和下划线。

    5. 在区域下拉列表中，选择用于存储代码库及其内容的 BigQuery 区域。选择离您最近的 BigQuery 区域。

      如需查看可用的 BigQuery 区域列表，请参阅 BigQuery Studio 位置。代码库区域不必与 BigQuery 数据集所在的位置相同。

    6. 点击创建。

    连接到第三方代码库

    本部分介绍如何将 BigQuery 代码库连接到远程代码库。连接代码库后，您可以对代码库所含工作区中的文件执行 Git 操作。例如，从远程代码库拉取更新和将更改推送到远程代码库。

    我们建议您为连接的每个远程代码库创建一个专用的 BigQuery 代码库。为 BigQuery 代码库指定与远程代码库类似的名称，以便清楚地进行映射。

    您可以通过 HTTPS 或 SSH 连接远程代码库。如果远程代码库未向公共互联网开放（例如，如果它位于防火墙后面），则将 BigQuery 代码库连接到远程代码库可能会失败。下表列出了支持的 Git 提供方以及可用于其代码库的连接方法：

    Git 提供商 连接方法
    Azure DevOps Services SSH
    Bitbucket SSH
    GitHub SSH 或 HTTPS
    GitLab SSH 或 HTTPS

    通过 SSH 连接远程代码库

    如需通过 SSH 连接远程代码库，您必须生成 SSH 密钥和 Secret Manager Secret。SSH 密钥由 SSH 公钥和 SSH 私钥组成。您必须与 Git 提供商共享 SSH 公钥，并使用 SSH 私钥创建 Secret Manager Secret。然后，与默认的 BigQuery 服务账号共享该密钥。

    BigQuery 使用包含私密 SSH 密钥的密钥登录您的 Git 提供方，以代表用户提交更改。BigQuery 使用用户的 Google Cloud 电子邮件地址进行这些提交，因此您可以知道是谁进行了每次提交。

    如需通过 SSH 将远程代码库连接到 BigQuery 代码库，请按照以下步骤操作：

    1. 在 Git 提供方中，执行以下操作：

      Azure DevOps Services

      1. 在 Azure DevOps Services 中，创建私有 SSH 密钥。
      2. 将 SSH 公钥上传到您的 Azure DevOps Services 代码库。

      Bitbucket

      1. 在 Bitbucket 中，创建私密 SSH 密钥。
      2. 将 SSH 公钥上传到您的 Bitbucket 代码库。

      GitHub

      1. 在 GitHub 中，检查是否存在现有的 SSH 密钥。
      2. 如果您没有任何现有的 SSH 密钥，或者想要使用新密钥，请创建 SSH 私钥。
      3. 将 GitHub 公共 SSH 密钥上传到您的 GitHub 代码库。

      GitLab

      1. 在 GitLab 中，创建私有 SSH 密钥。
      2. 将 GitLab SSH 公钥上传到您的 GitLab 代码库。

    2. 在 Secret Manager 中创建 Secret，然后将您的 SSH 私钥粘贴为 Secret 值。您的 SSH 私钥应存储在类似 ~/.ssh/id_ed25519 的文件中。为该 Secret 命名，以便日后查找。

    3. 向默认 Dataform 服务账号授予对 Secret 的访问权限。

      您的默认 Dataform 服务账号采用以下格式：

      service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    4. 将 roles/secretmanager.secretAccessor 角色授予服务账号。

    5. 在 Google Cloud 控制台中，前往 BigQuery 页面。

      转到 BigQuery

    6. 在探索器窗格中，展开代码库文件夹。

    7. 选择要连接到远程代码库的 BigQuery 代码库。

    8. 在编辑器中，选择配置标签页。

    9. 点击与 Git 建立连接。

    10. 在连接到远程代码库窗格中，选择 SSH 单选按钮。

    11. 在远程 Git 代码库网址字段中，输入远程 Git 代码库的网址，并以 .git 结尾。

      远程 Git 代码库的网址必须采用以下格式之一：

      • 绝对网址：ssh://git@{host_name}[:{port}]/{repository_path}，port 为可选。
      • 类似 SCP 的网址：git@{host_name}:{repository_path}。

    12. 在默认远程分支名称字段中，输入远程 Git 代码库的主分支的名称。

    13. 在密钥下拉菜单中，选择您创建的包含 SSH 私钥的密钥。

    14. 在 SSH 主机公钥值字段中，输入 Git 提供商的主机公钥。

      Azure DevOps Services

      SSH 主机公钥值必须采用 known_hosts 文件格式。 该值必须包含采用 base64 格式编码的算法和公钥，但不包含主机名或 IP，格式如下：

      ALGORITHM BASE64_KEY_VALUE

      如需检索 Azure DevOps Services 公共主机密钥，请在终端中运行 ssh-keyscan -t rsa ssh.dev.azure.com 命令。

      Bitbucket

      SSH 主机公钥值必须采用 known_hosts 文件格式。 该值必须包含采用 base64 格式编码的算法和公钥，但不包含主机名或 IP，格式如下：

      ALGORITHM BASE64_KEY_VALUE

      如需检索 Bitbucket 公共主机密钥，请参阅配置 SSH。

      GitHub

      SSH 主机公钥值必须采用 known_hosts 文件格式。 该值必须包含采用 base64 格式编码的算法和公钥，但不包含主机名或 IP，格式如下：

      ALGORITHM BASE64_KEY_VALUE

      如需检索 GitHub 公共主机密钥，请参阅 GitHub 的 SSH 密钥指纹。

      GitLab

      SSH 主机公钥值必须采用 known_hosts 文件格式。 该值必须包含采用 base64 格式编码的算法和公钥，但不包含主机名或 IP，格式如下：

      ALGORITHM BASE64_KEY_VALUE

      如需检索 GitLab 公共主机密钥，请参阅 SSH known_hosts 条目。

    15. 点击连接。

    通过 HTTPS 连接远程代码库

    如需通过 HTTPS 连接远程代码库，您必须创建包含个人访问令牌的 Secret Manager Secret，并与默认的 BigQuery 服务账号共享该 Secret。

    然后，BigQuery 会使用该访问令牌登录您的 Git 提供商，以代表用户提交更改。BigQuery 会使用用户的 Google Cloud 电子邮件地址进行这些提交，以便您了解每次提交是由谁进行的。

    如需通过 HTTPS 将远程代码库连接到 BigQuery 代码库，请按以下步骤操作：

    1. 在 Git 提供方中，执行以下操作：

      GitHub

      1. 在 GitHub 中，创建精细的个人访问令牌或经典个人访问令牌。

        • 对于精细的 GitHub 个人访问令牌，请执行以下操作：

        1. 选择仅限对所选代码库的代码库访问权限，然后选择要连接的代码库。

        2. 授予对代码库内容的读写权限。

        3. 设置适合您需求的令牌过期时间。

        • 对于经典 GitHub 个人访问令牌，请执行以下操作：

        1. 向 BigQuery 授予 repo 权限。

        2. 设置适合您需求的令牌过期时间。

      2. 如果贵组织使用 SAML 单点登录 (SSO)，请授权令牌。

      GitLab

      1. 在 GitLab 中，创建一个 GitLab 个人访问令牌。

      2. 为令牌命名 dataform；这是必填项。

      3. 向 BigQuery 授予 api、read_repository 和 write_repository 权限。

      4. 设置适合您需求的令牌过期时间。

    2. 在 Secret Manager 中，创建一个包含远程代码库的个人访问令牌的 Secret。

    3. 向默认 Dataform 服务账号授予对 Secret 的访问权限。

      您的默认 Dataform 服务账号采用以下格式：

      service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    4. 将 roles/secretmanager.secretAccessor 角色授予服务账号。

    5. 在 Google Cloud 控制台中，前往 BigQuery 页面。

      转到 BigQuery

    6. 在探索器窗格中，展开代码库文件夹。

    7. 选择要连接到远程代码库的 BigQuery 代码库。

    8. 在编辑器中，选择配置标签页。

    9. 点击与 Git 建立连接。

    10. 在连接到远程代码库窗格中，选择 HTTPS 单选按钮。

    11. 在远程 Git 代码库网址字段中，输入远程 Git 代码库的网址，并以 .git 结尾。

      远程 Git 代码库的网址不得包含用户名或密码。

    12. 在默认远程分支名称字段中，输入远程 Git 代码库的主分支的名称。

    13. 在密文下拉菜单中，选择您创建的包含个人访问令牌的密文。

    14. 点击连接。

    修改远程代码库连接

    如需修改 BigQuery 代码库与远程 Git 代码库之间的连接，请按以下步骤操作：

    1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

      转到 BigQuery

    2. 在探索器窗格中，展开代码库文件夹。

    3. 选择要修改其连接的 BigQuery 代码库。

    4. 在编辑器中，选择配置标签页。

    5. 在代码库页面上，点击修改 Git 连接。

    6. 修改连接设置。

    7. 点击更新。

    共享代码库

    如需共享代码库，请按以下步骤操作：

    1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

      转到 BigQuery

    2. 在探索器窗格中，点击代码库文件夹。

    3. 在 Git 代码库窗格中，选择要共享的代码库。

    4. 点击 操作选项，然后点击分享。

    5. 在共享权限窗格中，点击添加用户/群组。

    6. 在添加用户/群组窗格的新主账号字段中，输入一个或多个用户或群组名称，以英文逗号分隔。

    7. 在角色字段中，选择要分配给新主账号的角色。

    8. 点击保存。

    删除代码库

    如需删除代码库及其所有内容，请按以下步骤操作：

    1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

      转到 BigQuery

    2. 在探索器窗格中，点击代码库文件夹。

    3. 在 Git 代码库窗格中，选择要删除的代码库。

    4. 点击 操作选项，然后点击删除。

    5. 点击删除。

    后续步骤