安排笔记本

本文档介绍了如何在 BigQuery 中安排 Colab Enterprise 笔记本,以及如何检查已安排的笔记本运行。

笔记本是由 Dataform 提供支持的代码资产。不过,Dataform 中不会显示笔记本。

您可以安排笔记本按指定的时间和频率自动运行,例如用于训练机器学习模型、调用外部 API 或运行 BigQuery DataFrames 代码。

您对笔记本进行的更改会自动保存,但只有您和有权访问笔记本的用户才能看到这些更改。如需使用笔记本的新版本更新时间表,您需要部署笔记本。通过部署笔记本,您可以使用笔记本的当前版本更新其时间表。时间表会运行笔记本的最新部署版本。

每个笔记本时间表都使用您的 Google 账号用户凭证或您在配置时间表时选择的 Dataform 服务账号运行。

Dataform 会将安排的笔记本运行的输出写入在创建时间表期间选择的 Cloud Storage 存储桶

笔记本时间表使用标准 E2 运行时。适用 Colab Enterprise 运行时费用。您需要按照 E2 机器类型支付运行时处理费用。如需了解标准 E2 运行时的价格,请参阅 Colab Enterprise 价格

准备工作

在开始之前,请先创建一个笔记本

启用笔记本时间安排

如需安排笔记本,您必须向计划用于笔记本时间表的服务账号授予以下角色:

Notebook Executor User (roles/aiplatform.notebookExecutorUser)
请按照针对项目授予单个角色中的说明,针对所选项目向服务账号授予 Notebook Executor User 角色。
Storage Admin (roles/storage.admin)
请按照将主账号添加到存储桶级层政策中的说明,将您的服务账号作为主账号添加到您计划用于存储安排的笔记本运行输出的 Cloud Storage 存储桶,并向此主账号授予 Storage Admin 角色。
Service Account User (roles/iam.serviceAccountUser)
请按照针对服务账号授予单个角色中的说明,将服务账号添加为其主账号。换句话说,将服务账号作为主账号添加到同一服务账号。然后,向此主账号授予 Service Account User 角色。

此外,您还必须向默认 Dataform 服务账号授予以下角色:

Service Account Token Creator (roles/iam.serviceAccountTokenCreator)
请按照向自定义 Dataform 服务账号授予令牌创建访问权限中的说明,将默认 Dataform 服务账号作为主账号添加到您的服务账号,并向此主账号授予 Service Account Token Creator 角色。

如需详细了解 Dataform 中的服务账号,请参阅 Dataform 中的服务账号简介

所需权限

如需创建笔记本时间表,您需要拥有以下角色:

如需在安排笔记本时使用笔记本运行时模板,您需要拥有 Notebook Runtime User (roles/aiplatform.notebookRuntimeUser) 角色。

如需修改和删除笔记本时间表,您需要拥有 Dataform Editor (roles/dataform.editor) 角色。

如需查看笔记本时间表,您需要拥有 Dataform Viewer (roles/dataform.viewer) 角色。

如需详细了解 BigQuery IAM,请参阅使用 IAM 进行访问权限控制

创建时间表

如需创建笔记本时间表,请按以下步骤操作:

探索器窗格

  1. 在 Google Cloud 控制台中,前往 BigQuery 页面。

    转到 BigQuery

  2. 探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击您要安排的笔记本的名称。

  3. 点击时间表

  4. 安排笔记本窗格中的时间表名称字段中,输入时间表的名称。

  5. 身份验证部分,使用您的 Google 账号用户凭证或服务账号授权笔记本。

    • 如需使用您的 Google 账号用户凭证(预览版),请选择使用我的用户凭证执行
    • 如需使用服务账号,请选择使用所选服务账号执行,然后选择一个服务账号。
  6. 笔记本选项部分的运行时模板字段中,选择一个 Colab 笔记本运行时模板或默认运行时规范。如需详细了解如何创建 Colab 笔记本运行时模板,请参阅创建运行时模板

  7. Cloud Storage 存储桶字段中,点击浏览,然后选择或创建 Cloud Storage 存储桶。

    所选服务账号必须在所选存储桶中获得 Storage Admin (roles/storage.admin) IAM 角色。如需了解详情,请参阅启用笔记本时间安排

  8. 时间表频率部分中,执行以下操作:

    1. 重复频率菜单中,选择安排的笔记本运行的频率。
    2. 时间字段中,为安排的笔记本运行输入时间。
    3. 时区菜单中,选择时间表的时区。
  9. 点击创建时间表。 如果您选择了使用我的用户凭证执行作为身份验证方法,则必须授权您的 Google 账号预览)。

创建时间表后,系统会自动部署笔记本的当前版本。如需使用笔记本的新版本更新时间表,请部署笔记本

笔记本的最新部署版本会按所选的时间和频率运行。

时间安排页面

  1. 在 Google Cloud 控制台中,前往时间安排页面。

    前往“时间安排”

  2. 点击创建,然后从菜单中选择笔记本时间表

  3. 安排笔记本窗格中的笔记本字段中,选择要安排的笔记本。

  4. 时间表名称字段中,输入时间表的名称。

  5. 身份验证部分,使用您的 Google 账号用户凭证或服务账号授权笔记本。

    • 如需使用您的 Google 账号用户凭证(预览版),请选择使用我的用户凭证执行
    • 如需使用服务账号,请选择使用所选服务账号执行,然后选择一个服务账号。
  6. 笔记本选项部分的运行时模板字段中,选择一个 Colab 笔记本运行时模板或默认运行时规范。如需详细了解如何创建 Colab 笔记本运行时模板,请参阅创建运行时模板

  7. Cloud Storage 存储桶字段中,点击浏览,然后选择或创建 Cloud Storage 存储桶。

    所选服务账号必须在所选存储桶中获得 Storage Admin (roles/storage.admin) IAM 角色。如需了解详情,请参阅启用笔记本时间安排

  8. 时间表频率部分中,执行以下操作:

    1. 重复频率菜单中,选择安排的笔记本运行的频率。
    2. 时间字段中,为安排的笔记本运行输入时间。
    3. 时区菜单中,选择时间表的时区。
  9. 点击创建时间表。 如果您选择了使用我的用户凭证执行作为身份验证方法,则必须授权您的 Google 账号预览)。

创建时间表后,系统会自动部署笔记本的当前版本。如需使用笔记本的新版本更新时间表,请部署笔记本

笔记本的最新部署版本会按所选的时间和频率运行。

授权您的 Google 账号

如需使用您的 Google 账号用户凭证对资源进行身份验证,您必须手动向 BigQuery 流水线授予权限,以便其获取您的 Google 账号的访问令牌并代表您访问源数据。您可以通过 OAuth 对话框界面手动进行批准。

您只需向 BigQuery 流水线授予一次权限。

如需撤消您已授予的权限,请按以下步骤操作:

  1. 前往您的“Google 账号”页面
  2. 点击 BigQuery 流水线
  3. 点击解除使用权限

通过更新凭证来更改笔记本时间表所有者时,如果新的 Google 账号所有者之前从未创建过时间表,则也需要手动批准。

部署笔记本

部署笔记本操作会使用笔记本的当前版本更新其时间表。时间表会运行笔记本的最新部署版本。

如需部署笔记本,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往 BigQuery 页面。

    转到 BigQuery

  2. 探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。

  3. 点击部署

相应的时间表会使用笔记本的当前版本进行更新。笔记本的最新部署版本会在安排的时间运行。

手动运行已部署的笔记本

如果您手动运行在所选时间表中部署的笔记本,BigQuery 会独立于时间表执行已部署的笔记本一次。

如需手动运行已部署的笔记本,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往时间安排页面。

    前往“时间安排”

  2. 点击所选笔记本时间表的名称。

  3. 时间表详情页面上,点击运行

查看所有时间表

如需查看项目中的所有笔记本时间表,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往时间安排页面。

    前往“时间安排”

  2. (可选)如需显示包含笔记本时间表详情的其他列,请点击 列显示选项,然后选择列并点击确定

查看时间表详情

您可以在探索器窗格或时间安排页面上查看所选时间安排的详细信息。

如需查看所选笔记本的时间表详情,请按以下步骤操作:

探索器窗格

  1. 在 Google Cloud 控制台中,前往 BigQuery 页面。

    转到 BigQuery

  2. 探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。

  3. 点击查看时间表

时间安排页面

  1. 在 Google Cloud 控制台中,前往时间安排页面。

    前往“时间安排”

  2. 点击所选笔记本时间表的名称。

查看过往的执行情况

您可以在探索器窗格或时间安排页面上查看所选笔记本时间表的过往执行情况。

如需查看所选笔记本时间表的过往的执行情况,请按以下步骤操作:

探索器窗格

  1. 在 Google Cloud 控制台中,前往 BigQuery 页面。

    转到 BigQuery

  2. 探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。

  3. 点击查看时间表,然后点击查看过往的执行情况

时间安排页面

  1. 在 Google Cloud 控制台中,前往时间安排页面。

    前往“时间安排”

  2. 点击所选笔记本时间表的名称。

  3. 时间表详情页面的过往执行情况部分中,检查过往执行情况。

  4. (可选)如需刷新过去执行情况列表,请点击刷新

停用时间表

如需对所选笔记本暂停安排的运行,而不删除时间表,您可以停用时间表。

如需为所选笔记本停用时间表,请按以下步骤操作:

探索器窗格

  1. 在 Google Cloud 控制台中,前往 BigQuery 页面。

    转到 BigQuery

  2. 探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。

  3. 点击查看时间表

  4. 在时间表详情表格中的时间表状态行中,点击已启用时间表切换开关。

时间安排页面

  1. 在 Google Cloud 控制台中,前往时间安排页面。

    前往“时间安排”

  2. 点击所选笔记本的名称。

  3. 时间表详情页面上,点击停用

启用时间表

如需恢复已停用的笔记本时间表的已安排运行,请按以下步骤操作:

探索器窗格

  1. 在 Google Cloud 控制台中,前往 BigQuery 页面。

    转到 BigQuery

  2. 探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。

  3. 点击查看时间表

  4. 在时间表详情表格中的时间表状态行中,点击已停用时间表切换开关。

时间安排页面

  1. 在 Google Cloud 控制台中,前往时间安排页面。

    前往“时间安排”

  2. 点击所选笔记本的名称。

  3. 时间表详情页面上,点击启用

修改时间表

您可以在探索器窗格或时间安排页面上修改时间表。

如需修改时间表,请按以下步骤操作:

探索器窗格

  1. 在 Google Cloud 控制台中,前往 BigQuery 页面。

    转到 BigQuery

  2. 探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。

  3. 点击查看时间表,然后点击修改

  4. 安排笔记本对话框中,修改时间表,然后点击更新时间表

时间安排页面

  1. 在 Google Cloud 控制台中,前往时间安排页面。

    前往“时间安排”

  2. 点击所选笔记本时间表的名称。

  3. 时间表详情页面上,点击修改

  4. 点击查看时间表,然后点击修改

  5. 安排笔记本对话框中,修改时间表,然后点击更新时间表

删除时间表

如需永久删除所选笔记本的时间表,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往时间安排页面。

    前往“时间安排”

  2. 执行以下其中一项操作:

    • 点击所选时间表的名称,然后在时间表详情页面上点击删除

    • 在包含所选时间表的行中,点击操作列中的 查看操作,然后点击删除

  3. 在随即显示的对话框中,点击删除

后续步骤