安排笔记本
本文档介绍了如何在 BigQuery 中安排 Colab Enterprise 笔记本的运行时间,以及如何检查安排的笔记本运行情况。
笔记本是由 Dataform 提供支持的代码资产。
您可以安排笔记本按指定的时间和频率自动运行,例如用于训练机器学习模型、调用外部 API 或运行 BigQuery DataFrames 代码。
您对笔记本进行的更改会自动保存,但只有您和有权访问笔记本的用户才能看到这些更改。如需使用笔记本的新版本更新时间表,您需要部署笔记本。通过部署笔记本,您可以使用笔记本的当前版本更新其时间表。时间表会运行笔记本的最新部署版本。
每个笔记本时间表都由服务账号运行,您可以在创建时间表期间选择该账号。如需详细了解 Dataform 中的服务账号类型,请参阅 Dataform 中的服务账号简介。
Dataform 会将安排的笔记本运行的输出写入在创建时间表期间选择的 Cloud Storage 存储桶。
笔记本时间表使用标准 E2 运行时。适用 Colab Enterprise 运行时费用。您需要按照 E2 机器类型支付运行时处理费用。如需了解标准 E2 运行时的价格,请参阅 Colab Enterprise 价格。
准备工作
开始之前,请先创建一个笔记本。
启用笔记本时间安排
如需安排笔记本,您必须向计划用于笔记本时间表的服务账号授予以下角色:
- Notebook Executor User (
roles/aiplatform.notebookExecutorUser
) - 请按照针对项目授予单个角色中的说明,针对所选项目向您的服务账号授予 Notebook Executor User 角色。
- Storage Admin (
roles/storage.admin
) - 请按照将主账号添加到存储分区级层政策中中的说明,将您的服务账号作为主账号添加到您计划用于存储安排的笔记本运行输出的 Cloud Storage 存储分区,并向此主账号授予 Storage Admin 角色。
- Service Account User (
roles/iam.serviceAccountUser
) - 请按照针对服务账号授予单个角色中的说明,将服务账号添加为其主账号。换句话说,将服务账号作为主账号添加到同一服务账号。然后,向此主账号授予 Service Account User 角色。
此外,您还必须向默认 Dataform 服务账号授予以下角色:
- Service Account Token Creator (
roles/iam.serviceAccountTokenCreator
) - 请按照向自定义 Dataform 服务账号授予令牌创建访问权限中的说明,将默认 Dataform 服务账号作为主账号添加到您的服务账号,并向此主账号授予 Service Account Token Creator 角色。
如需详细了解 Dataform 中的服务账号,请参阅 Dataform 中的服务账号简介。
所需权限
如需创建笔记本时间表,您需要拥有以下角色:
- Dataform Admin (
roles/dataform.admin
) - BigQuery Read Session User (
roles/bigquery.readSessionUser
) 或 BigQuery Studio User (roles/bigquery.studioUser
)
如需在安排笔记本时使用笔记本运行时模板,您需要拥有 Notebook Runtime User (roles/aiplatform.notebookRuntimeUser
) 角色。
如需修改和删除笔记本时间表,您需要拥有 Dataform Editor (roles/dataform.editor
) 角色。
如需查看笔记本时间表,您需要拥有 Dataform Viewer (roles/dataform.viewer
) 角色。
如需详细了解 BigQuery IAM,请参阅使用 IAM 进行访问权限控制。
创建时间表
如需创建笔记本时间表,请按以下步骤操作:
Explorer 窗格
在 Google Cloud 控制台中,转到 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击您要安排的笔记本的名称。
点击时间表。
在安排笔记本窗格中的时间表名称字段中,输入时间表的名称。
在服务账号字段中,选择一个服务账号。
在Notebook 选项部分的运行时模板字段中,选择 Colab Notebook 运行时模板或默认运行时规范。如需详细了解如何创建 Colab 记事本运行时模板,请参阅创建运行时模板。
在 Cloud Storage 存储桶字段中,点击浏览,然后选择或创建 Cloud Storage 存储桶。
所选服务账号必须在所选存储分区中获得 Storage Admin (
roles/storage.admin
) IAM 角色。如需了解详情,请参阅启用笔记本时间安排。在时间表频率部分中,执行以下操作:
- 在重复菜单中,选择安排的笔记本运行的频率。
- 在时间字段中,为安排的笔记本运行输入时间。
- 在时区菜单中,选择时间表的时区。
点击创建时间表。
创建时间表后,系统会自动部署笔记本的当前版本。如需使用笔记本的新版本更新时间表,请部署笔记本。
笔记本的最新部署版本会按所选的时间和频率运行。
Scheduling(安排)页面
在 Google Cloud 控制台中,前往时间安排页面。
点击创建,然后从菜单中选择笔记本时间表。
在安排笔记本窗格的笔记本字段中,选择要安排的笔记本。
在时间表名称字段中,输入时间表的名称。
在服务账号字段中,选择一个服务账号。
在Notebook 选项部分的运行时模板字段中,选择 Colab Notebook 运行时模板或默认运行时规范。如需详细了解如何创建 Colab 记事本运行时模板,请参阅创建运行时模板。
在 Cloud Storage 存储桶字段中,点击浏览,然后选择或创建 Cloud Storage 存储桶。
所选服务账号必须在所选存储分区中获得 Storage Admin (
roles/storage.admin
) IAM 角色。如需了解详情,请参阅启用笔记本时间安排。在时间表频率部分中,执行以下操作:
- 在重复菜单中,选择安排的笔记本运行的频率。
- 在时间字段中,为安排的笔记本运行输入时间。
- 在时区菜单中,选择时间表的时区。
点击创建时间表。
创建时间表后,系统会自动部署笔记本的当前版本。如需使用笔记本的新版本更新时间表,请部署笔记本。
笔记本的最新部署版本会按所选的时间和频率运行。
部署笔记本
部署笔记本操作会使用笔记本的当前版本更新其时间表。时间表会运行笔记本的最新部署版本。
如需部署笔记本,请按以下步骤操作:
在 Google Cloud 控制台中,转到 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击部署。
相应的时间表会使用笔记本的当前版本进行更新。笔记本的最新部署版本会在安排的时间运行。
手动运行已部署的笔记本
当您手动运行按所选时间表部署的笔记本时,BigQuery 会独立于时间表执行一次已部署的笔记本。
如需手动运行已部署的笔记本,请按以下步骤操作:
在 Google Cloud 控制台中,前往时间安排页面。
点击所选笔记本时间表的名称。
在时间表详情页面上,点击运行。
查看所有时间表
如需查看项目中的所有笔记本时间表,请按以下步骤操作:
在 Google Cloud 控制台中,前往时间安排页面。
可选:如需显示包含记事本时间表详细信息的其他列,请点击
Column display options(列显示选项),然后选择列并点击 OK(确定)。
查看时间表详情
您可以在探索器窗格或时间安排页面中查看所选时间安排的详细信息。
如需查看所选笔记本的时间表详情,请按以下步骤操作:
Explorer 窗格
在 Google Cloud 控制台中,前往 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表。
Scheduling(安排)页面
在 Google Cloud 控制台中,前往时间安排页面。
点击所选笔记本时间表的名称。
查看过往的执行情况
您可以在 Explorer 窗格或 Scheduling 页面中查看所选笔记本时间表的过往执行情况。
如需查看所选笔记本时间表的过往的执行情况,请按以下步骤操作:
Explorer 窗格
在 Google Cloud 控制台中,转到 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表,然后点击查看过往的执行情况。
Scheduling(安排)页面
在 Google Cloud 控制台中,前往时间安排页面。
点击所选笔记本时间表的名称。
在时间表详情页面的过往执行部分,检查过往执行。
可选:如需刷新过往执行作业的列表,请点击刷新。
停用时间表
如需对所选笔记本暂停安排的运行,而不删除时间表,您可以停用时间表。
如需为所选笔记本停用时间表,请按以下步骤操作:
Explorer 窗格
在 Google Cloud 控制台中,转到 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表。
在时间表详情表格中的时间表状态行中,点击已启用时间表切换开关。
Scheduling(安排)页面
在 Google Cloud 控制台中,前往时间安排页面。
点击所选笔记本的名称。
在时间表详情页面上,点击停用。
启用时间表
如需对停用的笔记本时间表恢复安排的运行,请按以下步骤操作:
Explorer 窗格
在 Google Cloud 控制台中,转到 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表。
在时间表详情表格中的时间表状态行中,点击已停用时间表切换开关。
Scheduling(安排)页面
在 Google Cloud 控制台中,前往时间安排页面。
点击所选笔记本的名称。
在时间表详情页面上,点击启用。
修改时间表
您可以在浏览器窗格或时间安排页面中修改时间表。
如需修改时间表,请按以下步骤操作:
Explorer 窗格
在 Google Cloud 控制台中,转到 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表,然后点击修改。
在安排笔记本对话框中,修改时间表,然后点击更新时间表。
Scheduling(安排)页面
在 Google Cloud 控制台中,前往时间安排页面。
点击所选笔记本时间表的名称。
在时间表详情页面上,点击修改。
点击查看时间表,然后点击修改。
在安排笔记本对话框中,修改时间表,然后点击更新时间表。
删除时间表
如需永久删除所选笔记本的时间表,请按以下步骤操作:
在 Google Cloud 控制台中,前往时间安排页面。
执行以下其中一项操作:
点击所选时间表的名称,然后在时间表详情页面上,点击删除。
在包含所选时间表的行中,点击操作列中的
查看操作,然后点击删除。
在随即显示的对话框中,点击删除。
后续步骤
- 详细了解 BigQuery 中的 Colab Enterprise 笔记本。
- 了解如何创建笔记本。