管理设置 - 永久性派生表

Looker 永久性派生表管理页面会显示 Looker 实例的持久保留表(包括永久性派生表汇总表)的状态。

永久性派生表管理页面会显示几项管理功能,可帮助您跟踪保留的表的行为并进行问题排查。如需了解如何对持久化表进行问题排查,请参阅 Looker 中的派生表文档页面。

Looker 管理员和拥有 see_pdts 权限的用户可以访问永久性派生表页面。

如需打开永久性派生表页面,请按以下步骤操作:

  1. 如果系统尚未显示管理菜单,请点击 Looker 主菜单图标 ,然后选择管理。(如果您位于 Looker 主菜单探索开发部分,则可能需要点击返回箭头才能看到管理菜单。)
  2. Admin(管理)菜单中,选择 Persistent Derived Tables(永久性派生表)。

永久性派生表页面仅显示已启用 PDT 的连接以及满足以下条件的保留表:

  • 持久化表在生产视图文件中定义,除非您处于开发模式;在这种模式下,您可以使用开发标签页查看保留表的开发版本。
  • 持久化表属于已正确配置的模型的一部分。
  • 持久化表是您拥有数据访问权限的模型的一部分。

本页信息基于内部 PDT 事件日志(如本页中的 PDT 事件日志探索部分所述)。

自定义表

默认情况下,永久性派生表页面会在页面上显示最多 25 个持久保留表,并为您对 Looker 实例拥有数据访问权限的所有连接加载保留的表。您可以通过以下几种方式更改表格中显示的数据:

  1. 如需仅查看来自特定连接的持久表,请点击 All Connections 旁边的箭头,然后选择特定连接的名称。该选择器仅显示已启用 PDT 且您拥有数据访问权限的连接。
  2. 在搜索框中输入关键字可将保留的表列表范围缩小到名称中包含关键字的保留表。该表格将以粗体显示已保留的表格,其中匹配搜索字词。点击搜索栏中的 X 即可清除搜索查询字词。
  3. 点击过滤条件图标,为表格定义过滤条件
  4. 点击“关闭/打开”图标可显示或隐藏资讯一览部分。
  5. 点击列名称即可按该列对表格进行排序。再次点击列名称可反向排序。
  6. 点击选择要显示的列图标,以隐藏或显示表格中的列。
  7. 您可以使用显示选择器选择在单个页面上显示的结果数量。如果表格内容超过一页,您可以点击页面底部中间的箭头前往下一页或上一页。

过滤

您可以使用搜索栏旁边的过滤条件图标来选择要在永久性派生表页面上显示的保留表。例如,您可以按上次构建状态进行过滤,仅查看遇到构建错误的保留表,也可以按模型进行过滤,将所显示的保留表限制为特定模型。

如需过滤永久性派生表页面,请按以下步骤操作:

  1. 点击过滤条件图标
  2. 从过滤器菜单中的第一个过滤器选择器中选择一个过滤器选项。您可以使用以下选项:
    • 上次未触发时间 (Not Triggered in the Last):在永久性派生表页面中,按未在指定小时和分钟内触发的持久化表进行过滤。
    • 上次触发时间:在永久性派生表页面中过滤在特定小时和分钟内触发的持久化表。
    • 模型:在永久性派生表页面中过滤指定模型中包含的持久化表。
    • 持久性规则:按持久性类型过滤永久性派生表页面。
    • 上次尝试状态:按指定的持久化表状态过滤永久性派生表页面。
    • 发布为稳定视图:用于过滤持久派生表持久化表格和显示的页面是的对于作为稳定视图发布的持久化表,以及对于未作为稳定视图发布的持久化表,由其确定publish_as_db_view参数值。
    • Last Build Duration Longer Than(上次构建时长超过指定值):对永久性派生表页面进行过滤,其中按构建时间超过指定秒数的持久保留表进行过滤。
    • Project:按指定 LookML 项目中的保留表过滤永久性派生表页面。
  3. 在第二个过滤条件选择器中,选择要用来过滤永久性派生表页面的值。对于上次未触发时间上次触发时间选项,输入小时数或分钟数。对于上次构建时长超过选项,输入秒数。
  4. 点击添加过滤条件以添加更多过滤条件,然后针对要添加的每个过滤条件重复第 2 步和第 3 步。
    • 要清除选择的过滤条件并随时重新开始,请点击全部清除
    • 若要移除任何其他过滤条件,请点击要移除的过滤条件对应的清除选项。
  5. 如需将所选过滤条件应用于永久性派生表页面,请点击应用

您会在永久性派生表页面顶部看到已应用的过滤条件。

永久性派生表页面上,点击已应用的过滤条件旁边的 X,从永久性派生表页面中移除过滤条件。点击全部清除以清除所有过滤条件。

了解“永久性派生表”页面

以下部分介绍了永久性派生表页面上的信息。

“Production”(生产)和“ Development”(开发)标签页

如果您是处于开发模式的 LookML 开发者,则 Persistent Derived Tables 表将有两个标签页:

  • 生产标签页默认处于选中状态,并显示生产环境中持久保留的表。这些是已部署到实例上生产环境的持久表;这些持久表可为您的用户的“探索”查询提供数据。(如果您处于生产模式,或者没有 develop 权限,则永久性派生表页面将不会显示任何标签页,并且仅显示生产持久性表的信息。)

  • 开发标签页会显示开发持久性表。开发中持久的表尚未推送到生产环境。

当处于开发模式的 LookML 开发者进行的更改会影响持久性表中的数据或查询该持久表的方式时,Looker 会创建一个开发持久化表。这些更改会提示 Looker 创建开发保留表,但 Looker 实际上不会构建持久化表,除非在进行更改后查询该持久化表。开发标签页可帮助您确定 Looker 已创建的开发永久性表以及是否已构建这些表。

请参阅 Looker 中的派生表文档页面,详细了解 Looker 创建开发永久性表的原因,以及开发版持久表在数据库中的保留时长。

“资讯一览”部分

资讯一览部分会直观显示持久表中显示的持久表的状态摘要。如果您已为表格定义了过滤条件,或者已使用页面顶部所有连接旁边的箭头将表格范围缩小到特定连接,则资讯一览部分会缩小结果范围,以匹配持久化表格中显示的内容。

你可以点击资讯一览部分顶部的关闭/打开图标来显示或隐藏该部分。

表列

以下部分介绍了永久性派生表页面上的表列。点击选择要显示的列图标可隐藏或显示表格中的某些列。如需了解详情,请参阅本页面中的自定义表部分。

PDT 名称

PDT 名称列会显示该持久化表的名称,如该持久表的 LookML 视图文件的 view 参数所定义。

PDT 名称列会在持久性表名称下方显示以下额外信息(如适用):

  • Old Build(旧构建)表示相应行显示有关保留的旧表构建的信息。如需详细了解此消息,请参阅 Options 菜单中的 PDT Details 对话框。
  • 增量表示持久性表是增量 PDT
  • 具体化视图表示持久化表是数据库上的具体化视图

上次尝试状态

上次尝试状态列会显示上次尝试构建列出的每个持久表时的状态:

  • 重新生成表示可以查询持久表,并且正在构建更新后的表。时间戳表示持久化表开始构建的时间。
  • 成功表示已成功构建持久化表。
  • 构建表示正在构建持久化表,在构建完成之前无法查询该表。
  • 未构建表示未构建持久性表。
  • 构建错误表示构建过程中发生错误。如果您具有查看 LookML 的相应权限,可以点击 Build Error 查看错误的来源,并转到保留表的 LookML。如需详细了解如何在永久性派生表页面中对保留的表进行问题排查,请参阅本页面上的选项菜单部分。

上次尝试时间

上次尝试时间列表示上次尝试构建持久表的时间。

上次成功构建时间

上次成功构建列指示上次成功持久化表构建的时间。

上次构建时长

Last Build Duration 列显示构建该持久表的最新构建所需的时间(以秒为单位),以及构建该持久表所需的平均时间(以秒为单位)。

持久性规则

Persistence Rule 列显示应用于持久化表的持久化类型,如该持久表的 LookML 定义中所指定。它还会指示上次检查成功构建的持久化表的时间(对于触发器类型持久化表),或者成功构建的持久化表即将过期(对于持久类型的保留表)。持久性规则列中会显示两种类型的保留类型:

  • 对于使用 persist_for 参数保留的已存表,系统会显示 Persist for: (time)
  • 对于使用 datagroup_trigger 参数保留的持久表,此列会显示触发器:(数据组名称)。您可以点击数据集名称链接,查看 datagroup 参数的 sql_trigger 值。
  • 对于使用 sql_trigger_value 参数保留的已存表,系统会显示触发器:SQL。您可以点击链接查看 sql_trigger_value 语句。
  • 系统针对具体化视图显示具体化视图,该视图会利用数据库的功能在数据库中保留派生表。

项目

Project 列指示定义了持久化表的 LookML 项目的名称。

连接

如果从连接选择中选择了 All Connections,则会显示 Connection 列,并显示已启用持久表的连接的名称。

型号

模型列显示与持久化表关联的模型文件的名称。对于 PDT,这通常是包含 PDT 的定义视图文件的模型文件。对于汇总表格,这通常是在其中定义了汇总表格的模型文件。

“选项”菜单

三点状选项菜单 在排查意外行为问题时特别有用。通过它提供的选项,您可以检查表的上次构建时间、构建表所花的时间、将最新构建时间与平均构建时间进行比较,以及检查触发器是否正常运行。您可以选择以下选项:

  • 转到 LookML:如果您拥有查看 LookML 的相应权限,则打开定义了持久化表的视图文件。
  • PDT 活动信息中心:打开 PDT 活动信息中心。该信息中心已经过过滤,会显示所选持久化表在过去四周内的活动。
  • PDT 详细信息:打开一个对话框,其中包含特定持久化表的更多信息和统计信息。如需了解详情,请参阅本页面上的 PDT 详细信息模态部分。

如需查看问题排查提示,请参阅 Looker 中的派生表文档页面上的“PDT 监控和问题排查”部分

PDT 详细信息模态

点击持久性表的三点状选项菜单 中的 PDT 详细信息选项,以查看 PDT 详细信息模态。

模态窗口中的信息取决于持久化表的配置。您可能会看到以下信息:

  • 表名称:最新成功构建的持久化表的哈希
  • 模型:包含持久性表视图文件的模型文件的名称。
  • Stable Name:数据库中该持久表的稳定数据库视图的名称(如果该持久表已发布为稳定视图)。您可以将持久化表发布为数据库的稳定视图,方法是将 publish_as_db_view: yes 语句添加到 PDT 或汇总表,或者使用 materialized_view: yes 语句使派生表成为具体化视图。
  • 连接:启用了持久化表的连接的名称。
  • 旧 build:一个布尔值,如果 build 是旧的持久表 build,则显示 Yes;如果不是,则显示 No
    • Table Type:对于旧版本,系统会显示此字段并显示表类型。值包括 Old Generation TableStandin
  • 增量 PDT:如果持久保留表是增量 PDT,则这是一个布尔值,显示 Yes;如果不是,则显示 No
  • Status:显示上次尝试状态。对于失败的构建,如果用户具有查看 LookML 的相应权限,请提供 SQL 错误消息和指向模型 LookML 的链接。
  • 依赖项:点击显示依赖项图表按钮可显示此持久化表所依赖的所有派生表的关系图。图中的每个节点都对应一个派生表。每个节点的颜色都与派生表的状态相对应,如下所示:
    • 绿色节点表示已成功构建的持久化表。
    • 黄色节点表示正在构建或递增的持久表。
    • 红色节点表示未能构建的持久表。
    • 灰色节点表示尚未构建的持久保留表。
    • 白色节点表示 Looker 不会构建的临时派生表
  • 上次 build
    • 最新成功构建:最近一次成功的持久化表构建的日期和时间。
    • 最新构建时长:最近一次构建保留的表所花的时间(以秒为单位;如果表尚未构建,则显示 )。
    • 平均构建时长:构建持久化表所需的平均时长(以秒为单位;如果表尚未构建,则显示 )。
    • 构建原因:构建持久表的原因(对于初始构建,则为 inception;如果持久化表与数据组一起保留,则触发 datagroup;如果持久化表的 SQL 触发器值发生更改,则触发值更改)。
    • 增量键:使用增量构建的持久化表的 increment_key 参数。
    • 增量偏移:使用增量构建的持久化表的 increment_offset 参数。
    • 增量构建添加/移除的行数:上次递增表时向表添加或从表中移除的行数(如果在表的保留策略上次触发增量时未添加或移除行,则显示 -)。
    • 上次尝试的 SQL:用于查询数据库以创建表的最后一个构建的 SQL。
  • 持久性规则
    • 类型:表使用的保留类型。请参阅本页面上的“持久性规则”列部分,了解可能的值。
    • Persist For:对于 Persist 类型的保留表,这是保留时长值。不适用于触发器类型的保留表。
    • 数据组:对于数据组触发器永久性表,提供数据组的名称。
    • SQL 代码块:对于数据组和 SQL 触发器保留的表,该代码块将显示触发器的 SQL 语句。对于数据组触发器,这是数据组 sql_trigger 参数的 SQL。对于 SQL 触发器,这是用于 sql_trigger_value 参数的 SQL。
    • 触发值: 为了扳机持久表类型,触发持久表构建的值(显示对于成功构建的持久化表,这些表将持久化为datagroup_trigger;查看最近的触发值数据组,请参阅数据组页面中的行政控制板)。
    • 上次检查时间:对于触发器类型,类型保留表,表示上次检查触发器值的时间。
    • 到期时间:持久化表的到期时间(如果适用),不适用于数据组触发器。

PDT 活动信息中心

PDT 活动信息中心显示有关保留的表、其重新构建和查询的信息。

PDT 活动信息中心默认显示过去四周的活动信息。您可以使用信息中心顶部的过滤条件栏更改显示的时间段。PDT 活动信息中心包含用于显示以下信息的图块:

  • 持久化表的摘要,其中包括定义该保留表的 LookML 模型和视图的名称、该持久化表使用的数据库连接的名称、该持久化表的成功构建尝试和失败的构建尝试的总数,以及失败的构建尝试总数的百分比。
  • 最近一次完全重新构建持久化表的日期和时间。
  • 如果持久化表是增量 PDT,则指最近一次增量重建 PDT 的日期和时间。
  • 如果持久化表为增量 PDT,则为自上次完全重新构建以来发生的增量重新构建次数。
  • 重新构建持久化表所需的平均时间。
  • 此可视化图表会显示最近发生的所有创建事件,并按导致事件的操作类型摘要进行分组。
  • 信息中心时间段内发生的所有持久表重建的列表,包括每次重新构建完成的日期、完成每次重建所用的秒数、重新构建是否为增量构建、导致每次重新构建的触发器以及持久的表构建数量。
  • 所有失败的重新构建尝试的列表,包括失败的重新构建开始的日期和时间、导致失败的错误类型、错误消息和创建失败的次数。
  • 所有持久表重建触发器事件的列表,包括事件 ID 编号、事件的日期、事件类型以及触发器事件包含的数据。
  • 所有持久表重建事件的列表,包括事件 ID 编号、事件日期、事件类型以及 rebuild 事件包含的数据。
  • 直接查询某个字段的查询数,按查询来源和每个查询来源的平均运行时间分组。
  • 对持久性表运行的查询总数。
  • 查询的所有保留的表字段的列表,包括定义了该字段的 LookML 视图和模型、字段名称、包含该字段的“探索”运行作业的名称,以及该字段在查询中包含的次数。

PDT 事件日志探索

Looker 包含一个名为 system_activity 的预构建模型,该模型可用于探索 PDT 事件日志。PDT 事件日志是数据库连接的临时架构中的一个表,用于跟踪保留表的触发器和构建活动。

您可以使用近期建造活动近期触发事件链接选项三点菜单持久派生表页面,或者从连接Looker 中的页面行政控制板。

要从连接页面访问 PDT 事件日志探索,请针对每个连接从齿轮图标下拉菜单 中选择显示 PDT 事件日志选项。

您可以像探索任何其他 Looker 探索一样探索该模型。从连接页面访问时,系统会针对整个连接过滤 PDT 事件日志探索。从永久性派生表页面访问时,系统会针对特定保留表过滤 PDT 事件日志探索。

下面简要介绍了 PDT 事件日志探索中的可用字段:

字段说明
操作描述发生的操作;其中可能包括重生、掉落、创造和收割活动。

如需详细了解如何查看和了解 PDT 日志操作及其对应的操作数据,请参阅了解 PDT 日志操作文档页面。
操作数据提供有关操作的更多详细信息,包括正在使用的触发器、触发器的值、永久表的到期时间、重建的原因以及错误消息的内容。

如需详细了解如何查看和了解 PDT 日志操作及其对应的操作数据,请参阅了解 PDT 日志操作文档页面。
连接存在派生表的连接的名称。
哈希每个派生表都包含为创建该表而编写的 SQL 哈希。
ID生成持久性表的 Looker 实例的唯一 ID。在许多情况下,只有一个 Looker 实例指向一个数据库,因此您只会看到一个 ID。但是,如果您有预演实例或类似性质的实例,则可能会看到多个 ID。
模型名称生成表时所用的模型的名称。
发生日期事件发生的日期和时间。
出现 Utc 显示日期事件发生的日期和时间,以世界协调时间 (UTC) 表示。
序列持久化表构建中的步骤编号。
短哈希为创建派生表而编写的 SQL 哈希的截断版本。
表名称保留的表的全名,包括表类型前缀、哈希和视图名称。
TID交易 ID。
视图名称派生表的视图名称。