创建和使用数据分析扫描

控制台

1. 在 Google Cloud 控制台中，前往数据分析页面。

   前往“Dataplex Universal Catalog 配置文件”

2. 点击创建数据分析扫描。

3. 输入显示名称。

4. 如需更改自动生成的扫描 ID，请提供您自己的扫描 ID。请参阅资源命名惯例。

5. （可选）输入说明。

6. 在表字段中，点击浏览。

7. 选择一个表，然后点击选择。

8. 在范围字段中，选择增量或所有数据。

   • 如果您选择增量数据，请在时间戳列字段中，从 BigQuery 表中选择类型为 DATE 或 TIMESTAMP 且单调递增的列，该列可用于识别新记录。对于按 DATE 或 TIMESTAMP 类型的列进行分区的表，建议将分区列用作时间戳字段。

9. 如需对数据分析扫描应用采样，请在采样规模列表中选择采样百分比。

   • 选择一个范围介于 0.0% 到 100.0% 之间的百分比值，最多精确到小数点后 3 位。
   • 对于较大的数据集，请选择一个较低的采样百分比。例如，对于一个约 1 PB 的表，如果您输入的值介于 0.1% 到 1.0% 之间，则 Dataplex Universal Catalog 会采样 1-10 TB 的数据。
   • 采样数据中至少需要有 100 条记录才能返回结果。
   • 对于增量数据扫描，Dataplex Universal Catalog 会对最新增量应用采样。

10. 如需按行过滤，请点击过滤条件，然后选择过滤行。

    • 输入一个有效的 SQL 表达式，该表达式可用于 GoogleSQL 语法中的 WHERE 子句。例如：col1 >= 0。

    • 过滤条件可以是多个列的 SQL 条件的组合。例如：col1 >= 0 AND col2 < 10。

11. 可选：点击过滤条件。选中过滤列复选框。

    a. 在包含列字段中，点击浏览。

    • 指定要包含在数据分析扫描中的所有列。勾选相应复选框，然后点击选择，即可选择所需的列。

    b. 在排除列字段中，点击浏览。

    • 指定要从数据分析扫描中排除的所有列。勾选相应复选框，然后点击选择，即可选择所需的列。

12. 可选：在Google Cloud 控制台中源表的 BigQuery 和 Dataplex Universal Catalog 页面中发布数据分析扫描结果。点击将结果发布到 BigQuery 和 Dataplex Catalog 界面复选框。

    您可以在源表的 BigQuery 和 Dataplex Universal Catalog 页面中的数据分析标签页上查看最新扫描结果。如需使用户能够访问已发布的扫描结果，请参阅共享已发布的结果。

    在以下情况下，可能无法使用发布选项：

    • 您没有相应表的所需权限。
    • 另一数据质量扫描已设置为发布结果。

    如需详细了解查看已发布的结果所需的权限，请参阅权限。

13. 可选：将扫描结果导出到 BigQuery 标准表。点击浏览，以选择一个现有的 BigQuery 数据集来存储数据分析扫描结果。

    如果指定的表不存在，Dataplex Universal Catalog 会为您创建该表。如果您使用的是现有表，请确保该表与本部分稍后所述的表架构兼容。

14. 可选：添加标签。标签是key:value对，可用于将相关对象组合在一起或者与其他 Google Cloud 资源组合在一起。

15. 在时间表选项下，选择以下选项之一：

    • 重复：按时间表（每天、每周、每月或自定义）运行数据分析扫描作业。指定扫描的运行频率和时间。如果您选择自定义，请使用 cron 格式指定时间表。

    • 按需：创建数据分析扫描，然后随时使用“立即运行”操作运行该扫描。

16. 点击创建。

gcloud

如需创建数据分析扫描，请运行以下命令：

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY
| --data-source-resource=DATA_SOURCE_RESOURCE

执行以下变量替换操作：

• DATASCAN：数据分析扫描的名称。
• LOCATION：要在其中创建数据分析扫描的 Google Cloud 区域。
• DATA_SOURCE_ENTITY：包含数据分析扫描所用数据的 Dataplex Universal Catalog 实体。例如 projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity。
• DATA_SOURCE_RESOURCE：包含数据分析扫描所用数据的资源的名称。例如 //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table。

如需了解可选参数，请参阅 gcloud CLI 参考文档。

REST

使用 APIs Explorer 创建数据分析扫描。

控制台

1. 在 Google Cloud 控制台中，前往数据分析页面。

   前往“Dataplex Universal Catalog 配置文件”

2. 点击创建多个分析扫描。

3. 输入 ID 前缀。Dataplex Universal Catalog 会使用提供的前缀和唯一后缀自动生成扫描 ID。

4. 为所有数据分析扫描输入说明。

5. 在数据集字段中，点击浏览。选择一个数据集以从中选择表。点击选择。

6. 如果数据集是多区域级数据集，请选择要在其中创建数据分析扫描的区域。

7. 选择通用配置选项：

   1. 在范围字段中，选择增量或所有数据。

   2. 如需对数据分析扫描应用采样，请在采样规模列表中选择采样百分比。

      选择一个介于 0.0% 到 100.0% 之间的百分比值，最多精确到小数点后 3 位。

   3. 如需显示所有扫描的结果，请选择发布。您可以在 BigQuery 或 Dataplex Universal Catalog 表详情的分析标签页中查看结果。确保您拥有源表的 bigquery.tables.update 权限。

   4. 在时间表选项下，选择以下选项之一：

      1. 重复：按时间表运行数据分析扫描作业。指定扫描的运行频率（每天、每周、每月或自定义）和运行时间。如果您选择自定义，请使用 cron 格式指定时间表。

      2. 按需：创建数据分析扫描作业，然后随时点击运行运行该作业。

8. 在选择表选项中，点击浏览。选择要扫描的一个或多个表。点击选择。

9. 选择其他设置：

   1. 如需将数据分析扫描的结果保存到您选择的 BigQuery 表中，请在将扫描结果导出到 BigQuery 表中选择一个表。对于每个扫描作业，Dataplex Universal Catalog 都会自动将结果复制并保存到此表中。

      1. 点击浏览以选择一个数据集。

      2. 输入要将结果保存到的 BigQuery 表。此表可以是现有表，供其他 Dataplex Universal Catalog 数据分析扫描用来保存结果。如果不存在具有指定名称的表，Dataplex Universal Catalog 会创建该表。

   2. 添加标签，为数据分析扫描添加注解。

10. 点击运行扫描以创建并运行所有扫描。此选项仅适用于按需扫描。

11. 点击创建以创建所有扫描。

gcloud

不受支持。

REST

不受支持。

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex Universal Catalog 数据分析页面。前往“个人资料”页面
2. 点击要运行的数据分析扫描。
3. 点击立即运行。

gcloud

如需运行数据分析扫描，请运行以下命令：

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

执行以下变量替换操作：

• DATASCAN：数据分析扫描的名称。
• LOCATION：在其中创建数据分析扫描的 Google Cloud 区域。

如需了解可选参数，请参阅 gcloud CLI 参考文档。

REST

使用 APIs Explorer 运行数据分析扫描。

控制台

您创建的所有数据分析扫描都会显示在数据分析页面中。

如需查看扫描的详细结果，请点击扫描的名称。

• 概览部分显示扫描运行、每次运行的时间、扫描的表记录数以及作业状态。

• 数据分析扫描配置部分包含有关扫描的详细信息。

gcloud

如需查看数据分析扫描作业的结果，请运行以下命令：

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

执行以下变量替换操作：

• JOB：数据分析扫描作业的 ID。
• LOCATION：在其中创建数据分析扫描的 Google Cloud 区域。
• DATASCAN：作业所属的数据分析扫描的名称。
• --view=FULL：如需查看扫描作业结果，请指定 FULL。

如需了解可选参数，请参阅 gcloud CLI 参考文档。

REST

使用 APIs Explorer 查看数据分析扫描的结果。

控制台

如果至少有一次成功完成的运行，最新作业结果标签页会提供有关最新作业的信息。该标签页会列出已扫描的表列，以及在扫描中发现的列的相关统计信息。

gcloud

如需查看最近一次成功的数据分析扫描，请运行以下命令：

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

执行以下变量替换操作：

• DATASCAN：要查看其最近作业的数据分析扫描的名称。
• LOCATION：在其中创建数据分析扫描的 Google Cloud 区域。
• --view=FULL：如需查看扫描作业结果，请指定 FULL。

如需了解可选参数，请参阅 gcloud CLI 参考文档。

REST

使用 APIs Explorer 查看最近的扫描作业。

控制台

作业历史记录标签页提供有关过往作业的信息。其中列出了所有作业、每个作业中扫描的记录数、作业状态、作业执行时间等。

如需查看作业的详细信息，请点击作业 ID 下的任何作业。

gcloud

如需查看数据分析扫描的所有作业，请运行以下命令：

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

执行以下变量替换操作：

• LOCATION：在其中创建数据分析扫描的 Google Cloud 区域。
• DATASCAN：要查看其所有作业的数据分析扫描的名称。

如需了解可选参数，请参阅 gcloud CLI 参考文档。

REST

使用 APIs Explorer 查看所有扫描作业。

控制台

1. 在 Google Cloud 控制台中，前往数据分析页面。

   前往“Dataplex Universal Catalog 配置文件”

2. 在要修改的扫描所在的行中，点击 more_vert > 修改。

3. 修改值。

4. 点击保存。

gcloud

如需更新数据分析扫描，请运行以下命令：

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

执行以下变量替换操作：

• DATASCAN：要更新的数据分析扫描的名称。
• LOCATION：在其中创建数据分析扫描的 Google Cloud 区域。
• DESCRIPTION：数据分析扫描的新说明。

如需了解要更新的规范字段，请参阅 gcloud CLI 参考文档。

REST

使用 APIs Explorer 修改数据分析扫描。

控制台

1. 在 Google Cloud 控制台中，前往数据分析页面。前往 Dataplex Universal Catalog 数据分析

2. 点击要删除的扫描。

3. 点击删除。

gcloud

如需删除数据分析扫描，请运行以下命令：

gcloud dataplex datascans delete \
DATASCAN --location=LOCATION \
--async

执行以下变量替换操作：

• DATASCAN：要删除的数据分析扫描的名称。
• LOCATION：在其中创建数据分析扫描的 Google Cloud 区域。

如需了解可选参数，请参阅 gcloud CLI 参考文档。

REST

使用 APIs Explorer 删除数据分析扫描。