建立及使用資料剖析掃描

控制台

1. 在 Google Cloud 控制台中，前往「Profile」頁面。

   前往 Dataplex 通用目錄設定檔

2. 按一下「建立資料剖析掃描作業」。

3. 輸入「顯示名稱」。

4. 如要變更自動產生的掃描 ID，請提供您自己的 ID。請參閱「資源命名慣例」。

5. 選用：輸入說明。

6. 在「Table」(資料表) 欄位中，按一下「Browse」(瀏覽)。

7. 選取表格，然後按一下「選取」。

8. 在「範圍」欄位中，選擇「增量」或「整個資料」。

   • 如果您選擇「增量資料」，請在「時間戳記欄」欄位中，從 BigQuery 資料表中選取 DATE 或 TIMESTAMP 類型的資料欄，這類資料欄只會遞增，並能用來識別新的記錄。如果資料表是依 DATE 或 TIMESTAMP 型別的資料欄分區，建議您將分區欄位做為時間戳記欄位。

9. 如要將取樣方法套用至資料剖析掃描作業，請在「取樣大小」清單中選取取樣百分比。

   • 請選擇介於 0.0% 和 100.0% 之間的百分比值，最多可有 3 位小數。
   • 如果是較大的資料集，請選擇較低的取樣百分比。舉例來說，如果您輸入的值介於 0.1% 和 1.0% 之間，而資料表約為 1 PB，Dataplex Universal Catalog 就會取樣 1 到 10 TB 的資料。
   • 樣本資料中至少要有 100 筆記錄，系統才能傳回結果。
   • 針對增量資料掃描，Dataplex 通用目錄會將取樣作業套用至最新的增量資料。

10. 如要依列篩選，請按一下「篩選器」，然後選取「篩選資料列」。

    • 輸入有效的 SQL 運算式，可用於 GoogleSQL 語法中的 WHERE 子句。例如：col1 >= 0。

    • 篩選器可以是多個資料欄的 SQL 條件組合。例如 col1 >= 0 AND col2 < 10。

11. 選用：按一下「篩選器」。勾選「篩選欄」核取方塊。

    a. 在「Include columns」(包含欄) 欄位中，按一下「Browse」(瀏覽)。

    • 指定要納入設定檔掃描作業的任何欄。勾選核取方塊，然後按一下「選取」，即可選取所需資料欄。

    b. 在「Exclude columns」(排除欄) 欄位中，按一下「Browse」(瀏覽)。

    • 指定要從設定檔掃描作業中排除的任何資料欄。勾選核取方塊，然後按一下「選取」，即可選取所需資料欄。

12. 選用步驟：在Google Cloud 控制台的 BigQuery 和 Dataplex 通用目錄頁面中，針對來源資料表發布資料剖析掃描結果。按一下「將結果發布至 BigQuery 和 Dataplex Catalog UI」核取方塊。

    您可以在 BigQuery 和 Dataplex 通用目錄頁面的「資料剖析」分頁中，查看來源資料表的最新掃描結果。如要讓使用者存取已發布的掃描結果，請參閱「分享已發布的結果」。

    在下列情況下，您可能無法使用發布選項：

    • 您沒有該資料表的必要權限。
    • 已將另一項資料品質掃描設為發布結果。

    如要進一步瞭解查看已發布結果所需的權限，請參閱「權限」。

13. 選用步驟：將掃描結果匯出至 BigQuery 標準資料表。按一下「瀏覽」，選取現有的 BigQuery 資料集，用於儲存資料剖析檔掃描結果。

    如果指定的資料表不存在，Dataplex 通用目錄會為您建立資料表。如果您使用現有的資料表，請確認該資料表與本節稍後所述的資料表結構定義相容。

14. 選用步驟：新增標籤。標籤是 key:value 組合，可用來將相關物件分組，或與其他 Google Cloud 資源組合。

15. 在「排程選項」下方，選擇下列任一選項：

    • 重複：依照每日、每週、每月或自訂時間表執行資料剖析掃描工作。指定掃描作業的執行頻率和時間。如果選擇自訂，請使用 cron 格式指定排程。

    • 隨選：建立資料剖析掃描作業，並隨時使用「立即執行」動作執行。

16. 按一下 [建立]。

gcloud

如要建立資料設定檔掃描作業，請執行下列指令：

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY
| --data-source-resource=DATA_SOURCE_RESOURCE

替換下列變數：

• DATASCAN：資料設定檔掃描作業的名稱。
• LOCATION： Google Cloud 建立資料設定檔掃描作業的區域。
• DATA_SOURCE_ENTITY：Dataplex 通用目錄實體，其中包含資料剖析檔掃描作業的資料。例如：projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity。
• DATA_SOURCE_RESOURCE：包含資料設定檔掃描資料的資源名稱。例如：//bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table。

如需瞭解選用引數，請參閱 gcloud CLI 參考資料。

REST

使用 API Explorer 建立資料剖析掃描。

控制台

1. 前往 Google Cloud 控制台的「Profile」頁面。

   前往 Dataplex 通用目錄設定檔

2. 按一下「建立多個剖析掃描作業」。

3. 輸入ID 前置字串。Dataplex 通用目錄會使用提供的前置字串和不重複的後置字串，自動產生掃描 ID。

4. 為所有資料剖析掃描作業輸入說明。

5. 在「Dataset」欄位中，按一下「Browse」。選取要從中挑選資料表的資料集。按一下「選取」。

6. 如果資料集跨多個區域，請選取要建立資料設定檔掃描作業的區域。

7. 選取「常用設定選項」：

   1. 在「範圍」欄位中，選擇「增量」或「整個資料」。

   2. 如要將取樣方法套用至資料剖析掃描作業，請在「取樣大小」清單中選取取樣百分比。

      請選擇介於 0.0% 和 100.0% 之間的百分比值，最多可有 3 位小數。

   3. 如要顯示所有掃描結果，請選取「發布」。您可以在 BigQuery 或 Dataplex 通用目錄資料表詳細資料的「Profile」分頁中查看結果。請確認您具備來源資料表的 bigquery.tables.update 權限。

   4. 在「排程選項」下方，選擇下列任一選項：

      1. 重複執行：定期執行資料剖析掃描工作。指定掃描的頻率 (每天、每週、每月或自訂) 和時間。如果選擇自訂，請使用 cron 格式指定時間表。

      2. 隨選：建立資料剖析掃描工作，並按一下「執行」隨時執行。

8. 在「Choose tables」(選擇資料表) 選項中，按一下「Browse」(瀏覽)。選擇要掃描的一或多個表格。按一下「選取」。

9. 選取「其他設定」：

   1. 如要將資料剖析檔掃描結果儲存至所選的 BigQuery 資料表，請在「Export scan results to BigQuery table」中選擇資料表。Dataplex 通用目錄會自動複製每個掃描作業的結果，並儲存至這個資料表。

      1. 點選「瀏覽」選取資料集。

      2. 輸入要用來儲存結果的 BigQuery 資料表。這可以是現有的資料表，供其他 Dataplex 通用目錄資料設定檔掃描作業使用，用於儲存結果。如果沒有具有指定名稱的這類資料表，Dataplex 通用目錄會建立資料表。

   2. 新增標籤，為資料剖析掃描作業加上註解。

10. 按一下「Run scan」，即可建立並執行所有掃描作業。這個選項僅適用於隨選掃描。

11. 按一下「建立」，即可建立所有掃描作業。

gcloud

不支援。

REST

不支援。

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 通用目錄的「Profile」頁面。前往「個人資料」
2. 按一下要執行的資料剖析檔掃描作業。
3. 按一下「立即執行」。

gcloud

如要執行資料設定檔掃描作業，請執行下列指令：

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

替換下列變數：

• DATASCAN：資料設定檔掃描作業的名稱。
• LOCATION：建立資料剖析檔掃描作業的 Google Cloud 區域。

如需瞭解選用引數，請參閱 gcloud CLI 參考資料。

REST

使用 API Explorer 執行資料設定檔掃描。

控制台

您建立的所有資料剖析掃描作業都會顯示在「Profile」頁面中。

如要查看掃描作業的詳細結果，請按一下掃描作業名稱。

• 「總覽」部分會顯示掃描執行作業、每次執行作業的時間、掃描的資料表記錄數，以及工作狀態。

• 「設定檔掃描設定」部分包含掃描作業的詳細資料。

gcloud

如要查看資料剖析掃描作業的結果，請執行下列指令：

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

替換下列變數：

• JOB：資料設定檔掃描作業的作業 ID。
• LOCATION：建立資料剖析檔掃描作業的 Google Cloud 區域。
• DATASCAN：工作所屬資料設定檔掃描作業的名稱。
• --view=FULL：如要查看掃描工作結果，請指定 FULL。

如需瞭解選用引數，請參閱 gcloud CLI 參考資料。

REST

使用 API Explorer 查看資料剖析檔掃描結果。

控制台

當至少有一次成功完成的執行作業時，「最新工作結果」分頁會提供最新工作的相關資訊。清單會列出掃描表格的欄，以及掃描過程中所發現的欄相關統計資料。

gcloud

如要查看最近一次成功掃描資料設定檔的結果，請執行下列指令：

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

替換下列變數：

• DATASCAN：要查看最近一次工作所用的資料設定檔掃描作業名稱。
• LOCATION：建立資料剖析掃描作業的 Google Cloud 區域。
• --view=FULL：如要查看掃描工作結果，請指定 FULL。

如需瞭解選用引數，請參閱 gcloud CLI 參考資料。

REST

使用 API Explorer 查看最近的掃描工作。

控制台

「工作記錄」分頁會提供過去工作相關資訊。這份報表會列出所有工作、每項工作掃描的記錄數量、工作狀態、工作執行時間等資訊。

如要查看工作詳細資訊，請按一下「Job ID」下方的任一工作。

gcloud

如要查看資料設定檔掃描作業的所有工作，請執行下列指令：

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

替換下列變數：

• LOCATION：建立資料剖析掃描作業的 Google Cloud 區域。
• DATASCAN：要查看所有工作資料的資料設定檔掃描名稱。

如需瞭解選用引數，請參閱 gcloud CLI 參考資料。

REST

使用 API Explorer 查看所有掃描工作。

控制台

1. 在 Google Cloud 控制台中，前往「Profile」頁面。

   前往 Dataplex 通用目錄設定檔

2. 在要編輯的掃描畫面所在的列中，依序按一下 more_vert >「編輯」。

3. 編輯值。

4. 按一下 [儲存]。

gcloud

如要更新資料設定檔掃描作業，請執行下列指令：

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

替換下列變數：

• DATASCAN：要更新的資料設定檔掃描作業名稱。
• LOCATION：建立資料剖析掃描作業的 Google Cloud 區域。
• DESCRIPTION：資料設定檔掃描作業的新說明。

如要更新規格欄位，請參閱 gcloud CLI 參考資料。

REST

使用 API Explorer 編輯資料剖析掃描。

控制台

1. 在 Google Cloud 控制台中，前往「Profile」頁面。前往 Dataplex 通用目錄設定檔

2. 按一下要刪除的掃描。

3. 點選「刪除」。

gcloud

如要刪除資料設定檔掃描作業，請執行下列指令：

gcloud dataplex datascans delete \
DATASCAN --location=LOCATION \
--async

替換下列變數：

• DATASCAN：要刪除的資料設定檔掃描作業名稱。
• LOCATION：建立資料剖析掃描作業的 Google Cloud 區域。

如需瞭解選用引數，請參閱 gcloud CLI 參考資料。

REST

使用 API Explorer 刪除資料剖析掃描作業。