將 Sensitive Data Protection 檢查結果傳送至 Data Catalog

本指南說明如何使用 Sensitive Data Protection 檢查 BigQuery 資料表,並將檢查結果傳送至 Data Catalog。

您也可以執行資料剖析,這與檢查作業不同。您也可以將資料剖析結果傳送至 Dataplex Universal Catalog。詳情請參閱「根據資料剖析的洞察資訊,在 Dataplex Universal Catalog 中標記資料表」。

Data Catalog 是一項可擴充的中繼資料管理服務,可讓您快速探索、管理及瞭解 Google Cloud中的所有資料。

Sensitive Data Protection 內建與 Data Catalog 的整合功能。 使用資訊安全防護 動作檢查 BigQuery 資料表中的私密資料時,系統會以標記範本的形式,將結果直接傳送至資料目錄。

完成本指南中的步驟後,您將執行下列操作:

  • 啟用 Data Catalog 和 Sensitive Data Protection。
  • 設定 Sensitive Data Protection,檢查 BigQuery 資料表。
  • 設定機密資料保護檢查,將檢查結果傳送至 Data Catalog。

如要進一步瞭解 Data Catalog,請參閱 Data Catalog 說明文件

如要將資料剖析作業 (而非檢查作業) 的結果傳送至 Dataplex Universal Catalog,請參閱剖析機構、資料夾專案的說明文件。

費用

在本文件中,您會使用 Google Cloud的下列計費元件:

  • Sensitive Data Protection
  • BigQuery

如要根據預測用量估算費用,請使用 Pricing Calculator

初次使用 Google Cloud 的使用者可能符合免費試用資格。

事前準備

如要將 Sensitive Data Protection 檢查結果傳送至 Data Catalog,請先完成下列步驟:

  • 步驟 1:設定帳單資訊。
  • 步驟 2:建立新專案,並填入新的 BigQuery 資料表。(選用)。
  • 步驟 3:啟用資料目錄。
  • 步驟 4:啟用 Sensitive Data Protection。

以下小節將詳細說明每個步驟。

步驟 1:設定帳單資訊

如果沒有帳單帳戶,請先設定帳單帳戶。

瞭解如何啟用計費功能

步驟 2:建立新專案並填入新的 BigQuery 資料表 (選用)

如果您要為正式版工作設定這項功能,或是已有要檢查的 BigQuery 資料表,請開啟包含該資料表的Google Cloud 專案,然後跳至步驟 3。

如果您正在試用這項功能,並想檢查測試資料,請建立新專案。如要完成這個步驟,您必須擁有 IAM 專案建立者角色。進一步瞭解 IAM 角色

  1. 前往 Google Cloud 控制台的「New Project」(新增專案) 頁面。

    新專案

  2. 在「帳單帳戶」下拉式清單中,選取專案應計入的帳單帳戶。
  3. 在「Organization」(機構) 下拉式清單中,選取要建立專案的機構。
  4. 在「位置」下拉式清單中,選取要建立專案的機構或資料夾。
  5. 按一下「建立」建立專案。

接下來,下載並儲存範例資料:

  1. 前往 GitHub 中的 Cloud Run functions 教學課程存放區
  2. 選取其中一個含有範例資料的 CSV 檔案,然後下載該檔案。
  3. 接著,前往 Google Cloud 控制台的「BigQuery」BigQuery
  4. 選取專案。
  5. 點選「建立資料集」
  6. 點選「建立資料表」
  7. 按一下「上傳」,然後選取要上傳的檔案。
  8. 為資料表命名,然後按一下「建立資料表」

步驟 3:啟用資料目錄

接著,為包含要使用 Sensitive Data Protection 檢查的 BigQuery 資料表的專案啟用 Data Catalog。

如要使用 Google Cloud 控制台啟用 Data Catalog,請按照下列步驟操作:

  1. 向 Data Catalog 註冊應用程式

    向 Data Catalog 註冊應用程式

  2. 在註冊頁面中,從「建立專案」下拉式清單中,選取要搭配 Data Catalog 使用的專案。
  3. 選取專案後,按一下「繼續」

專案現已啟用 Data Catalog。

步驟 4:啟用 Sensitive Data Protection

為啟用 Data Catalog 的專案啟用 Sensitive Data Protection。

如要使用 Google Cloud 控制台啟用 Sensitive Data Protection,請按照下列步驟操作:

  1. 為 Sensitive Data Protection 註冊應用程式

    註冊應用程式以使用 Sensitive Data Protection

  2. 在註冊頁面的「建立專案」下拉式清單中,選取您在上一個步驟中選擇的專案。
  3. 選取專案後,按一下「繼續」

專案現已啟用 Sensitive Data Protection。

設定及執行 Sensitive Data Protection 檢查工作

您可以使用 Google Cloud 控制台或 DLP API,設定及執行 Sensitive Data Protection 檢查工作。

Data Catalog 標記範本與 BigQuery 資料表儲存在同一個專案和區域。如果您要檢查其他專案中的資料表,則必須在 BigQuery 資料表所在的專案中,將 Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner) 角色授予資訊保護服務代理程式。

Google Cloud 控制台

如要使用 Sensitive Data Protection 設定 BigQuery 資料表的檢查工作,請按照下列步驟操作:

  1. 在 Google Cloud 控制台的「Sensitive Data Protection」專區中,前往「Create job or job trigger」頁面。

    前往「建立工作或工作觸發條件」

  2. 輸入 Sensitive Data Protection 工作資訊,然後按一下「繼續」來完成各個步驟:

    • 步驟 1:「Choose input data」(選擇輸入資料) 中,請在「Name」(名稱) 欄位輸入值,為工作命名。在「位置」中,從「儲存空間類型」選單選擇「BigQuery」,然後輸入要檢查的資料表資訊。「Sampling」(取樣) 部分已預先設定,可針對資料執行範例檢查。如果資料量很大,可以調整「限制列數依據」和「最多列數」欄位,節省資源。詳情請參閱選擇輸入資料

    • (選用) 在步驟 2:設定偵測作業中,您可以設定要尋找的資料類型,稱為「infoTypes」。在本逐步導覽中,請保留選取的預設 infoType。詳情請參閱「設定偵測功能」。

    • 步驟 3:「Add actions」(新增動作) 中,啟用「Save to Data Catalog」(儲存至資料目錄)

    • (選用) 在步驟 4:排定時間中,請將選單設為「無」,以便檢查只執行一次。如要進一步瞭解如何排定週期性檢查工作,請參閱「排程」。

  3. 按一下「建立」,工作會立即執行。

DLP API

在本節中,您將設定並執行 Sensitive Data Protection 檢查工作。

您在此設定的「檢查工作」會指示 Sensitive Data Protection 檢查步驟 2 中所述的 BigQuery 範例資料,或檢查您自己的 BigQuery 資料。您指定的工作設定也會指示 Sensitive Data Protection 將檢查結果儲存在 Data Catalog 中。

步驟 1:記下專案 ID

  1. 前往Google Cloud 控制台

    前往 Google Cloud 控制台

  2. 按一下 [選取]。

  3. 在「Select from」(可用的選項) 下拉式清單中,選取您已啟用 Data Catalog 的機構。

  4. 在「ID」下方,複製包含要檢查資料的專案 ID。這是本頁面稍早設定儲存庫步驟中說明的專案。

  5. 在「名稱」下方,按一下專案以選取。

步驟 2:開啟 APIs Explorer 並設定工作

  1. 前往參考資料頁面上的 API Explorer dlpJobs.create方法。如要保留這些操作說明,請在下列連結上按一下滑鼠右鍵,然後在新分頁或視窗中開啟:

    開啟 APIs Explorer

  2. 在「parent」(父項) 方塊中輸入下列內容,其中 project-id 是您在先前步驟中記下的專案 ID:

    projects/project-id

    接著,複製下列 JSON。在 API Explorer 中選取「要求主體」欄位的內容,然後貼上 JSON 來取代內容。請務必將 project-idbigquery-dataset-namebigquery-table-name 預留位置分別替換成實際的專案 ID,以及 BigQuery 資料集和資料表名稱。

    {
      "inspectJob":
      {
        "storageConfig":
        {
          "bigQueryOptions":
          {
            "tableReference":
            {
              "projectId": "project-id",
              "datasetId": "bigquery-dataset-name",
              "tableId": "bigquery-table-name"
            }
          }
        },
        "inspectConfig":
        {
          "infoTypes":
          [
            {
              "name": "EMAIL_ADDRESS"
            },
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "US_SOCIAL_SECURITY_NUMBER"
            },
            {
              "name": "PHONE_NUMBER"
            }
          ],
          "includeQuote": true,
          "minLikelihood": "UNLIKELY",
          "limits":
          {
            "maxFindingsPerRequest": 100
          }
        },
        "actions":
        [
          {
            "publishFindingsToCloudDataCatalog": {}
          }
        ]
      }
    }
    

如要進一步瞭解可用的檢查選項,請參閱「檢查儲存空間與資料庫以找出機密資料」。如需 Sensitive Data Protection 可檢查的資訊類型完整清單,請參閱 InfoType 參考資料

步驟 3:執行要求以啟動檢查工作

按照上述步驟設定工作後,請按一下「Execute」(執行),傳送要求。如果要求成功,回應會顯示成功代碼和 JSON 物件,指出您剛建立的資訊保護工作狀態。

檢查要求的回應包含檢查工作的工作 ID ("name" 鍵),以及檢查工作的目前狀態 ("state" 鍵)。由於您剛提交了要求,因此,此時工作的狀態為 "PENDING"

查看 Sensitive Data Protection 檢查工作的狀態

提交檢查要求後,檢查作業會立即開始。

Google Cloud 控制台

如要查看檢查工作的狀態,請按照下列步驟操作:

  1. 在 Google Cloud 控制台中,開啟 Sensitive Data Protection。

    前往 Sensitive Data Protection

  2. 按一下「Jobs & job triggers」(工作和工作觸發條件) 分頁標籤,然後按一下「All jobs」(所有工作)

您剛執行的工作可能會顯示在清單頂端。查看「狀態」欄,確認狀態為「完成」

按一下工作的「工作 ID」即可查看結果。工作詳細資料頁面列出的每個 infoType 偵測器後方,都會顯示內容中找到的相符項目數量。

DLP API

如要查看檢查工作的狀態,請按照下列步驟操作:

  1. 前往 dlpJobs.get 方法參考資料頁面的 APIs Explorer,方法是點選下列按鈕:

    開啟 APIs Explorer

  2. 在「name」(名稱) 方塊中,輸入檢查要求的 JSON 回應中的工作名稱,格式如下:

    projects/project-id/dlpJobs/job-id
    工作 ID 的格式為 i-1234567890123456789

  3. 如要提交要求,請按一下 [Execute] (執行)

如果回應 JSON 物件的 "state" 金鑰指示工作狀態為 "DONE",則表示檢查工作已完成。

如要查看其餘的回應 JSON,請向下捲動頁面。在 "result" > "infoTypeStats" 下,列出的每個資訊類型都應該有對應的 "count"。如果沒有,請確認您輸入的 JSON 是否正確,以及資料的路徑與位置是否正確。

檢查工作完成後,您可以繼續閱讀本指南的下一個章節,瞭解如何在 Security Command Center 中查看檢查結果。

在 Data Catalog 中查看機密資料保護檢查結果

由於您已指示 Sensitive Data Protection 將檢查工作結果傳送至 Data Catalog,因此現在可以在 Data Catalog UI 中查看自動建立的標記和標記範本:

  1. 前往 Google Cloud 控制台的「Data Catalog」頁面。

    前往 Data Catalog

  2. 搜尋您檢查的資料表。
  3. 按一下與資料表相符的結果,即可查看資料表中繼資料。

下圖顯示範例資料表的 Data Catalog 中繼資料檢視畫面:

Data Catalog 中的 Sensitive Data Protection 發現項目。

檢查摘要

您檢查的表格會以摘要形式顯示 Sensitive Data Protection 的發現項目。這份摘要包括 infoType 總數,以及檢查工作的摘要資料,包括日期和工作資源 ID。

系統會列出所有檢查過的 infoTypes。有發現項目的項目會顯示大於零的計數。

正在清除所用資源

如要避免系統向您的 Google Cloud 帳戶收取本主題所用資源的費用,請視您使用的是範例資料或自有資料,採取下列任一做法:

刪除專案

如要避免付費,最簡單的方法就是按照本主題中提供的操作說明刪除您建立的專案。

如要刪除專案,請進行以下操作:

  1. 前往 Google Cloud 控制台的「Projects」(專案) 頁面。

    前往「Projects」(專案) 頁面

  2. 在專案清單中,選取要刪除的專案,然後按一下「刪除專案」選擇專案名稱旁邊的核取方塊後,按一下「刪除專案」
  3. 在對話方塊中輸入專案 ID,然後按一下「Shut down」(關閉) 刪除專案。

使用此方法刪除專案時,系統也會一併刪除您建立的 Sensitive Data Protection 工作和 Cloud Storage 值區,這樣就完成了。您不必遵循下列章節中的操作說明進行操作。

刪除 Sensitive Data Protection 工作或工作觸發條件

如果您檢查自己的資料,請刪除剛建立的檢查工作或工作觸發條件。

Google Cloud 控制台

  1. 在 Google Cloud 控制台中,開啟 Sensitive Data Protection。

    前往 Sensitive Data Protection

  2. 按一下「Jobs & job triggers」(工作和工作觸發條件) 分頁標籤,然後按一下「Job triggers」(工作觸發條件) 分頁標籤。

  3. 在要刪除的工作觸發條件的「Actions」(動作) 欄中,按一下「更多動作」選單 (垂直排列的三個圓點) ,然後點選「Delete」(刪除)

您也可以選擇刪除所執行工作的工作詳細資料。 按一下「所有工作」分頁,然後在要刪除的工作的「動作」欄中,按一下「更多動作」選單 (垂直排列的三個圓點) ,然後點選「刪除」

DLP API

  1. 前往 dlpJobs.delete 方法參考資料頁面的 APIs Explorer,方法是點選下列按鈕:

    開啟 APIs Explorer

  2. 在「name」(名稱) 方塊中,輸入檢查要求的 JSON 回應中的工作名稱,格式如下:

    projects/project-id/dlpJobs/job-id
    工作 ID 的格式為 i-1234567890123456789

如果您建立了其他檢查工作,或只是想要確認是否已成功刪除工作,可以列出所有現有工作:

  1. 前往 dlpJobs.list 方法參考資料頁面的 APIs Explorer,方法是點選下列按鈕:

    開啟 APIs Explorer

  2. 在「parent」(父項) 方塊中,輸入專案 ID,格式如下,其中 project-id 是您的專案 ID:

    projects/project-id

  3. 按一下 [Execute] (執行)

如果回應中未列出任何工作,則表示您已刪除了所有工作。 如果回應中列出了工作,請針對這些工作重複上述刪除程序。

後續步驟