混合型工作和工作觸發條件

混合型工作和工作觸發條件包含一組非同步 API 方法,可讓您掃描從幾乎任何來源傳送的資料酬載,找出私密資訊,然後將結果儲存在 Google Cloud中。您可以透過混合工作編寫自己的資料檢索器,以類似於 Sensitive Data Protection 儲存空間檢查方法的方式運作及提供資料。

您可以透過混合型工作,將任意來源的資料串流至 Sensitive Data Protection。Sensitive Data Protection 會檢查資料中的私密資訊或 PII,然後將檢查掃描結果儲存至 Sensitive Data Protection 工作資源。您可以在機密資料防護主控台 UI 或 API 中檢查掃描結果,也可以指定掃描後要執行的動作,例如將檢查結果資料儲存至 BigQuery 資料表,或發出 Pub/Sub 通知。

混合工作流程摘要如下圖所示:

混合型工作資料流程圖,顯示應用程式將外部來源的資料傳送至 Sensitive Data Protection,後者檢查資料,然後儲存或發布結果。

本概念主題說明混合型工作和工作觸發條件,以及運作方式。 如要瞭解如何實作混合型工作和工作觸發條件,請參閱「使用混合型工作檢查外部資料」。

關於混合式環境

「混合式」環境在機構中很常見。許多機構會使用下列組合儲存及處理機密資料:

  • 其他雲端服務供應商
  • 地端伺服器或其他資料存放區
  • 非原生儲存系統,例如在虛擬機器中執行的系統
  • 網頁和行動應用程式
  • Google Cloud型解決方案

透過混合型工作,Sensitive Data Protection 可以檢查從上述任一來源傳送的資料。以下列舉幾個範例情境:

  • 檢查儲存在 Amazon Relational Database Service (RDS)、虛擬機器內執行的 MySQL,或內部部署資料庫中的資料。
  • 從內部部署環境遷移至雲端,或在實際工作環境、開發環境和分析環境之間遷移時,檢查資料並進行權杖化。
  • 在靜態儲存資料前,檢查並修訂網路或行動應用程式中的交易。

檢查選項

如「方法類型」一文所述,如要檢查內容是否含有機密資料,Sensitive Data Protection 提供三種預設選項:

  • 內容方法檢查:使用內容檢查功能時,您會將少量資料酬載串流至 Sensitive Data Protection,並提供檢查指示。Sensitive Data Protection 接著會檢查資料中的機密內容和 PII,然後將掃描結果傳回給您。
  • 儲存空間檢查:使用儲存空間檢查功能時,Sensitive Data Protection 會檢查 Google Cloud型儲存空間存放區,例如 BigQuery 資料庫、Cloud Storage 值區或 Datastore 種類。您會告知 Sensitive Data Protection 要檢查的內容和檢查的項目,然後 Sensitive Data Protection 會執行工作,掃描存放區。掃描完成後,Sensitive Data Protection 會將掃描結果摘要儲存回工作。此外,您也可以指定將結果傳送至其他 Google Cloud 產品 (例如另一個 BigQuery 資料表) 進行分析。
  • 混合型工作檢查:混合型工作兼具前兩種方法的優點。您可以使用這些方法串流資料,就像使用內容方法一樣,同時取得儲存空間檢查工作的儲存、視覺化和動作。所有檢查設定都會在 Sensitive Data Protection 中管理,用戶端不需要額外設定。混合式工作可用於掃描非原生儲存系統,例如在虛擬機器 (VM)、地端或另一個雲端中執行的資料庫。混合式方法也可用於檢查處理系統,例如遷移工作負載,甚至是 Proxy 服務對服務通訊。雖然內容方法也能做到這一點,但混合方法會提供結果儲存後端,可匯總多個 API 呼叫的資料,因此您不必這麼做。

關於混合型工作和工作觸發條件

混合式作業實際上是內容方法和儲存方法的混合體。使用混合型工作和工作觸發條件的基本工作流程如下:

  1. 您編寫指令碼或建立工作流程,將資料連同一些中繼資料傳送至 Sensitive Data Protection 進行檢查。
  2. 您可以設定及建立混合式工作資源或觸發條件,並啟用該資源或觸發條件,以便在收到資料時啟動。
  3. 您的指令碼或工作流程會在用戶端執行,並以 hybridInspect 要求的形式,將資料傳送至 Sensitive Data Protection。這項資料包括啟用訊息,以及觸發檢查的工作或工作觸發條件的 ID。
  4. Sensitive Data Protection 會根據您在混合型工作或觸發條件中設定的條件檢查資料。
  5. Sensitive Data Protection 會將掃描結果和您提供的中繼資料,一併儲存至混合型工作資源。您可以在 Google Cloud 控制台中使用 Sensitive Data Protection 使用者介面檢查結果。
  6. 您也可以選擇讓 Sensitive Data Protection 執行掃描後動作,例如將檢查結果資料儲存至 BigQuery 資料表,或是透過電子郵件或 Pub/Sub 通知您。

混合式工作觸發條件可讓您建立、啟動及停止工作,以便在需要時觸發動作。只要確保指令碼或程式碼傳送的資料包含混合式工作觸發條件的 ID,就不必在每次啟動新工作時更新指令碼或程式碼。

常見的混合型工作情境

混合工作非常適合達成下列目標:

  • 在每季的資料庫隨機檢查中,對 Google Cloud 以外的資料庫執行一次性掃描。
  • 監控每天新增至資料庫的所有內容,但 Sensitive Data Protection 不支援這些內容。
  • 掃描資料庫中的資料,同時控管資料的分區方式。
  • 使用 Envoy 適用的敏感資料保護篩選器 (適用於 Envoy Sidecar Proxy 的 WebAssembly HTTP 篩選器) 監控網路流量,找出有問題的敏感資料移動情形。

如要瞭解如何處理這些情境,請參閱「常見的混合檢查情境」。

可提供的中繼資料類型

本節說明可附加至要檢查的外部資料或調查結果的中繼資料類型。

您可以在下列層級設定中繼資料:

混合型工作或混合型工作觸發條件中的中繼資料

本節說明可附加至混合式工作或混合式工作觸發條件的中繼資料類型。

必要標籤

在混合型工作或混合型工作觸發條件中,您可以指定必要標籤清單,您傳送的所有混合型檢查要求都必須包含這些標籤。如果混合型工作或混合型工作觸發條件的任何要求未包含這些必要標籤,系統就會拒絕。詳情請參閱「要求從 hybridInspect 請求取得標籤」。

選擇性標籤

您可以指定要附加至混合型工作或混合型工作觸發程序所有結果的鍵/值組合。舉例來說,如果希望混合工作的所有結果都加上 "env"="prod" 標籤,請在建立混合工作時指定這個鍵/值組合。

表格資料選項

您可以指定資料中資料表物件的任何資料欄做為資料列 ID (主鍵)。如果資料表中存在指定資料欄,系統會將指定資料欄的值一併納入每個發現項目,方便您追蹤發現項目的來源資料列。這些表格選項僅適用於傳送表格資料 (例如 item.tablebyteItem 格式,如 CSV) 的要求。

如果您事先知道主鍵,可以在建立混合工作或混合工作觸發程序時,將主鍵設為識別欄位。您最多可以在 hybridOptions.tableOptions.identifyingFields 欄位列出三個資料欄名稱。

hybridInspect 要求中的中繼資料

本節說明可附加至 hybridInspect 要求的元資料類型。您在 hybridInspect 要求中傳送的中繼資料只會套用至該要求。

容器詳細資料

傳送至混合型工作或混合型工作觸發條件的每個要求,都可以指定資料來源的詳細資料,包括 fullPathrootPathrelativePathtypeversion 等元素。舉例來說,如果您要掃描資料庫中的表格,可以將欄位設為如下:

{
  "hybridItem": {
    "item": {...},
    "findingDetails": {
      "containerDetails": {
        "fullPath": "10.0.0.20/database1/table1",
        "relativePath": "table1",
        "rootPath": "10.0.0.20/database1",
        "type": "postgres",
        "version": "9.6"
      },
      "labels": {...}
    }
  }
}

您無法在混合型工作或混合型工作觸發條件層級設定容器詳細資料。

必要標籤

如果您在建立混合工作或混合工作觸發條件時設定必要標籤,則傳送至該混合工作或混合工作觸發條件的任何 hybridInspect 要求,都必須包含這些必要標籤。詳情請參閱「要求來自 hybridInspect 要求的標籤」。

選擇性標籤

在每個 hybridInspect 要求中,您可以指定要附加至該要求中任何發現項目的鍵/值組合。這個方法可讓您在每個 hybridInspect 要求中附加不同標籤。

表格資料選項

您可以指定資料中資料表物件的任何資料欄做為資料列 ID (主鍵)。如果資料表中存在指定資料欄,系統會將指定資料欄的值一併納入每個發現項目,方便您追蹤發現項目的來源資料列。這些表格選項僅適用於傳送表格資料 (例如 item.tablebyteItem 格式,如 CSV) 的要求。

如果您事先不知道主鍵,就不必在混合工作或混合工作觸發條件層級設定主鍵。您可以在 hybridInspect 要求中設定這些項目,並提供要檢查的表格資料。您在混合型工作或混合型工作觸發條件層級列出的任何欄位,都會與您在 hybridInspect 要求中列出的欄位合併。

支援的動作

與其他 Sensitive Data Protection 工作一樣,混合型工作也支援動作。部分動作不適用於混合工作。 以下是目前支援的動作,以及相關運作方式。請注意,使用 Pub/Sub、電子郵件和 Cloud Monitoring 動作時,系統會在工作結束後提供結果。

  • 將發現項目儲存至 Sensitive Data Protection將發現項目儲存至 BigQuery:發現項目會分別儲存至 Sensitive Data Protection 資源或 BigQuery 資料表。這些動作的運作方式與其他工作類型類似,但有一項重要差異:混合工作會在執行期間提供結果,其他工作類型則會在工作結束時提供結果。
  • 傳送 Pub/Sub:工作完成後,系統會發出 Pub/Sub 訊息。

  • 傳送電子郵件:作業完成後,系統會傳送電子郵件。

  • 發布至 Cloud Monitoring:工作完成後,系統會將發現項目發布至 Monitoring。

摘要

以下列出使用混合式工作和工作觸發程序的幾項主要功能和優點:

  • 混合型工作可讓您從幾乎任何來源 (包括雲端內外) 將資料串流至 Sensitive Data Protection。
  • 當 Sensitive Data Protection 收到含有啟動訊息和工作觸發條件 ID 的資料串流時,就會啟動混合工作觸發條件。
  • 你可以等待檢查掃描完成,或手動停止作業。無論您允許工作完成或提早停止工作,檢查結果都會儲存至 Sensitive Data Protection 或 BigQuery。
  • 混合型工作觸發條件的 Sensitive Data Protection 檢查掃描結果,會儲存至 Sensitive Data Protection 內的混合型工作資源。
  • 如要查看檢查掃描結果,請在 Sensitive Data Protection 中查看工作觸發條件資源。
  • 您也可以指示 Sensitive Data Protection 透過動作,將混合式工作結果傳送至 BigQuery 資料庫,並透過電子郵件或 Pub/Sub 通知您。

後續步驟