在自助管理的 Google Cloud 專案中設定資料匯出至 BigQuery
Google Security Operations 可讓您將統一資料模型 (UDM) 資料匯出至您擁有及管理的自管專案。您可以將自己的 Google Cloud 專案連結至 Google SecOps 執行個體,並獨立管理 IAM 權限,不必依賴 Google 管理的設定。您也可以選取「SIEM 設定」>「資料匯出」,啟用及設定「自帶 BigQuery」 (BYOBQ) 功能。
Google SecOps 會將下列資料類別匯出至 BigQuery 專案:
udm_events
:將記錄資料正規化為 UDM 結構定義。udm_events_aggregates
:以每小時的規格化事件匯總的資料。entity_graph
:實體圖包含三個維度 (比對內容資料、衍生資料和全域比對內容)。所有情境資料和衍生資料,以及部分全域情境資料,都會以 UDML 格式寫入並儲存。rule_detections
:Google SecOps 執行的規則傳回的偵測結果。ioc_matches
:根據 UDM 事件找到的 IOC 相符項目。ingestion_metrics
:與擷取和規範化管道相關的指標 (預設會匯出)。udm_enum_value_to_name_mapping
:將列舉值對應至 UDM 欄位名稱 (預設為匯出)。entity_enum_value_to_name_mapping
:將列舉值對應至實體欄位名稱 (預設為匯出)。
保留期限
如果您是現有客戶,並且啟用這項功能,則已匯出至 Google 代管專案的 BigQuery 資料會在指定的保留期間留在該專案中。
保留期限起算時間點為最早的資料匯出日期:
- 您可以依資料來源設定 BigQuery 匯出作業的保留期限,並將保留期限設為與 Google SecOps 中的預設記錄保留期限等同的最大值。
- 如果未指定保留期限,預設行為是持續匯出資料,但不會進行任何清理或清除作業,以限制保留期限。在這種情況下,您可以直接為 Cloud Storage 值區建立自訂保留政策,在自有專案 (BYOP) 專案中匯出資料,以便在 BigQuery 中做為外部資料表使用。
現有客戶的資料遷移
如果您是現有客戶,現有 Google 管理專案中的資料不會遷移至自行管理專案。由於資料未遷移,因此資料位於兩個獨立的專案中。如要查詢包含自管專案啟用日期的時間範圍內的資料,您必須完成下列其中一項操作:
- 使用單一查詢,彙整兩個專案的資料。
- 針對各個專案分別執行兩個查詢,一個查詢針對自行管理專案啟用日期前的資料,另一個查詢針對啟用日期後的資料。當 Google 管理專案的保留期限屆滿時,系統就會刪除該資料。您只能查詢該時間點後 Google Cloud專案中的資料。
匯出資料所需的權限
如要存取 BigQuery 資料,請在 BigQuery 中執行查詢。將下列 IAM 角色指派給任何需要存取權的使用者:
- BigQuery 資料檢視器 (
roles/bigquery.dataViewer
) - BigQuery 工作使用者 (
roles/bigquery.jobUser
) - Storage 物件檢視者 (
roles/storage.objectViewer
) 您也可以在資料集層級指派角色。如需更多資訊,請參閱「BigQuery IAM 角色和權限」。
啟動 BigQuery 資料匯出作業,將資料匯出至自管理專案
建立要匯出資料的 Google Cloud 專案。詳情請參閱「為 Google SecOps 設定 Google Cloud 專案」。
將自管專案連結至 Google SecOps 執行個體,即可在 Google SecOps 與自管專案之間建立連結。詳情請參閱「將 Google 安全操作連結至 Google Cloud 服務」。您也可以選取「SIEM 設定」>「資料匯出」,啟用及設定「自帶 BigQuery」 (BYOBQ) 功能。
如要驗證資料是否已匯出至自管專案,請在 BigQuery 中查看
datalake
資料集下的資料表。
您可以針對儲存在 BigQuery 資料表中的 Google SecOps 資料編寫臨時查詢。您也可以使用與 BigQuery 整合的其他第三方工具,建立更進階的資料分析。
在自控 Google Cloud 專案中建立的所有資源 (包括 Cloud Storage 值區和 BigQuery 資料表),都必須與 Google SecOps 位於相同區域。
如果在查詢 BigQuery 時收到 Unrecognized name: <field_name> at [<some_number>:<some_number>]
等錯誤,表示您嘗試存取的欄位不在資料集中,且結構定義是在匯出程序期間動態產生。
如要進一步瞭解 BigQuery 中的 Google SecOps 資料,請參閱「BigQuery 中的 Google SecOps 資料」。
還有其他問題嗎?向社群成員和 Google SecOps 專家尋求解答。