在搜尋和資訊主頁中使用重複資料刪除功能
本文說明在 Google Security Operations 中搜尋資料時會發生什麼情況。有時結果會包含重複內容。這是因為企業基礎架構會從多個系統為同一事件產生記錄。舉例來說,驗證和安全防護系統可能會記錄單一登入事件。
如要減少重複結果,請在 YARA-L 語法的 dedup 部分使用 UDM 欄位。將 UDM 欄位新增至這個部分,即可針對每個不同的值組合傳回單一結果。。
查詢中的重複資料刪除
重複資料刪除功能適用於下列類型的搜尋和資訊主頁查詢:
匯總搜尋查詢:包括「
match」、「match」和「outcome」或「aggregated outcome」部分。系統會在判斷結果後進行重複資料刪除作業。如果是匯總搜尋查詢,請在
dedup區段中加入下列欄位:- 「
match」部分的欄位 - 「
outcome」部分的欄位
- 「
UDM 搜尋查詢:排除
match、outcome或aggregated outcome區段。請注意,只要沒有任何匯總和match區段,UDM 搜尋查詢就能包含outcome區段。如果是 UDM 查詢,請在
dedup區段中新增下列欄位:- 任何非重複、非陣列和非群組的事件欄位
- 「
events」部分的預留位置欄位 - 「
outcome」專區的結果變數
Google 搜尋中的重複內容簡化範例
範例:簡單搜尋不重複的 IP 位址
以下搜尋範例會顯示事件之間的網路連線,其中企業內部的專屬 IP 位址 (principal.ip) 會連線至企業外部的專屬外部 IP 位址 (target.ip)。系統會根據 principal.ip 排除重複事件。
events:
metadata.event_type = "NETWORK_CONNECTION"
target.ip != ""
principal.ip != ""
match:
target.ip, principal.ip
dedup:
principal.ip
範例:不重複的 IP 位址
與上一個範例類似,下列範例搜尋會顯示具有專屬 IP 位址的網路連線事件。套用 dedup 至 principal.ip
可將結果縮小至與不重複 IP 相關聯的事件。「outcome」部分會顯示 principal.ip 和 target.ip 之間傳送的總位元組數,並依流量大小排序結果 (從最高到最低)。
events:
metadata.event_type = "NETWORK_CONNECTION"
target.ip != ""
principal.ip != ""
match:
target.ip, principal.ip
outcome:
$total_bytes = sum(network.sent_bytes)
dedup:
principal.ip
order:
$total_bytes desc
範例:簡單搜尋不重複的主機名稱
以下範例會搜尋貴機構存取的每個不重複主機名稱。套用 dedup 至 target.hostname 可將結果範圍縮小至與不重複的外部主機名稱相關聯的事件。
metadata.log_type != ""
dedup:
target.hostname
以下是沒有 dedup 選項的對等範例。通常會傳回大量事件。
metadata.log_type != "" AND target.hostname != ""
範例:不重複的主機名稱
與上一個範例類似,這項搜尋會顯示具有專屬主機名稱的網路連線事件。將 dedup 選項套用至 principal.hostname
,即可將結果範圍縮小至與不重複主機相關聯的事件:
events:
metadata.event_type = "NETWORK_CONNECTION"
target.hostname != ""
principal.hostname != ""
match:
target.hostname, principal.hostname
outcome:
$total_bytes = sum(network.sent_bytes)
dedup:
principal.hostname
order:
$total_bytes desc
還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求答案。