收集 Datadog 記錄
總覽
這個剖析器會從 Datadog 記錄檔中擷取欄位,執行多項變動和 Grok 比對來建構資料,並將擷取的欄位對應至 UDM。這個外掛程式會處理 message 欄位中的不同記錄格式,包括鍵/值配對和 JSON 物件,並將特定欄位轉換為符合 UDM 規範的標籤和其他欄位。
事前準備
請確認您已完成下列事前準備事項:
- Google SecOps 執行個體。
- IAM 的特殊存取權 Google Cloud 。
- Cloud Storage 的特殊存取權。
logs_write_archive
使用者存取 Datadog 的權限。
方法 1:透過 Cloud Storage 設定分享 Datadog 記錄
設定 Datadog 與 Google Cloud Platform 的整合
- 在 Datadog 中設定 Google Cloud Platform 的整合功能。詳情請參閱 Datadog Google Cloud 整合設定。
建立 Google Cloud 儲存空間 bucket
- 登入 Google Cloud 主控台。
前往「Cloud Storage Buckets」(Cloud Storage bucket) 頁面。
點選「建立」。
在「建立 bucket」頁面中,輸入 bucket 資訊。完成下列每個步驟後,請按一下「繼續」前往下一個步驟:
在「開始使用」部分執行下列操作:
- 輸入符合值區名稱規定的專屬名稱 (例如 datadog-data)。
如要啟用階層命名空間,請按一下展開箭頭,展開「為檔案導向和資料密集型工作負載提供最理想的儲存空間」部分,然後選取「為這個值區啟用階層結構式命名空間」。
如要新增值區標籤,請按一下展開箭頭,展開「標籤」部分。
按一下「新增標籤」,然後指定標籤的鍵和值。
在「Choose where to store your data」(選擇資料的儲存位置) 專區中執行下列操作:
- 選取「位置類型」。
- 使用位置類型下拉式選單,選取要永久儲存 bucket 內物件資料的位置。
- 如果您選取「雙區域」位置類型,也可以勾選相關核取方塊,啟用強化型複製功能。
- 如要設定跨 bucket 複製作業,請展開「設定跨 bucket 複製作業」部分。
在「為資料選擇儲存空間級別」部分,選取值區的預設儲存空間級別,或選取「Autoclass」,讓系統自動管理值區資料的儲存空間級別。
在「選取如何控制物件的存取權」部分,選取「否」以強制禁止公開存取,並為值區物件選取存取權控管模型。
在「選擇保護物件資料的方式」部分,執行下列操作:
- 選取「資料保護」下要為值區設定的任何選項。
- 如要選擇物件資料的加密方式,請按一下標示為「資料加密」的展開箭頭,然後選取「資料加密方法」。
點選「建立」。
建立 Google Cloud 服務帳戶
- 依序前往「IAM & Admin」(IAM 與管理) >「Service Accounts」(服務帳戶)。
- 建立新的服務帳戶。
- 為其命名,名稱請使用描述性文字 (例如 datadog-user)。
- 在您於上一個步驟建立的 Cloud Storage bucket 中,將「Storage 物件管理員」角色授予服務帳戶。
- 為服務帳戶建立 SSH 金鑰。
- 下載服務帳戶的 JSON 金鑰檔案。請妥善保管這個檔案。
設定 Datadog 將記錄傳送至 Cloud Storage
- 使用具備權限的帳戶登入 Datadog。
- 依序前往「記錄」>「記錄轉送」。
- 按一下「+ 建立新封存」。
- 選取「Google Cloud Storage」。
- 輸入必要參數,然後按一下「儲存」。
方法 2:透過 Webhook 設定共用 Datadog 記錄
設定動態饋給
在 Google SecOps 平台中,有兩種不同的進入點可設定動態饋給:
- 「SIEM 設定」>「動態消息」
- 內容中心 > 內容包
依序前往「SIEM 設定」>「動態饋給」,設定動態饋給
如要設定動態消息,請按照下列步驟操作:
- 依序前往「SIEM 設定」>「動態消息」。
- 按一下「新增動態消息」。
- 在下一個頁面中,按一下「設定單一動態饋給」。
- 在「動態饋給名稱」欄位中,輸入動態饋給的名稱 (例如「Datadog Logs」)。
- 選取「Webhook」做為「來源類型」。
- 選取「Datadog」做為「記錄類型」。
- 點選「下一步」。
- 選用:指定下列輸入參數的值:
- 分割分隔符號:用於分隔記錄行的分隔符號,例如
\n
。
- 分割分隔符號:用於分隔記錄行的分隔符號,例如
- 點選「下一步」。
- 在「Finalize」畫面中檢查動態饋給設定,然後按一下「Submit」。
- 按一下「產生密鑰」,產生驗證這個動態消息的密鑰。
- 複製並儲存密鑰。您無法再次查看這個密鑰。如有需要,您可以重新產生新的密鑰,但這項操作會使先前的密鑰失效。
- 在「詳細資料」分頁中,從「端點資訊」欄位複製動態消息端點網址。您需要在用戶端應用程式中指定這個端點網址。
- 按一下 [完成]。
從內容中心設定動態饋給
為下列欄位指定值:
- 分割分隔符號:用於分隔記錄行的分隔符號,例如
\n
。
進階選項
- 動態饋給名稱:系統預先填入的值,用於識別動態饋給。
- 來源類型:將記錄收集到 Google SecOps 的方法。
- 資產命名空間:與動態饋給相關聯的命名空間。
擷取標籤:套用至這個動態饋給所有事件的標籤。
按一下「產生密鑰」,產生驗證這個動態消息的密鑰。
複製並儲存密鑰。您無法再次查看這個密鑰。如有需要,您可以重新產生新的密鑰,但這項操作會使先前的密鑰失效。
在「詳細資料」分頁中,從「端點資訊」欄位複製動態消息端點網址。您需要在用戶端應用程式中指定這個端點網址。
為 Webhook 資訊提供建立 API 金鑰
前往 Google Cloud 控制台 > 憑證。
按一下 [Create credentials] (建立憑證),然後選取 [API key] (API 金鑰)。
限制 API 金鑰對 Chronicle API 的存取權。
指定端點網址
- 在用戶端應用程式中,指定 webhook 動態饋給中提供的 HTTPS 端點網址。
如要啟用驗證,請在自訂標頭中指定 API 金鑰和私密金鑰,格式如下:
X-goog-api-key = API_KEY X-Webhook-Access-Key = SECRET
建議:請將 API 金鑰指定為標頭,而非在網址中指定。
如果 Webhook 用戶端不支援自訂標頭,您可以使用查詢參數指定 API 金鑰和密鑰,格式如下:
ENDPOINT_URL?key=API_KEY&secret=SECRET
更改下列內容:
ENDPOINT_URL
:動態消息端點網址。API_KEY
:用於向 Google SecOps 進行驗證的 API 金鑰。SECRET
:您產生的密鑰,用於驗證動態饋給。
設定 Datadog,將記錄傳送至 Webhook
- 使用具備權限的帳戶登入 Datadog。
- 依序前往「記錄」>「記錄轉送」。
- 選取「自訂目的地」。
- 按一下「+ 建立新目的地」。
- 指定下列輸入參數的值:
- 選擇目的地類型:選取「HTTP」。
- 為目的地命名:為 Webhook 提供描述性名稱 (例如「Google SecOps Webhook」)。
- 設定目的地:輸入 ENDPOINT_URL,然後輸入 API_KEY 和 SECRET。
- 設定驗證設定:新增一般標頭 (如下所示),這不會造成 HTTP 要求格式錯誤,並允許 Datadog 完成 Webhook 建立作業。
- 標題名稱:
Accept
。 - 標頭值:
application/json
。
- 標題名稱:
- 按一下 [儲存]。
參考資料連結
UDM 對應表
記錄欄位 | UDM 對應 | 邏輯 |
---|---|---|
_id |
read_only_udm.metadata.product_log_id |
直接對應至 _id 欄位。 |
alert |
read_only_udm.security_result.about.resource.attribute.labels |
從 alert 欄位擷取,並新增為 security_result 物件中的標籤。 |
attributes.@timestamp |
read_only_udm.metadata.event_timestamp |
系統會從 attributes.@timestamp 欄位擷取事件時間戳記,並轉換為秒和奈秒。 |
attributes.@version |
read_only_udm.metadata.product_version |
直接對應至 attributes.@version 欄位。 |
attributes.level_value |
read_only_udm.security_result.about.resource.attribute.labels |
從 attributes.level_value 欄位擷取,並新增為 security_result 物件中的標籤。 |
attributes.logger_name |
read_only_udm.principal.application |
直接對應至 attributes.logger_name 欄位。 |
attributes._trace.baggage._sli_service |
read_only_udm.additional.fields |
直接從 attributes._trace.baggage._sli_service 欄位對應,並新增為額外欄位。 |
attributes._trace.baggage.device_id |
read_only_udm.principal.asset.asset_id |
直接從 attributes._trace.baggage.device_id 欄位對應,並加上「裝置 ID:」前置字串。 |
attributes._trace.origin.operation |
read_only_udm.metadata.product_event_type |
直接對應至 attributes._trace.origin.operation 欄位。 |
caller |
read_only_udm.security_result.about.resource.attribute.labels |
從 caller 欄位擷取,並新增為 security_result 物件中的標籤。 |
component |
read_only_udm.security_result.about.resource.attribute.labels |
從 component 欄位擷取,並新增為 security_result 物件中的標籤。 |
context.AlertName |
read_only_udm.security_result.threat_name |
直接對應至 context.AlertName 欄位。 |
context.BusArch |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.BusArch 欄位擷取,並新增為 security_result 物件中的標籤。 |
context.CANDBVersion |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.CANDBVersion 欄位擷取,並新增為 security_result 物件中的標籤。 |
context.esn |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.esn 欄位擷取,並新增為 security_result 物件中的標籤。 |
context.ftcpVersion |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.ftcpVersion 欄位擷取,並新增為 security_result 物件中的標籤。 |
context.ingestMessageId |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.ingestMessageId 欄位擷取,並新增為 security_result 物件中的標籤。 |
context.redactedVin |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.redactedVin 欄位擷取,並新增為 security_result 物件中的標籤。 |
context.vehicleId |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.vehicleId 欄位擷取,並新增為 security_result 物件中的標籤。 |
date |
read_only_udm.metadata.collected_timestamp |
系統會從 date 欄位 (在剖析器中重新命名為 date1 ) 擷取收集到的時間戳記,並轉換為秒和奈秒。 |
host |
read_only_udm.principal.hostname |
直接對應至 host 欄位。 |
message |
read_only_udm.security_result.about.resource.attribute.labels |
系統會剖析 message 欄位,並使用部分內容填入 summary 和 json_data 欄位。其餘部分會視為鍵/值組合,並新增為 security_result 物件中的標籤。 |
msg |
read_only_udm.security_result.about.resource.attribute.labels |
從 msg 欄位擷取,並新增為 security_result 物件中的標籤。 |
service |
read_only_udm.metadata.product_name |
直接對應至 service 欄位。 |
status |
read_only_udm.security_result.severity |
嚴重程度是依據 status 欄位而定。「INFO」、「DEBUG」、「debug」和「info」會對應至「LOW」,「WARN」會對應至「MEDIUM」,而其他值不會在提供的程式碼片段中明確對應。 |
tags |
read_only_udm.additional.fields |
tags 陣列中的每個標記都會剖析為鍵/值組合,並新增為額外欄位。 |
不適用 | read_only_udm.metadata.event_type |
如果存在 host 欄位,請設為「STATUS_UPDATE」,否則設為「GENERIC_EVENT」。 |
還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求答案。