收集 Datadog 記錄

支援的國家/地區:

總覽

這個剖析器會從 Datadog 記錄檔中擷取欄位,執行多項變動和 Grok 比對來建構資料,並將擷取的欄位對應至 UDM。這個外掛程式會處理 message 欄位中的不同記錄格式,包括鍵/值配對和 JSON 物件,並將特定欄位轉換為符合 UDM 規範的標籤和其他欄位。

事前準備

請確認您已完成下列事前準備事項:

  • Google SecOps 執行個體。
  • IAM 的特殊存取權 Google Cloud 。
  • Cloud Storage 的特殊存取權。
  • logs_write_archive 使用者存取 Datadog 的權限。

方法 1:透過 Cloud Storage 設定分享 Datadog 記錄

設定 Datadog 與 Google Cloud Platform 的整合

建立 Google Cloud 儲存空間 bucket

  1. 登入 Google Cloud 主控台。
  2. 前往「Cloud Storage Buckets」(Cloud Storage bucket) 頁面。

    前往「Buckets」(值區) 頁面

  3. 點選「建立」

  4. 在「建立 bucket」頁面中,輸入 bucket 資訊。完成下列每個步驟後,請按一下「繼續」前往下一個步驟:

    1. 在「開始使用」部分執行下列操作:

      1. 輸入符合值區名稱規定的專屬名稱 (例如 datadog-data)。
      2. 如要啟用階層命名空間,請按一下展開箭頭,展開「為檔案導向和資料密集型工作負載提供最理想的儲存空間」部分,然後選取「為這個值區啟用階層結構式命名空間」

      3. 如要新增值區標籤,請按一下展開箭頭,展開「標籤」部分。

      4. 按一下「新增標籤」,然後指定標籤的鍵和值。

    2. 在「Choose where to store your data」(選擇資料的儲存位置) 專區中執行下列操作:

      1. 選取「位置類型」
      2. 使用位置類型下拉式選單,選取要永久儲存 bucket 內物件資料的位置
        • 如果您選取「雙區域」位置類型,也可以勾選相關核取方塊,啟用強化型複製功能。
      3. 如要設定跨 bucket 複製作業,請展開「設定跨 bucket 複製作業」部分。
    3. 在「為資料選擇儲存空間級別」部分,選取值區的預設儲存空間級別,或選取「Autoclass」,讓系統自動管理值區資料的儲存空間級別。

    4. 在「選取如何控制物件的存取權」部分,選取「否」以強制禁止公開存取,並為值區物件選取存取權控管模型

    5. 在「選擇保護物件資料的方式」部分,執行下列操作:

      1. 選取「資料保護」下要為值區設定的任何選項。
      2. 如要選擇物件資料的加密方式,請按一下標示為「資料加密」的展開箭頭,然後選取「資料加密方法」
  5. 點選「建立」

建立 Google Cloud 服務帳戶

  1. 依序前往「IAM & Admin」(IAM 與管理) >「Service Accounts」(服務帳戶)
  2. 建立新的服務帳戶。
  3. 為其命名,名稱請使用描述性文字 (例如 datadog-user)。
  4. 在您於上一個步驟建立的 Cloud Storage bucket 中,將「Storage 物件管理員」角色授予服務帳戶。
  5. 為服務帳戶建立 SSH 金鑰
  6. 下載服務帳戶的 JSON 金鑰檔案。請妥善保管這個檔案。

設定 Datadog 將記錄傳送至 Cloud Storage

  1. 使用具備權限的帳戶登入 Datadog。
  2. 依序前往「記錄」>「記錄轉送」
  3. 按一下「+ 建立新封存」
  4. 選取「Google Cloud Storage」
  5. 輸入必要參數,然後按一下「儲存」

方法 2:透過 Webhook 設定共用 Datadog 記錄

設定動態饋給

在 Google SecOps 平台中,有兩種不同的進入點可設定動態饋給:

  • 「SIEM 設定」>「動態消息」
  • 內容中心 > 內容包

依序前往「SIEM 設定」>「動態饋給」,設定動態饋給

如要設定動態消息,請按照下列步驟操作:

  1. 依序前往「SIEM 設定」>「動態消息」
  2. 按一下「新增動態消息」
  3. 在下一個頁面中,按一下「設定單一動態饋給」
  4. 在「動態饋給名稱」欄位中,輸入動態饋給的名稱 (例如「Datadog Logs」)。
  5. 選取「Webhook」做為「來源類型」
  6. 選取「Datadog」做為「記錄類型」
  7. 點選「下一步」
  8. 選用:指定下列輸入參數的值:
    • 分割分隔符號:用於分隔記錄行的分隔符號,例如 \n
  9. 點選「下一步」
  10. 在「Finalize」畫面中檢查動態饋給設定,然後按一下「Submit」
  11. 按一下「產生密鑰」,產生驗證這個動態消息的密鑰。
  12. 複製並儲存密鑰。您無法再次查看這個密鑰。如有需要,您可以重新產生新的密鑰,但這項操作會使先前的密鑰失效。
  13. 在「詳細資料」分頁中,從「端點資訊」欄位複製動態消息端點網址。您需要在用戶端應用程式中指定這個端點網址。
  14. 按一下 [完成]

從內容中心設定動態饋給

為下列欄位指定值:

  • 分割分隔符號:用於分隔記錄行的分隔符號,例如 \n

進階選項

  • 動態饋給名稱:系統預先填入的值,用於識別動態饋給。
  • 來源類型:將記錄收集到 Google SecOps 的方法。
  • 資產命名空間:與動態饋給相關聯的命名空間。
  • 擷取標籤:套用至這個動態饋給所有事件的標籤。

  • 按一下「產生密鑰」,產生驗證這個動態消息的密鑰。

  • 複製並儲存密鑰。您無法再次查看這個密鑰。如有需要,您可以重新產生新的密鑰,但這項操作會使先前的密鑰失效。

  • 在「詳細資料」分頁中,從「端點資訊」欄位複製動態消息端點網址。您需要在用戶端應用程式中指定這個端點網址。

為 Webhook 資訊提供建立 API 金鑰

  1. 前往 Google Cloud 控制台 > 憑證

    前往「憑證」

  2. 按一下 [Create credentials] (建立憑證),然後選取 [API key] (API 金鑰)

  3. 限制 API 金鑰對 Chronicle API 的存取權。

指定端點網址

  1. 在用戶端應用程式中,指定 webhook 動態饋給中提供的 HTTPS 端點網址。
  2. 如要啟用驗證,請在自訂標頭中指定 API 金鑰和私密金鑰,格式如下:

    X-goog-api-key = API_KEY
    X-Webhook-Access-Key = SECRET
    

    建議:請將 API 金鑰指定為標頭,而非在網址中指定。

  3. 如果 Webhook 用戶端不支援自訂標頭,您可以使用查詢參數指定 API 金鑰和密鑰,格式如下:

    ENDPOINT_URL?key=API_KEY&secret=SECRET
    

    更改下列內容:

    • ENDPOINT_URL:動態消息端點網址。
    • API_KEY:用於向 Google SecOps 進行驗證的 API 金鑰。
    • SECRET:您產生的密鑰,用於驗證動態饋給。

設定 Datadog,將記錄傳送至 Webhook

  1. 使用具備權限的帳戶登入 Datadog。
  2. 依序前往「記錄」>「記錄轉送」
  3. 選取「自訂目的地」
  4. 按一下「+ 建立新目的地」
  5. 指定下列輸入參數的值:
    1. 選擇目的地類型:選取「HTTP」
    2. 為目的地命名:為 Webhook 提供描述性名稱 (例如「Google SecOps Webhook」)。
    3. 設定目的地:輸入 ENDPOINT_URL,然後輸入 API_KEYSECRET
    4. 設定驗證設定:新增一般標頭 (如下所示),這不會造成 HTTP 要求格式錯誤,並允許 Datadog 完成 Webhook 建立作業。
      • 標題名稱:Accept
      • 標頭值:application/json
    5. 按一下 [儲存]

UDM 對應表

記錄欄位 UDM 對應 邏輯
_id read_only_udm.metadata.product_log_id 直接對應至 _id 欄位。
alert read_only_udm.security_result.about.resource.attribute.labels alert 欄位擷取,並新增為 security_result 物件中的標籤。
attributes.@timestamp read_only_udm.metadata.event_timestamp 系統會從 attributes.@timestamp 欄位擷取事件時間戳記,並轉換為秒和奈秒。
attributes.@version read_only_udm.metadata.product_version 直接對應至 attributes.@version 欄位。
attributes.level_value read_only_udm.security_result.about.resource.attribute.labels attributes.level_value 欄位擷取,並新增為 security_result 物件中的標籤。
attributes.logger_name read_only_udm.principal.application 直接對應至 attributes.logger_name 欄位。
attributes._trace.baggage._sli_service read_only_udm.additional.fields 直接從 attributes._trace.baggage._sli_service 欄位對應,並新增為額外欄位。
attributes._trace.baggage.device_id read_only_udm.principal.asset.asset_id 直接從 attributes._trace.baggage.device_id 欄位對應,並加上「裝置 ID:」前置字串。
attributes._trace.origin.operation read_only_udm.metadata.product_event_type 直接對應至 attributes._trace.origin.operation 欄位。
caller read_only_udm.security_result.about.resource.attribute.labels caller 欄位擷取,並新增為 security_result 物件中的標籤。
component read_only_udm.security_result.about.resource.attribute.labels component 欄位擷取,並新增為 security_result 物件中的標籤。
context.AlertName read_only_udm.security_result.threat_name 直接對應至 context.AlertName 欄位。
context.BusArch read_only_udm.security_result.about.resource.attribute.labels context.BusArch 欄位擷取,並新增為 security_result 物件中的標籤。
context.CANDBVersion read_only_udm.security_result.about.resource.attribute.labels context.CANDBVersion 欄位擷取,並新增為 security_result 物件中的標籤。
context.esn read_only_udm.security_result.about.resource.attribute.labels context.esn 欄位擷取,並新增為 security_result 物件中的標籤。
context.ftcpVersion read_only_udm.security_result.about.resource.attribute.labels context.ftcpVersion 欄位擷取,並新增為 security_result 物件中的標籤。
context.ingestMessageId read_only_udm.security_result.about.resource.attribute.labels context.ingestMessageId 欄位擷取,並新增為 security_result 物件中的標籤。
context.redactedVin read_only_udm.security_result.about.resource.attribute.labels context.redactedVin 欄位擷取,並新增為 security_result 物件中的標籤。
context.vehicleId read_only_udm.security_result.about.resource.attribute.labels context.vehicleId 欄位擷取,並新增為 security_result 物件中的標籤。
date read_only_udm.metadata.collected_timestamp 系統會從 date 欄位 (在剖析器中重新命名為 date1) 擷取收集到的時間戳記,並轉換為秒和奈秒。
host read_only_udm.principal.hostname 直接對應至 host 欄位。
message read_only_udm.security_result.about.resource.attribute.labels 系統會剖析 message 欄位,並使用部分內容填入 summaryjson_data 欄位。其餘部分會視為鍵/值組合,並新增為 security_result 物件中的標籤。
msg read_only_udm.security_result.about.resource.attribute.labels msg 欄位擷取,並新增為 security_result 物件中的標籤。
service read_only_udm.metadata.product_name 直接對應至 service 欄位。
status read_only_udm.security_result.severity 嚴重程度是依據 status 欄位而定。「INFO」、「DEBUG」、「debug」和「info」會對應至「LOW」,「WARN」會對應至「MEDIUM」,而其他值不會在提供的程式碼片段中明確對應。
tags read_only_udm.additional.fields tags 陣列中的每個標記都會剖析為鍵/值組合,並新增為額外欄位。
不適用 read_only_udm.metadata.event_type 如果存在 host 欄位,請設為「STATUS_UPDATE」,否則設為「GENERIC_EVENT」。

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求答案。