自動抽出の概要

以下でサポートされています。

このドキュメントでは、データの取り込み、処理、分析の機能を強化するためにデータが自動的に抽出される仕組みの概要について説明します。

Google Security Operations は、事前構築済みパーサーを使用して、Unified Data Model（UDM）スキーマを使用してログデータを抽出して構造化します。これらのパーサーの管理とメンテナンスは、データの抽出が不完全であること、管理するパーサーの数が増加していること、ログ形式の進化に伴う頻繁な更新が必要であることなど、いくつかの制限があるため、困難な場合があります。

こうした課題に対処するには、自動抽出機能を使用します。この機能は、Google SecOps に取り込まれた JSON 形式のログから Key-Value ペアを自動的に抽出します。JSON メッセージを含む Syslog 形式のログもサポートしています。抽出されたデータは、extracted という UDM のマップ型のフィールドに保存されます。このデータは、UDM 検索クエリ、ネイティブ ダッシュボード、YARA-L ルールで使用できます。

抽出されたフィールドを使用する UDM 検索では、検索クエリのパフォーマンスを向上させるために、クエリに metadata.log_type を含めることをおすすめします。

自動抽出のメリットは、パーサーへの依存度が低くなることです。これにより、パーサーが存在しない場合やログの解析に失敗した場合でも、データを利用できます。

未加工ログからデータを解析して抽出する

  1. 解析: Google SecOps は、ログタイプに固有のパーサーを使用してログの解析を試みます（利用可能な場合）。特定のパーサーが存在しない場合や、パースが失敗した場合、Google SecOps は一般的なパーサーを使用して、取り込まれたタイムスタンプ、ログタイプ、メタデータ ラベルなどの基本情報を抽出します。

  2. データ抽出: すべてのデータポイントがログから自動的に抽出されます。

  3. イベントの拡充: Google SecOps は、解析されたデータとカスタム形式のフィールドを組み合わせて、拡充されたイベントを作成し、より多くのコンテキストと詳細を提供します。

  4. ダウンストリーム データ転送: 拡充されたイベントは、さらなる分析と処理のために他のシステムに送信されます。

抽出ツールを使用する

抽出ツールを使用すると、大量のログソースからフィールドを抽出できます。抽出ツールは、ログ管理を最適化するように設計されています。抽出ツールを使用すると、イベント サイズを削減し、解析効率を高め、データ抽出をより適切に制御できます。これは、新しいログタイプの管理や処理時間の最小化に特に役立ちます。

抽出機能は、[SIEM 設定] メニューを使用するか、未加工ログの検索を実行して作成できます。

エクストラクタを作成する

  1. 次のいずれかの方法で、[追加フィールドを抽出] ペインに移動します。

    • [SIEM の設定] > [パーサー] をクリックして、次の操作を行います。
      1. 表示された PARSERS テーブルで、パーサー（ログソース）を特定し、 メニュー > パーサーを拡張 > 追加フィールドを抽出 をクリックします。
    • 未加工ログスキャンを使用して、次の操作を行います。
      1. [Log Sources] メニューから必要なログソース（パーサー）を選択します。
      2. 未加工のログ結果からログソースを選択して、[イベントデータ] ペインを開きます。
      3. [イベントデータ] ペインで、[パーサーを管理] > [パーサーを拡張] > [追加フィールドを抽出] をクリックします。
    • UDM 検索を使用して、次の操作を行います。
      1. UDM 検索結果の [イベント] タブで、ログソースを選択して [イベントビューア] ペインを表示します。
      2. [Raw Log] タブで、[Manage Parser] > [Extend Parser] > [Extract Additional Fields] をクリックします。

  2. [追加フィールドを抽出] ペインの [抽出元を選択] タブで、必要な未加工ログフィールドを選択します。デフォルトでは、最大 100 個のフィールドを選択できます。抽出できる追加フィールドがない場合は、警告通知が表示されます。

    [参照元ログ] タブをクリックして、元ログデータを表示し、UDM 出力をプレビューします。

  3. [保存] をクリックします。

新しく作成された抽出ツールには EXTRACTOR というラベルが付けられます。抽出されたフィールドは、UDM 出力で extracted.field{"fieldName"} として表示されます。

エクストラクタの詳細を表示する

  1. [PARSERS] テーブルの抽出行に移動し、 [メニュー] > [パーサーを拡張] > [拡張機能を表示] をクリックします。
  2. [VIEW CUSTOM PARSERS] ページで、[Extensions and Extracted Fields] タブをクリックします。

このタブには、パーサー拡張機能と抽出フィールドに関する情報が表示されます。[カスタム パーサーを表示] ページで、フィールドを変更または削除し、パーサーの出力をプレビューできます。

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。