Symantec WSS のログを収集する

このドキュメントでは、Amazon S3 を使用して Symantec Web Security Service（WSS）ログを Google Security Operations に取り込む方法について説明します。パーサーは、まずログメッセージを JSON として解析しようとします。失敗した場合は、一連のより具体的な grok パターンを使用して未加工テキストからフィールドを抽出し、最終的に抽出されたデータを統合データモデル（UDM）にマッピングします。

始める前に

次の前提条件を満たしていることを確認してください。

• Google SecOps インスタンス。
• Symantec Web Security Service への特権アクセス。
• AWS（S3、Identity and Access Management（IAM）、Lambda、EventBridge）への特権アクセス。

Symantec WSS の前提条件（ID、API キー、組織 ID、トークン）を収集する

1. 管理者として Symantec Web Security Service ポータルにログインします。
2. [アカウント]> [API 認証情報] に移動します。
3. [追加] をクリックします。
4. 次の構成の詳細を入力します。
   • API 名: わかりやすい名前を入力します（例: Google SecOps Integration）。
   • 説明: API 認証情報の説明を入力します。
5. [保存] をクリックし、生成された API 認証情報を安全にコピーします。
6. WSS ポータル URL と Sync API エンドポイントを記録します。
7. 次の詳細をコピーして安全な場所に保存します。
   • WSS_API_USERNAME。
   • WSS_API_PASSWORD。
   • WSS_SYNC_URL。

Google SecOps 用に AWS S3 バケットと IAM を構成する

1. バケットの作成のユーザーガイドに沿って、Amazon S3 バケットを作成します。
2. 後で参照できるように、バケットの名前とリージョンを保存します（例: symantec-wss-logs）。
3. IAM ユーザーの作成のユーザーガイドに沿って、ユーザーを作成します。
4. 作成したユーザーを選択します。
5. [セキュリティ認証情報] タブを選択します。
6. [アクセスキー] セクションで [アクセスキーを作成] をクリックします。
7. [ユースケース] として [サードパーティ サービス] を選択します。
8. [次へ] をクリックします。
9. 省略可: 説明タグを追加します。
10. [アクセスキーを作成] をクリックします。
11. [CSV ファイルをダウンロード] をクリックし、[アクセスキー] と [シークレット アクセスキー] を保存して、今後の参照に備えます。
12. [完了] をクリックします。
13. [権限] タブを選択します。
14. [権限ポリシー] セクションの [権限を追加] をクリックします。
15. [権限を追加] を選択します。
16. [ポリシーを直接アタッチする] を選択します。
17. AmazonS3FullAccess ポリシーを検索します。
18. ポリシーを選択します。
19. [次へ] をクリックします。
20. [権限を追加] をクリックします。

S3 アップロードの IAM ポリシーとロールを構成する

1. AWS コンソールで、[IAM] > [ポリシー] に移動します。
2. [ポリシーを作成> [JSON] タブ] をクリックします。
3. 次のポリシーをコピーして貼り付けます。

4. ポリシー JSON（別のバケット名を入力した場合は symantec-wss-logs を置き換えます）:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "AllowPutObjects",
         "Effect": "Allow",
         "Action": "s3:PutObject",
         "Resource": "arn:aws:s3:::symantec-wss-logs/*"
       },
       {
         "Sid": "AllowGetStateObject",
         "Effect": "Allow",
         "Action": "s3:GetObject",
         "Resource": "arn:aws:s3:::symantec-wss-logs/symantec/wss/state.json"
       }
     ]
   }
   

5. [次へ] > [ポリシーを作成] をクリックします。

6. [IAM] > [ロール] > [ロールの作成] > [AWS サービス] > [Lambda] に移動します。

7. 新しく作成したポリシーを関連付けます。

8. ロールに「SymantecWssToS3Role」という名前を付けて、[ロールを作成] をクリックします。

Lambda 関数を作成する

1. AWS コンソールで、[Lambda] > [Functions] > [Create function] に移動します。
2. [Author from scratch] をクリックします。

3. 次の構成情報を提供してください。

   設定	値
   名前	symantec_wss_to_s3
   ランタイム	Python 3.13
   アーキテクチャ	x86_64
   実行ロール	SymantecWssToS3Role

4. 関数を作成したら、[コード] タブを開き、スタブを削除して次のコード（symantec_wss_to_s3.py）を貼り付けます。

   #!/usr/bin/env python3
   # Lambda: Pull Symantec WSS logs and store raw payloads to S3
   # - Time window via millisecond timestamps for WSS Sync API.
   # - Preserves vendor-native format (CSV/JSON/ZIP).
   # - Retries with exponential backoff; unique S3 keys to avoid overwrites.
   
   import os, json, time, uuid
   from urllib.request import Request, urlopen
   from urllib.error import URLError, HTTPError
   
   import boto3
   
   S3_BUCKET   = os.environ["S3_BUCKET"]
   S3_PREFIX   = os.environ.get("S3_PREFIX", "symantec/wss/")
   STATE_KEY   = os.environ.get("STATE_KEY", "symantec/wss/state.json")
   WINDOW_SEC  = int(os.environ.get("WINDOW_SECONDS", "3600"))  # default 1h
   HTTP_TIMEOUT= int(os.environ.get("HTTP_TIMEOUT", "60"))
   WSS_SYNC_URL = os.environ.get("WSS_SYNC_URL", "https://portal.threatpulse.com/reportpod/logs/sync")
   API_USERNAME = os.environ["WSS_API_USERNAME"]
   API_PASSWORD = os.environ["WSS_API_PASSWORD"]
   TOKEN_PARAM  = os.environ.get("WSS_TOKEN_PARAM", "none")
   MAX_RETRIES = int(os.environ.get("MAX_RETRIES", "3"))
   USER_AGENT  = os.environ.get("USER_AGENT", "symantec-wss-to-s3/1.0")
   
   s3 = boto3.client("s3")
   
   def _load_state():
       try:
           obj = s3.get_object(Bucket=S3_BUCKET, Key=STATE_KEY)
           return json.loads(obj["Body"].read())
       except Exception:
           return {}
   
   def _save_state(st):
       s3.put_object(
           Bucket=S3_BUCKET,
           Key=STATE_KEY,
           Body=json.dumps(st, separators=(",", ":")).encode("utf-8"),
           ContentType="application/json",
       )
   
   def _ms_timestamp(ts: float) -> int:
       """Convert Unix timestamp to milliseconds for WSS API"""
       return int(ts * 1000)
   
   def _fetch_wss_logs(start_ms: int, end_ms: int) -> tuple[bytes, str, str]:
       # WSS Sync API parameters
       params = f"startDate={start_ms}&endDate={end_ms}&token={TOKEN_PARAM}"
       url = f"{WSS_SYNC_URL}?{params}"
   
       attempt = 0
       while True:
           req = Request(url, method="GET")
           req.add_header("User-Agent", USER_AGENT)
           req.add_header("X-APIUsername", API_USERNAME)
           req.add_header("X-APIPassword", API_PASSWORD)
   
           try:
               with urlopen(req, timeout=HTTP_TIMEOUT) as r:
                   blob = r.read()
                   content_type = r.headers.get("Content-Type", "application/octet-stream")
                   content_encoding = r.headers.get("Content-Encoding", "")
                   return blob, content_type, content_encoding
           except (HTTPError, URLError) as e:
               attempt += 1
               print(f"HTTP error on attempt {attempt}: {e}")
               if attempt > MAX_RETRIES:
                   raise
               # exponential backoff with jitter
               time.sleep(min(60, 2 ** attempt) + (time.time() % 1))
   
   def _determine_extension(content_type: str, content_encoding: str) -> str:
       """Determine file extension based on content type and encoding"""
       if "zip" in content_type.lower():
           return ".zip"
       if "gzip" in content_type.lower() or content_encoding.lower() == "gzip":
           return ".gz"
       if "json" in content_type.lower():
           return ".json"
       if "csv" in content_type.lower():
           return ".csv"
       return ".bin"
   
   def _put_wss_data(blob: bytes, content_type: str, content_encoding: str, from_ts: float, to_ts: float) -> str:
       # Create unique S3 key for WSS data
       ts_path = time.strftime("%Y/%m/%d", time.gmtime(to_ts))
       uniq = f"{int(time.time()*1e6)}_{uuid.uuid4().hex[:8]}"
       ext = _determine_extension(content_type, content_encoding)
       key = f"{S3_PREFIX}{ts_path}/symantec_wss_{int(from_ts)}_{int(to_ts)}_{uniq}{ext}"
   
       s3.put_object(
           Bucket=S3_BUCKET, 
           Key=key, 
           Body=blob, 
           ContentType=content_type,
           Metadata={
               'source': 'symantec-wss',
               'from_timestamp': str(int(from_ts)),
               'to_timestamp': str(int(to_ts)),
               'content_encoding': content_encoding
           }
       )
       return key
   
   def lambda_handler(event=None, context=None):
       st = _load_state()
       now = time.time()
       from_ts = float(st.get("last_to_ts") or (now - WINDOW_SEC))
       to_ts = now
   
       # Convert to milliseconds for WSS API
       start_ms = _ms_timestamp(from_ts)
       end_ms = _ms_timestamp(to_ts)
   
       print(f"Fetching Symantec WSS logs from {start_ms} to {end_ms}")
   
       blob, content_type, content_encoding = _fetch_wss_logs(start_ms, end_ms)
   
       print(f"Retrieved {len(blob)} bytes with content-type: {content_type}")
       if content_encoding:
           print(f"Content encoding: {content_encoding}")
   
       key = _put_wss_data(blob, content_type, content_encoding, from_ts, to_ts)
   
       st["last_to_ts"] = to_ts
       st["last_successful_run"] = now
       _save_state(st)
   
       return {
           "statusCode": 200,
           "body": {
               "success": True, 
               "s3_key": key, 
               "content_type": content_type,
               "content_encoding": content_encoding,
               "from_timestamp": from_ts,
               "to_timestamp": to_ts,
               "bytes_retrieved": len(blob)
           }
       }
   
   if __name__ == "__main__":
       print(lambda_handler())
   

5. [構成] > [環境変数] に移動します。

6. [編集>新しい環境変数を追加] をクリックします。

7. 次の表に示す環境変数を入力し、サンプル値を実際の値に置き換えます。

   環境変数

   キー	値の例
   S3_BUCKET	symantec-wss-logs
   S3_PREFIX	symantec/wss/
   STATE_KEY	symantec/wss/state.json
   WINDOW_SECONDS	3600
   HTTP_TIMEOUT	60
   MAX_RETRIES	3
   USER_AGENT	symantec-wss-to-s3/1.0
   WSS_SYNC_URL	https://portal.threatpulse.com/reportpod/logs/sync
   WSS_API_USERNAME	your-api-username（ステップ 2 から）
   WSS_API_PASSWORD	your-api-password（ステップ 2 から）
   WSS_TOKEN_PARAM	none

8. 関数が作成されたら、そのページにとどまるか、[Lambda] > [関数] > [your-function] を開きます。

9. [CONFIGURATION] タブを選択します。

10. [全般設定] パネルで、[編集] をクリックします。

11. [Timeout] を [5 minutes (300 seconds)] に変更し、[Save] をクリックします。

EventBridge スケジュールを作成する

1. [Amazon EventBridge] > [Scheduler] > [スケジュールの作成] に移動します。
2. 次の構成の詳細を入力します。
   • 定期的なスケジュール: レート（1 hour）。
   • ターゲット: Lambda 関数 symantec_wss_to_s3。
   • 名前: symantec-wss-1h
3. [スケジュールを作成] をクリックします。

（省略可）Google SecOps の読み取り専用 IAM ユーザーと鍵を作成する

1. AWS コンソールで、[IAM] > [ユーザー] に移動します。
2. [ユーザーを追加] をクリックします。
3. 次の構成の詳細を入力します。
   • ユーザー: 「secops-reader」と入力します。
   • アクセスの種類: [アクセスキー - プログラムによるアクセス] を選択します。
4. [ユーザーを作成] をクリックします。
5. 最小限の読み取りポリシー（カスタム）を関連付ける: [ユーザー] > [secops-reader] > [権限] > [権限を追加] > [ポリシーを直接関連付ける] > [ポリシーを作成]。

6. JSON:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": ["s3:GetObject"],
         "Resource": "arn:aws:s3:::symantec-wss-logs/*"
       },
       {
         "Effect": "Allow",
         "Action": ["s3:ListBucket"],
         "Resource": "arn:aws:s3:::symantec-wss-logs"
       }
     ]
   }
   

7. 名前 = secops-reader-policy。

8. [ポリシーを作成> 検索/選択> 次へ> 権限を追加] をクリックします。

9. secops-reader のアクセスキーを作成します。[セキュリティ認証情報] > [アクセスキー] に移動します。

10. [アクセスキーを作成] をクリックします。

11. CSV をダウンロードします。（これらの値はフィードに貼り付けます）。

Symantec WSS のログを取り込むように Google SecOps でフィードを構成する

1. [SIEM 設定] > [フィード] に移動します。
2. [+ 新しいフィードを追加] をクリックします。
3. [フィード名] フィールドに、フィードの名前を入力します（例: Symantec WSS logs）。
4. [ソースタイプ] として [Amazon S3 V2] を選択します。
5. [Log type] として [Symantec WSS] を選択します。
6. [次へ] をクリックします。
7. 次の入力パラメータの値を指定します。
   • S3 URI: s3://symantec-wss-logs/symantec/wss/
   • Source deletion options: 必要に応じて削除オプションを選択します。
   • ファイルの最大経過日数: 指定した日数以内に変更されたファイルを含めます。デフォルトは 180 日です。
   • アクセスキー ID: S3 バケットにアクセスできるユーザー アクセスキー。
   • シークレット アクセスキー: S3 バケットにアクセスできるユーザーのシークレット キー。
   • アセットの名前空間: アセットの名前空間。
   • Ingestion labels: このフィードのイベントに適用されるラベル。
8. [次へ] をクリックします。
9. [Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。

UDM マッピング テーブル

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。