Duo 관리자 로그 수집

이 문서에서는 Amazon S3를 사용하여 Duo 관리자 로그를 Google Security Operations로 수집하는 방법을 설명합니다. 파서는 로그 (JSON 형식)에서 필드를 추출하여 통합 데이터 모델 (UDM)에 매핑합니다. 다양한 Duo action 유형 (로그인, 사용자 관리, 그룹 관리)을 다르게 처리하여 사용자 세부정보, 인증 요소, 보안 결과를 비롯한 작업 및 사용 가능한 데이터를 기반으로 관련 UDM 필드를 채웁니다. 또한 IP 주소 병합, 타임스탬프 변환, 오류 처리와 같은 데이터 변환도 실행합니다.

시작하기 전에

• Google SecOps 인스턴스
• Duo 테넌트에 대한 권한 있는 액세스 (Admin API 애플리케이션)
• AWS (S3, IAM, Lambda, EventBridge)에 대한 권한 있는 액세스

Duo Admin API 애플리케이션 구성

1. Duo 관리자 패널에 로그인합니다.
2. 애플리케이션 > 애플리케이션 카탈로그로 이동합니다.
3. Admin API 애플리케이션 추가
4. 다음 값을 기록합니다.
   • 통합 키 (ikey)
   • 보안 비밀 키 (skey)
   • API 호스트 이름 (예: api-XXXXXXXX.duosecurity.com)
5. 권한에서 읽기 로그 권한 부여 (관리자 로그 읽기)를 사용 설정합니다.
6. 애플리케이션을 저장합니다.

Google SecOps용 AWS S3 버킷 및 IAM 구성

1. 이 사용자 가이드(버킷 만들기)에 따라 Amazon S3 버킷을 만듭니다.
2. 나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다 (예: duo-admin-logs).
3. 이 사용자 가이드(IAM 사용자 만들기)에 따라 사용자를 만듭니다.
4. 생성된 사용자를 선택합니다.
5. 보안 사용자 인증 정보 탭을 선택합니다.
6. 액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
7. 사용 사례로 서드 파티 서비스를 선택합니다.
8. 다음을 클릭합니다.
9. 선택사항: 설명 태그를 추가합니다.
10. 액세스 키 만들기를 클릭합니다.
11. CSV 파일 다운로드를 클릭하여 나중에 사용할 수 있도록 액세스 키와 비밀 액세스 키를 저장합니다.
12. 완료를 클릭합니다.
13. 권한 탭을 선택합니다.
14. 권한 정책 섹션에서 권한 추가를 클릭합니다.
15. 권한 추가를 선택합니다.
16. 정책 직접 연결을 선택합니다.
17. AmazonS3FullAccess 정책을 검색하여 선택합니다.
18. 다음을 클릭합니다.
19. 권한 추가를 클릭합니다.

S3 업로드용 IAM 정책 및 역할 구성

1. AWS 콘솔 > IAM > 정책 > 정책 생성 > JSON 탭으로 이동합니다.

2. 다음 정책을 입력합니다.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "AllowPutDuoAdminObjects",
         "Effect": "Allow",
         "Action": "s3:PutObject",
         "Resource": "arn:aws:s3:::duo-admin-logs/*"
       },
       {
         "Sid": "AllowGetStateObject",
         "Effect": "Allow",
         "Action": "s3:GetObject",
         "Resource": "arn:aws:s3:::duo-admin-logs/duo/admin/state.json"
       }
     ]
   }
   
   

   • 다른 버킷 이름을 입력한 경우 duo-admin-logs을 바꿉니다.

3. 다음 > 정책 만들기를 클릭합니다.

4. IAM > 역할 > 역할 생성 > AWS 서비스 > Lambda로 이동합니다.

5. 새로 만든 정책을 연결합니다.

6. 역할 이름을 WriteDuoAdminToS3Role로 지정하고 역할 만들기를 클릭합니다.

Lambda 함수 만들기

1. AWS 콘솔에서 Lambda > 함수 > 함수 만들기로 이동합니다.
2. 처음부터 작성을 클릭합니다.

3. 다음 구성 세부정보를 제공합니다.

   설정	값
   이름	duo_admin_to_s3
   런타임	Python 3.13
   아키텍처	x86_64
   실행 역할	WriteDuoAdminToS3Role

4. 함수가 생성되면 코드 탭을 열고 스텁을 삭제한 후 다음 코드를 입력합니다 (duo_admin_to_s3.py).

   #!/usr/bin/env python3
   # Lambda: Pull Duo Admin API v1 Administrator Logs to S3 (raw JSON pages)
   
   import os, json, time, hmac, hashlib, base64, email.utils, urllib.parse
   from urllib.request import Request, urlopen
   from urllib.error import HTTPError, URLError
   from datetime import datetime
   import boto3
   
   DUO_IKEY = os.environ["DUO_IKEY"]
   DUO_SKEY = os.environ["DUO_SKEY"]
   DUO_API_HOSTNAME = os.environ["DUO_API_HOSTNAME"].strip()
   S3_BUCKET = os.environ["S3_BUCKET"]
   S3_PREFIX = os.environ.get("S3_PREFIX", "duo/admin/").strip("/")
   STATE_KEY = os.environ.get("STATE_KEY", "duo/admin/state.json")
   
   s3 = boto3.client("s3")
   
   def _canon_params(params: dict) -> str:
       parts = []
       for k in sorted(params.keys()):
           v = params[k]
           if v is None:
               continue
           parts.append(f"{urllib.parse.quote(str(k), '~')}={urllib.parse.quote(str(v), '~')}")
       return "&".join(parts)
   
   def _sign(method: str, host: str, path: str, params: dict) -> dict:
       now = email.utils.formatdate()
       canon = "\n".join([now, method.upper(), host.lower(), path, _canon_params(params)])
       sig = hmac.new(DUO_SKEY.encode("utf-8"), canon.encode("utf-8"), hashlib.sha1).hexdigest()
       auth = base64.b64encode(f"{DUO_IKEY}:{sig}".encode()).decode()
       return {"Date": now, "Authorization": f"Basic {auth}"}
   
   def _http(method: str, path: str, params: dict, timeout: int = 60, max_retries: int = 5) -> dict:
       host = DUO_API_HOSTNAME
       assert host.startswith("api-") and host.endswith(".duosecurity.com"), \
           "DUO_API_HOSTNAME must be like api-XXXXXXXX.duosecurity.com"
   
       qs = _canon_params(params)
       url = f"https://{host}{path}" + (f"?{qs}" if qs else "")
       attempt, backoff = 0, 1.0
   
       while True:
           req = Request(url, method=method.upper())
           hdrs = _sign(method, host, path, params)
           req.add_header("Accept", "application/json")
           for k, v in hdrs.items():
               req.add_header(k, v)
           try:
               with urlopen(req, timeout=timeout) as r:
                   return json.loads(r.read().decode("utf-8"))
           except HTTPError as e:
               # 429 or 5xx → exponential backoff
               if (e.code == 429 or 500 <= e.code <= 599) and attempt < max_retries:
                   time.sleep(backoff)
                   attempt += 1
                   backoff *= 2
                   continue
               raise
           except URLError:
               if attempt < max_retries:
                   time.sleep(backoff)
                   attempt += 1
                   backoff *= 2
                   continue
               raise
   
   def _read_state() -> int | None:
       try:
           obj = s3.get_object(Bucket=S3_BUCKET, Key=STATE_KEY)
           return int(json.loads(obj["Body"].read()).get("mintime"))
       except Exception:
           return None
   
   def _write_state(mintime: int):
       body = json.dumps({"mintime": mintime}).encode("utf-8")
       s3.put_object(Bucket=S3_BUCKET, Key=STATE_KEY, Body=body, ContentType="application/json")
   
   def _epoch_from_item(item: dict) -> int | None:
       # Prefer numeric 'timestamp' (seconds); fallback to ISO8601 'ts'
       ts_num = item.get("timestamp")
       if isinstance(ts_num, (int, float)):
           return int(ts_num)
       ts_iso = item.get("ts")
       if isinstance(ts_iso, str):
           try:
               # Accept "...Z" or with offset
               return int(datetime.fromisoformat(ts_iso.replace("Z", "+00:00")).timestamp())
           except Exception:
               return None
       return None
   
   def _write_page(payload: dict, when: int, page: int) -> str:
       key = f"{S3_PREFIX}/{time.strftime('%Y/%m/%d', time.gmtime(when))}/duo-admin-{page:05d}.json"
       s3.put_object(
           Bucket=S3_BUCKET,
           Key=key,
           Body=json.dumps(payload, separators=(",", ":")).encode("utf-8"),
           ContentType="application/json",
       )
       return key
   
   def fetch_and_store():
       now = int(time.time())
       # Start from last checkpoint or now-3600 on first run
       mintime = _read_state() or (now - 3600)
   
       page = 0
       total = 0
       next_mintime = mintime
       max_seen_ts = mintime
   
       while True:
           data = _http("GET", "/admin/v1/logs/administrator", {"mintime": mintime})
           _write_page(data, now, page)
           page += 1
   
           # Extract items
           resp = data.get("response")
           items = resp if isinstance(resp, list) else (resp.get("items") if isinstance(resp, dict) else [])
           items = items or []
   
           if not items:
               break
   
           total += len(items)
           # Track the newest timestamp in this batch
           for it in items:
               ts = _epoch_from_item(it)
               if ts and ts > max_seen_ts:
                   max_seen_ts = ts
   
           # Duo returns only the 1000 earliest events; page by advancing mintime
           if len(items) >= 1000 and max_seen_ts >= mintime:
               mintime = max_seen_ts
               next_mintime = max_seen_ts
               continue
           else:
               break
   
       # Save checkpoint: newest seen ts, or "now" if nothing new
       if max_seen_ts > next_mintime:
           _write_state(max_seen_ts)
           next_state = max_seen_ts
       else:
           _write_state(now)
           next_state = now
   
       return {"ok": True, "pages": page, "events": total, "next_mintime": next_state}
   
   def lambda_handler(event=None, context=None):
       return fetch_and_store()
   
   if __name__ == "__main__":
       print(lambda_handler())
   
   

5. 구성 > 환경 변수 > 수정 > 새 환경 변수 추가로 이동합니다.

6. 다음 환경 변수를 입력하고 사용자 값으로 바꿉니다.

   키	예
   S3_BUCKET	duo-admin-logs
   S3_PREFIX	duo/admin/
   STATE_KEY	duo/admin/state.json
   DUO_IKEY	DIXYZ...
   DUO_SKEY	****************
   DUO_API_HOSTNAME	api-XXXXXXXX.duosecurity.com

7. 함수가 생성된 후 해당 페이지에 머무르거나 Lambda > 함수 > your-function을 엽니다.

8. 구성 탭을 선택합니다.

9. 일반 구성 패널에서 수정을 클릭합니다.

10. 제한 시간을 5분 (300초)으로 변경하고 저장을 클릭합니다.

EventBridge 일정 만들기

1. Amazon EventBridge > 스케줄러 > 일정 만들기로 이동합니다.
2. 다음 구성 세부정보를 제공합니다.
   • 반복 일정: 요율 (1 hour)
   • 타겟: Lambda 함수
   • 이름: duo-admin-1h.
3. 일정 만들기를 클릭합니다.

선택사항: Google SecOps용 읽기 전용 IAM 사용자 및 키 만들기

1. AWS 콘솔에서 IAM > Users로 이동한 다음 Add users를 클릭합니다.
2. 다음 구성 세부정보를 제공합니다.
   • 사용자: 고유한 이름 (예: secops-reader)을 입력합니다.
   • 액세스 유형: 액세스 키 - 프로그래매틱 액세스를 선택합니다.
   • 사용자 만들기를 클릭합니다.
3. 최소 읽기 정책 (맞춤) 연결: 사용자 > secops-reader 선택 > 권한 > 권한 추가 > 정책 직접 연결 > 정책 만들기

4. JSON 편집기에서 다음 정책을 입력합니다.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": ["s3:GetObject"],
         "Resource": "arn:aws:s3:::<your-bucket>/*"
       },
       {
         "Effect": "Allow",
         "Action": ["s3:ListBucket"],
         "Resource": "arn:aws:s3:::<your-bucket>"
       }
     ]
   }
   

5. 이름을 secops-reader-policy로 설정합니다.

6. 정책 만들기 > 검색/선택 > 다음 > 권한 추가로 이동합니다.

7. 보안 사용자 인증 정보> 액세스 키> 액세스 키 만들기로 이동합니다.

8. CSV를 다운로드합니다 (이러한 값은 피드에 입력됨).

Duo 관리자 로그를 수집하도록 Google SecOps에서 피드 구성

1. SIEM 설정> 피드로 이동합니다.
2. + 새 피드 추가를 클릭합니다.
3. 피드 이름 필드에 피드 이름을 입력합니다 (예: Duo Administrator Logs).
4. 소스 유형으로 Amazon S3 V2를 선택합니다.
5. 로그 유형으로 Duo 관리자 로그를 선택합니다.
6. 다음을 클릭합니다.
7. 다음 입력 파라미터의 값을 지정합니다.
   • S3 URI: s3://duo-admin-logs/duo/admin/
   • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
   • 최대 파일 기간: 기본값은 180일입니다.
   • 액세스 키 ID: S3 버킷에 액세스할 수 있는 사용자 액세스 키입니다.
   • 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키입니다.
   • 애셋 네임스페이스: 애셋 네임스페이스입니다.
   • 수집 라벨: 이 피드의 이벤트에 적용된 라벨입니다.
8. 다음을 클릭합니다.
9. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

UDM 매핑 테이블

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가로부터 답변을 받으세요.