DomainTools Iris Investigate 결과 수집

이 문서에서는 Amazon S3를 사용하여 DomainTools Iris Investigate 결과를 Google Security Operations에 수집하는 방법을 설명합니다. 파서는 DomainTools의 Iris API에서 가져온 원시 JSON 데이터를 Google SecOps의 통합 데이터 모델 (UDM)을 준수하는 구조화된 형식으로 변환합니다. 도메인 세부정보, 연락처 정보, 보안 위험, SSL 인증서, 기타 관련 속성과 관련된 정보를 추출하여 일관된 분석 및 위협 인텔리전스를 위해 해당 UDM 필드에 매핑합니다.

시작하기 전에

• Google SecOps 인스턴스
• DomainTools 엔터프라이즈 계정에 대한 권한 있는 액세스 (Iris Investigate에 대한 API 액세스)
• AWS (S3, IAM, Lambda, EventBridge)에 대한 권한 있는 액세스

DomainTools API 키 및 엔드포인트 가져오기

1. DomainTools API 대시보드에 로그인합니다 (API 소유자 계정만 API 키를 재설정할 수 있음).
2. 내 계정 섹션의 계정 요약 탭에 있는 API 대시보드 보기 링크를 선택합니다.
3. API 사용자 이름 섹션으로 이동하여 사용자 이름을 확인합니다.
4. 동일한 탭에서 API 키를 찾습니다.
5. 키를 복사하여 안전한 위치에 저장합니다.

6. 새 키가 필요한 경우 API 키 재설정을 선택합니다.

7. Iris Investigate 엔드포인트(https://api.domaintools.com/v1/iris-investigate/)를 확인합니다.

Google SecOps용 AWS S3 버킷 및 IAM 구성

1. 이 사용자 가이드(버킷 만들기)에 따라 Amazon S3 버킷을 만듭니다.
2. 나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다 (예: domaintools-iris).
3. 이 사용자 가이드(IAM 사용자 만들기)에 따라 사용자를 만듭니다.
4. 생성된 사용자를 선택합니다.
5. 보안 사용자 인증 정보 탭을 선택합니다.
6. 액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
7. 사용 사례로 서드 파티 서비스를 선택합니다.
8. 다음을 클릭합니다.
9. 선택사항: 설명 태그를 추가합니다.
10. 액세스 키 만들기를 클릭합니다.
11. CSV 파일 다운로드를 클릭하여 나중에 사용할 수 있도록 액세스 키와 비밀 액세스 키를 저장합니다.
12. 완료를 클릭합니다.
13. 권한 탭을 선택합니다.
14. 권한 정책 섹션에서 권한 추가를 클릭합니다.
15. 권한 추가를 선택합니다.
16. 정책 직접 연결을 선택합니다.
17. AmazonS3FullAccess 정책을 검색하여 선택합니다.
18. 다음을 클릭합니다.
19. 권한 추가를 클릭합니다.

S3 업로드용 IAM 정책 및 역할 구성

1. AWS 콘솔에서 IAM > 정책 > 정책 만들기 > JSON 탭으로 이동합니다.

2. 다음 정책을 입력합니다.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "AllowPutDomainToolsIrisObjects",
         "Effect": "Allow",
         "Action": "s3:PutObject",
         "Resource": "arn:aws:s3:::domaintools-iris/*"
       }
     ]
   }
   

   • 다른 버킷 이름을 입력한 경우 domaintools-iris을 해당 이름으로 바꿉니다.

3. 다음 > 정책 만들기를 클릭합니다.

4. IAM > 역할 > 역할 생성 > AWS 서비스 > Lambda로 이동합니다.

5. 새로 만든 정책을 연결합니다.

6. 역할 이름을 WriteDomainToolsIrisToS3Role로 지정하고 역할 만들기를 클릭합니다.

Lambda 함수 만들기

1. AWS 콘솔에서 Lambda > 함수 > 함수 만들기로 이동합니다.
2. 처음부터 작성을 클릭합니다.

3. 다음 구성 세부정보를 제공합니다.

   설정	값
   이름	domaintools_iris_to_s3
   런타임	Python 3.13
   아키텍처	x86_64
   실행 역할	WriteDomainToolsIrisToS3Role

4. 함수가 생성되면 코드 탭을 열고 스텁을 삭제한 후 다음 코드를 입력합니다 (domaintools_iris_to_s3.py).

   #!/usr/bin/env python3
   # Lambda: Pull DomainTools Iris Investigate results to S3 (no transform)
   
   import os, json, time, urllib.parse
   from urllib.request import Request, urlopen
   from urllib.error import HTTPError
   import boto3
   
   # --- Environment ---
   S3_BUCKET    = os.environ["S3_BUCKET"].strip()
   S3_PREFIX    = os.environ.get("S3_PREFIX", "domaintools/iris/").strip()
   STATE_KEY    = os.environ.get("STATE_KEY", "domaintools/iris/state.json").strip()
   
   DT_API_KEY   = os.environ["DT_API_KEY"].strip()
   DT_API_SECRET= os.environ.get("DT_API_SECRET", "").strip()  # optional if your account uses key-only auth
   
   USE_MODE     = os.environ.get("USE_MODE", "HASH").strip().upper()  # HASH | DOMAINS | QUERY
   SEARCH_HASHES= [h.strip() for h in os.environ.get("SEARCH_HASHES", "").split(";") if h.strip()]
   DOMAINS      = [d.strip() for d in os.environ.get("DOMAINS", "").split(";") if d.strip()]
   QUERY_LIST   = [q.strip() for q in os.environ.get("QUERY_LIST", "").split(";") if q.strip()]
   
   PAGE_SIZE    = int(os.environ.get("PAGE_SIZE", "500"))
   MAX_PAGES    = int(os.environ.get("MAX_PAGES", "20"))
   USE_NEXT     = os.environ.get("USE_NEXT", "true").lower() == "true"
   HTTP_TIMEOUT = int(os.environ.get("HTTP_TIMEOUT", "60"))
   RETRIES      = int(os.environ.get("HTTP_RETRIES", "2"))
   
   BASE_URL = "https://api.domaintools.com/v1/iris-investigate/"
   HDRS = {
       "X-Api-Key": DT_API_KEY,
       "Accept": "application/json",
   }
   if DT_API_SECRET:
       HDRS["X-Api-Secret"] = DT_API_SECRET
   
   s3 = boto3.client("s3")
   
   # --- HTTP helpers ---
   
   def _http_get(url: str) -> dict:
       req = Request(url, method="GET")
       for k, v in HDRS.items():
           req.add_header(k, v)
       attempt = 0
       while True:
           try:
               with urlopen(req, timeout=HTTP_TIMEOUT) as r:
                   return json.loads(r.read().decode("utf-8"))
           except HTTPError as e:
               if e.code in (429, 500, 502, 503, 504) and attempt < RETRIES:
                   delay = int(e.headers.get("Retry-After", "2"))
                   time.sleep(max(1, delay))
                   attempt += 1
                   continue
               raise
   
   def _build_url(params: dict) -> str:
       return BASE_URL + ("?" + urllib.parse.urlencode(params, doseq=True) if params else "")
   
   # --- S3 helpers ---
   
   def _write_page(obj: dict, label: str, page: int) -> str:
       ts = time.strftime("%Y/%m/%d/%H%M%S", time.gmtime())
       key = f"{S3_PREFIX.rstrip('/')}/{ts}-{label}-p{page:05d}.json"
       s3.put_object(
           Bucket=S3_BUCKET, Key=key,
           Body=json.dumps(obj, separators=(",", ":")).encode("utf-8"),
           ContentType="application/json",
       )
       return key
   
   # --- Iris paging ---
   
   def _first_page_params() -> dict:
       params: dict[str, object] = {"page_size": str(PAGE_SIZE)}
       if USE_NEXT:
           params["next"] = "true"
       return params
   
   def _paginate(label: str, params: dict) -> tuple[int, int]:
       pages = 0
       total = 0
       url = _build_url(params)
       while pages < MAX_PAGES:
           data = _http_get(url)
           _write_page(data, label, pages)
   
           resp = data.get("response") or {}
           results = resp.get("results") or []
           total += len(results)
           pages += 1
   
           # Prefer `next` absolute URL if present
           next_url = resp.get("next") if isinstance(resp, dict) else None
           if next_url:
               url = next_url
               continue
   
           # Fallback: position pager when `next=true` not used/supported
           if resp.get("has_more_results") and resp.get("position"):
               base = _first_page_params()
               base.pop("next", None)
               base["position"] = resp["position"]
               url = _build_url(base)
               continue
   
           break
       return pages, total
   
   # --- Mode runners ---
   
   def run_hashes(hashes: list[str]) -> dict:
       agg_pages = agg_results = 0
       for h in hashes:
           params = _first_page_params()
           params["search_hash"] = h
           p, r = _paginate(f"hash-{h}", params)
           agg_pages += p
           agg_results += r
       return {"pages": agg_pages, "results": agg_results}
   
   def run_domains(domains: list[str]) -> dict:
       agg_pages = agg_results = 0
       for d in domains:
           params = _first_page_params()
           # DomainTools accepts `domain` as a filter in Investigate search
           params["domain"] = d
           p, r = _paginate(f"domain-{d}", params)
           agg_pages += p
           agg_results += r
       return {"pages": agg_pages, "results": agg_results}
   
   def run_queries(queries: list[str]) -> dict:
       agg_pages = agg_results = 0
       for q in queries:
           # Merge arbitrary k=v pairs from the query string
           base = _first_page_params()
           for k, v in urllib.parse.parse_qsl(q, keep_blank_values=True):
               base.setdefault(k, v)
           p, r = _paginate(f"query-{q.replace('=','-')}", base)
           agg_pages += p
           agg_results += r
       return {"pages": agg_pages, "results": agg_results}
   
   # --- Entry point ---
   
   def lambda_handler(event=None, context=None):
       if USE_MODE == "HASH" and SEARCH_HASHES:
           res = run_hashes(SEARCH_HASHES)
       elif USE_MODE == "DOMAINS" and DOMAINS:
           res = run_domains(DOMAINS)
       elif USE_MODE == "QUERY" and QUERY_LIST:
           res = run_queries(QUERY_LIST)
       else:
           raise ValueError("Invalid USE_MODE or missing parameters. Set USE_MODE to HASH | DOMAINS | QUERY and provide SEARCH_HASHES | DOMAINS | QUERY_LIST accordingly.")
   
       return {"ok": True, "mode": USE_MODE, **res}
   
   if __name__ == "__main__":
       print(json.dumps(lambda_handler(), indent=2))
   

5. 구성 > 환경 변수 > 수정 > 새 환경 변수 추가로 이동합니다.

6. 다음 환경 변수를 입력하고 값으로 바꿉니다.

   키	예제 값	설명
   S3_BUCKET	domaintools-iris	데이터가 저장될 S3 버킷 이름입니다.
   S3_PREFIX	domaintools/iris/	객체의 선택적 S3 접두사 (하위 폴더)입니다.
   STATE_KEY	domaintools/iris/state.json	선택적 상태/체크포인트 파일 키입니다.
   DT_API_KEY	DT-XXXXXXXXXXXXXXXXXXXX	DomainTools API 키입니다.
   DT_API_SECRET	YYYYYYYYYYYYYYYYYYYYYYYY	DomainTools API 보안 비밀 (해당하는 경우)
   USE_MODE	HASH | DOMAINS | QUERY	사용할 모드를 선택합니다 (한 번에 하나만 활성화됨).
   SEARCH_HASHES	hash1;hash2;hash3	USE_MODE=HASH인 경우 필수입니다. Iris UI에서 저장된 검색 해시의 세미콜론으로 구분된 목록입니다.
   DOMAINS	example.com;domaintools.com	USE_MODE=DOMAINS인 경우 필수입니다. 세미콜론으로 구분된 도메인 목록입니다.
   QUERY_LIST	ip=1.1.1.1;ip=8.8.8.8;domain=example.org	USE_MODE=QUERY인 경우 필수입니다. 세미콜론으로 구분된 쿼리 문자열 목록 (k=v&k2=v2)입니다.
   PAGE_SIZE	500	페이지당 행 수 (기본값 500)
   MAX_PAGES	20	요청당 최대 페이지 수

7. 함수가 생성된 후 해당 페이지에 머무르거나 Lambda > 함수 > your-function을 엽니다.

8. 구성 탭을 선택합니다.

9. 일반 구성 패널에서 수정을 클릭합니다.

10. 시간 제한을 15분 (900초)으로 변경하고 저장을 클릭합니다.

EventBridge 일정 만들기

1. Amazon EventBridge > 스케줄러 > 일정 만들기로 이동합니다.
2. 다음 구성 세부정보를 제공합니다.
   • 반복 일정: 요율 (1 hour)
   • 타겟: Lambda 함수
   • 이름: domaintools-iris-1h.
3. 일정 만들기를 클릭합니다.

선택사항: Google SecOps용 읽기 전용 IAM 사용자 및 키 만들기

1. AWS 콘솔에서 IAM > Users로 이동한 다음 Add users를 클릭합니다.
2. 다음 구성 세부정보를 제공합니다.
   • 사용자: 고유한 이름 (예: secops-reader)을 입력합니다.
   • 액세스 유형: 액세스 키 - 프로그래매틱 액세스를 선택합니다.
   • 사용자 만들기를 클릭합니다.
3. 최소 읽기 정책 (맞춤) 연결: 사용자 > secops-reader 선택 > 권한 > 권한 추가 > 정책 직접 연결 > 정책 만들기

4. JSON 편집기에서 다음 정책을 입력합니다.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": ["s3:GetObject"],
         "Resource": "arn:aws:s3:::<your-bucket>/*"
       },
       {
         "Effect": "Allow",
         "Action": ["s3:ListBucket"],
         "Resource": "arn:aws:s3:::<your-bucket>"
       }
     ]
   }
   

5. 이름을 secops-reader-policy로 설정합니다.

6. 정책 만들기 > 검색/선택 > 다음 > 권한 추가로 이동합니다.

7. 보안 사용자 인증 정보> 액세스 키> 액세스 키 만들기로 이동합니다.

8. CSV를 다운로드합니다 (이러한 값은 피드에 입력됨).

DomainTools Iris Investigate 결과를 수집하도록 Google SecOps에서 피드 구성

1. SIEM 설정> 피드로 이동합니다.
2. 새 피드 추가를 클릭합니다.
3. 피드 이름 필드에 피드 이름을 입력합니다 (예: DomainTools Iris Investigate).
4. 소스 유형으로 Amazon S3 V2를 선택합니다.
5. 로그 유형으로 DomainTools Threat Intelligence를 선택합니다.
6. 다음을 클릭합니다.
7. 다음 입력 파라미터의 값을 지정합니다.
   • S3 URI: s3://domaintools-iris/domaintools/iris/
   • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
   • 최대 파일 기간: 기본값은 180일입니다.
   • 액세스 키 ID: S3 버킷에 액세스할 수 있는 사용자 액세스 키입니다.
   • 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키입니다.
   • 애셋 네임스페이스: domaintools.threat_intel
   • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
8. 다음을 클릭합니다.
9. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

UDM 매핑 테이블

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가로부터 답변을 받으세요.