Censys 로그 수집

이 문서에서는 Amazon S3를 사용하여 Censys 로그를 Google Security Operations에 수집하는 방법을 설명합니다. Censys는 API를 통해 포괄적인 공격 표면 관리 및 인터넷 인텔리전스를 제공합니다. 이 통합을 사용하면 Censys ASM에서 호스트 검색 이벤트, 위험 이벤트, 애셋 변경사항을 수집하여 분석 및 모니터링을 위해 Google SecOps로 전달할 수 있습니다. 파서는 원시 로그를 Google SecOps UDM을 준수하는 구조화된 형식으로 변환합니다. 원시 로그 메시지에서 필드를 추출하고, 데이터 유형 변환을 실행하고, 추출된 정보를 해당 UDM 필드에 매핑하여 추가 컨텍스트와 라벨로 데이터를 보강합니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

• Google SecOps 인스턴스
• Censys ASM에 대한 액세스 권한 관리
• AWS (S3, IAM, Lambda, EventBridge)에 대한 권한 액세스

Censys 기본 요건 (API 사용자 인증 정보) 수집

1. app.censys.io에서 Censys ASM Console에 로그인합니다.
2. 페이지 상단의 통합으로 이동합니다.
3. API 키와 조직 ID를 복사하여 저장합니다.
4. API 기본 URL(https://api.platform.censys.io)을 기록해 둡니다.

Google SecOps용 AWS S3 버킷 및 IAM 구성

1. 이 사용자 가이드(버킷 만들기)에 따라 Amazon S3 버킷을 만듭니다.
2. 나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다 (예: censys-logs).
3. 이 사용자 가이드(IAM 사용자 만들기)에 따라 사용자를 만듭니다.
4. 생성된 사용자를 선택합니다.
5. 보안 사용자 인증 정보 탭을 선택합니다.
6. 액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
7. 사용 사례로 서드 파티 서비스를 선택합니다.
8. 다음을 클릭합니다.
9. 선택사항: 설명 태그를 추가합니다.
10. 액세스 키 만들기를 클릭합니다.
11. CSV 파일 다운로드를 클릭하여 나중에 사용할 수 있도록 액세스 키와 비밀 액세스 키를 저장합니다.
12. 완료를 클릭합니다.
13. 권한 탭을 선택합니다.
14. 권한 정책 섹션에서 권한 추가를 클릭합니다.
15. 권한 추가를 선택합니다.
16. 정책 직접 연결을 선택합니다.
17. AmazonS3FullAccess 정책을 검색하여 선택합니다.
18. 다음을 클릭합니다.
19. 권한 추가를 클릭합니다.

S3 업로드용 IAM 정책 및 역할 구성

1. AWS 콘솔에서 IAM > 정책 > 정책 만들기 > JSON 탭으로 이동합니다.

2. 다음 정책을 입력합니다.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "AllowPutObjects",
         "Effect": "Allow",
         "Action": "s3:PutObject",
         "Resource": "arn:aws:s3:::censys-logs/*"
       },
       {
         "Sid": "AllowGetStateObject",
         "Effect": "Allow",
         "Action": "s3:GetObject",
         "Resource": "arn:aws:s3:::censys-logs/censys/state.json"
       }
     ]
   }
   

   • 다른 버킷 이름을 입력한 경우 censys-logs을 해당 이름으로 바꿉니다.

3. 다음 > 정책 만들기를 클릭합니다.

4. IAM > 역할 > 역할 생성 > AWS 서비스 > Lambda로 이동합니다.

5. 새로 만든 정책과 AWSLambdaBasicExecutionRole 관리형 정책 (CloudWatch Logs 액세스용)을 연결합니다.

6. 역할 이름을 censys-lambda-role로 지정하고 역할 만들기를 클릭합니다.

Lambda 함수 만들기

1. AWS 콘솔에서 Lambda > 함수 > 함수 만들기로 이동합니다.
2. 처음부터 작성을 클릭합니다.
3. 다음 구성 세부정보를 제공합니다.

1. 함수가 생성되면 코드 탭을 열고 스텁을 삭제하고 다음 코드를 입력합니다 (censys-data-collector.py).

   import json
   import boto3
   import urllib3
   import gzip
   import logging
   import os
   from datetime import datetime, timedelta, timezone
   from typing import Dict, List, Any, Optional
   from urllib.parse import urlencode
   
   # Configure logging
   logger = logging.getLogger()
   logger.setLevel(logging.INFO)
   
   # AWS S3 client
   s3_client = boto3.client('s3')
   # HTTP client
   http = urllib3.PoolManager()
   
   # Environment variables
   S3_BUCKET = os.environ['S3_BUCKET']
   S3_PREFIX = os.environ['S3_PREFIX']
   STATE_KEY = os.environ['STATE_KEY']
   CENSYS_API_KEY = os.environ['CENSYS_API_KEY']
   CENSYS_ORG_ID = os.environ['CENSYS_ORG_ID']
   API_BASE = os.environ.get('API_BASE', 'https://api.platform.censys.io')
   
   class CensysCollector:
       def __init__(self):
           self.headers = {
               'Authorization': f'Bearer {CENSYS_API_KEY}',
               'X-Organization-ID': CENSYS_ORG_ID,
               'Content-Type': 'application/json'
           }
   
       def get_last_collection_time(self) -> Optional[datetime]:
           """Get the last collection timestamp from S3 state file."""
           try:
               response = s3_client.get_object(Bucket=S3_BUCKET, Key=STATE_KEY)
               state = json.loads(response['Body'].read().decode('utf-8'))
               return datetime.fromisoformat(state.get('last_collection_time', '2024-01-01T00:00:00Z'))
           except Exception as e:
               logger.info(f"No state file found or error reading state: {e}")
               return datetime.now(timezone.utc) - timedelta(hours=1)
   
       def save_collection_time(self, collection_time: datetime):
           """Save the current collection timestamp to S3 state file."""
           state = {'last_collection_time': collection_time.strftime('%Y-%m-%dT%H:%M:%SZ')}
           s3_client.put_object(
               Bucket=S3_BUCKET,
               Key=STATE_KEY,
               Body=json.dumps(state),
               ContentType='application/json'
           )
   
       def collect_logbook_events(self, cursor: str = None) -> List[Dict[str, Any]]:
           """Collect logbook events from Censys ASM API using cursor-based pagination."""
           events = []
           url = f"{API_BASE}/v3/logbook"
   
           # Use cursor-based pagination as per Censys API documentation
           params = {}
           if cursor:
               params['cursor'] = cursor
   
           try:
               query_string = urlencode(params) if params else ''
               full_url = f"{url}?{query_string}" if query_string else url
   
               response = http.request('GET', full_url, headers=self.headers)
   
               if response.status != 200:
                   logger.error(f"API request failed with status {response.status}: {response.data}")
                   return []
   
               data = json.loads(response.data.decode('utf-8'))
               events.extend(data.get('logbook_entries', []))
   
               # Handle cursor-based pagination
               next_cursor = data.get('next_cursor')
               if next_cursor:
                   events.extend(self.collect_logbook_events(next_cursor))
   
               logger.info(f"Collected {len(events)} logbook events")
               return events
   
           except Exception as e:
               logger.error(f"Error collecting logbook events: {e}")
               return []
   
       def collect_risks_events(self) -> List[Dict[str, Any]]:
           """Collect risk events from Censys ASM API."""
           events = []
           url = f"{API_BASE}/v3/risks"
   
           try:
               response = http.request('GET', url, headers=self.headers)
   
               if response.status != 200:
                   logger.error(f"API request failed with status {response.status}: {response.data}")
                   return []
   
               data = json.loads(response.data.decode('utf-8'))
               events.extend(data.get('risks', []))
   
               logger.info(f"Collected {len(events)} risk events")
               return events
   
           except Exception as e:
               logger.error(f"Error collecting risk events: {e}")
               return []
   
       def save_events_to_s3(self, events: List[Dict[str, Any]], event_type: str):
           """Save events to S3 in compressed NDJSON format."""
           if not events:
               return
   
           timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')
           filename = f"{S3_PREFIX}{event_type}_{timestamp}.json.gz"
   
           try:
               # Convert events to newline-delimited JSON
               ndjson_content = 'n'.join(json.dumps(event, separators=(',', ':')) for event in events)
   
               # Compress with gzip
               gz_bytes = gzip.compress(ndjson_content.encode('utf-8'))
   
               s3_client.put_object(
                   Bucket=S3_BUCKET,
                   Key=filename,
                   Body=gz_bytes,
                   ContentType='application/gzip',
                   ContentEncoding='gzip'
               )
   
               logger.info(f"Saved {len(events)} {event_type} events to {filename}")
   
           except Exception as e:
               logger.error(f"Error saving {event_type} events to S3: {e}")
               raise
   
   def lambda_handler(event, context):
       """AWS Lambda handler function."""
       try:
           collector = CensysCollector()
   
           # Get last collection time for cursor state management
           last_collection_time = collector.get_last_collection_time()
           current_time = datetime.now(timezone.utc)
   
           logger.info(f"Collecting events since {last_collection_time}")
   
           # Collect different types of events
           logbook_events = collector.collect_logbook_events()
           risk_events = collector.collect_risks_events()
   
           # Save events to S3
           collector.save_events_to_s3(logbook_events, 'logbook')
           collector.save_events_to_s3(risk_events, 'risks')
   
           # Update state
           collector.save_collection_time(current_time)
   
           return {
               'statusCode': 200,
               'body': json.dumps({
                   'message': 'Censys data collection completed successfully',
                   'logbook_events': len(logbook_events),
                   'risk_events': len(risk_events),
                   'collection_time': current_time.strftime('%Y-%m-%dT%H:%M:%SZ')
               })
           }
   
       except Exception as e:
           logger.error(f"Lambda execution failed: {str(e)}")
           return {
               'statusCode': 500,
               'body': json.dumps({
                   'error': str(e)
               })
           }
   

2. 구성 > 환경 변수 > 수정 > 새 환경 변수 추가로 이동합니다.

3. 다음 환경 변수를 입력하고 값으로 바꿉니다.

   키	예시 값
   S3_BUCKET	censys-logs
   S3_PREFIX	censys/
   STATE_KEY	censys/state.json
   CENSYS_API_KEY	<your-censys-api-key>
   CENSYS_ORG_ID	<your-organization-id>
   API_BASE	https://api.platform.censys.io

4. 함수가 생성되면 해당 페이지에 머무르거나 Lambda > 함수 > your-function을 엽니다.

5. 구성 탭을 선택합니다.

6. 일반 구성 패널에서 수정을 클릭합니다.

7. 제한 시간을 5분 (300초)으로 변경하고 저장을 클릭합니다.

EventBridge 일정 만들기

1. Amazon EventBridge > 스케줄러 > 일정 만들기로 이동합니다.
2. 다음 구성 세부정보를 제공합니다.
   • 반복 일정: 요율 (1 hour)
   • 타겟: Lambda 함수 censys-data-collector
   • 이름: censys-data-collector-1h.
3. 일정 만들기를 클릭합니다.

선택사항: Google SecOps용 읽기 전용 IAM 사용자 및 키 만들기

1. AWS 콘솔에서 IAM > 사용자 > 사용자 추가로 이동합니다.
2. Add users를 클릭합니다.
3. 다음 구성 세부정보를 제공합니다.
   • 사용자: secops-reader
   • 액세스 유형: 액세스 키 — 프로그래매틱 액세스
4. 사용자 만들기를 클릭합니다.
5. 최소 읽기 정책 (맞춤) 연결: 사용자 > secops-reader > 권한 > 권한 추가 > 정책 직접 연결 > 정책 만들기

6. JSON 편집기에서 다음 정책을 입력합니다.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": ["s3:GetObject"],
         "Resource": "arn:aws:s3:::censys-logs/*"
       },
       {
         "Effect": "Allow",
         "Action": ["s3:ListBucket"],
         "Resource": "arn:aws:s3:::censys-logs"
       }
     ]
   }
   

7. 이름을 secops-reader-policy로 설정합니다.

8. 정책 만들기 > 검색/선택 > 다음 > 권한 추가로 이동합니다.

9. 보안 사용자 인증 정보> 액세스 키> 액세스 키 만들기로 이동합니다.

10. CSV를 다운로드합니다 (이러한 값은 피드에 입력됨).

Censys 로그를 수집하도록 Google SecOps에서 피드 구성

1. SIEM 설정> 피드로 이동합니다.
2. + 새 피드 추가를 클릭합니다.
3. 피드 이름 필드에 피드 이름을 입력합니다 (예: Censys logs).
4. 소스 유형으로 Amazon S3 V2를 선택합니다.
5. 로그 유형으로 CENSYS를 선택합니다.
6. 다음을 클릭합니다.
7. 다음 입력 파라미터의 값을 지정합니다.
   • S3 URI: s3://censys-logs/censys/
   • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
   • 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.
   • 액세스 키 ID: S3 버킷에 대한 액세스 권한이 있는 사용자 액세스 키입니다.
   • 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키입니다.
   • 애셋 네임스페이스: 애셋 네임스페이스입니다.
   • 수집 라벨: 이 피드의 이벤트에 적용된 라벨입니다.
8. 다음을 클릭합니다.
9. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

UDM 매핑 테이블

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가로부터 답변을 받으세요.