Datadog 로그 수집

개요

이 파서는 Datadog 로그에서 필드를 추출하고, 여러 변형과 Grok 일치를 실행하여 데이터를 구조화하고, 추출된 필드를 UDM에 매핑합니다. 키-값 쌍과 JSON 객체를 비롯한 message 필드 내의 다양한 로그 형식을 처리하고 특정 필드를 UDM 호환 라벨과 추가 필드로 변환합니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

• Google SecOps 인스턴스
• Google Cloud IAM에 대한 액세스 권한
• Cloud Storage에 대한 액세스 권한 관리
• logs_write_archive Datadog에 대한 사용자 액세스

옵션 1: Cloud Storage 구성을 통한 Datadog 로그 공유

Google Cloud 플랫폼과의 Datadog 통합 구성

• Datadog의 Google Cloud Platform 통합을 설정합니다. 자세한 내용은 Datadog Google Cloud 통합 설정을 참고하세요.

스토리지 버킷 만들기 Google Cloud

1. Google Cloud 콘솔에 로그인합니다.

2. Cloud Storage 버킷 페이지로 이동합니다.

   버킷으로 이동

3. 만들기를 클릭합니다.

4. 버킷 만들기 페이지에서 버킷 정보를 입력합니다. 다음 각 단계를 완료한 후 계속을 클릭하여 다음 단계로 진행합니다.

   1. 시작하기 섹션에서 다음을 수행합니다.

      1. 버킷 이름 요구사항을 충족하는 고유한 이름을 입력합니다 (예: datadog-data).

      2. 계층적 네임스페이스를 사용 설정하려면 펼치기 화살표를 클릭하여 파일 지향 및 데이터 집약적인 워크로드에 최적화 섹션을 펼친 다음 이 버킷에서 계층적 네임스페이스 사용 설정을 선택합니다.

      3. 버킷 라벨을 추가하려면 펼치기 화살표를 클릭하여 라벨 섹션을 펼칩니다.

      4. 라벨 추가를 클릭하고 라벨의 키와 값을 지정합니다.

   2. 데이터 저장 위치 선택 섹션에서 다음을 수행합니다.

      1. 위치 유형을 선택합니다.
      2. 위치 유형 드롭다운을 사용하여 버킷 내 객체 데이터가 영구적으로 저장될 위치를 선택합니다.
         • 이중 리전 위치 유형을 선택하는 경우 관련 체크박스를 사용하여 터보 복제를 사용 설정할 수도 있습니다.
      3. 버킷 간 복제를 설정하려면 버킷 간 복제 설정 섹션을 펼칩니다.

   3. 데이터의 스토리지 클래스 선택 섹션에서 버킷에 기본 스토리지 클래스를 선택하거나, 버킷 데이터의 자동 스토리지 클래스 관리에 자동 클래스를 선택합니다.

   4. 객체 액세스를 제어하는 방식 선택 섹션에서 공개 액세스 방지를 적용하지 않음을 선택하고 버킷의 객체에 대한 액세스 제어 모델을 선택합니다.

   5. 객체 데이터 보호 방법 선택 섹션에서 다음을 수행합니다.

      1. 버킷에 설정할 데이터 보호 아래의 옵션을 선택합니다.
      2. 객체 데이터가 암호화되는 방식을 선택하려면 데이터 암호화라는 펼치기 화살표를 클릭하고 데이터 암호화 방법을 선택합니다.

5. 만들기를 클릭합니다.

Google Cloud 서비스 계정 만들기

1. IAM 및 관리자 > 서비스 계정으로 이동합니다.
2. 새 서비스 계정 만들기
3. 설명이 포함된 이름을 지정합니다 (예: datadog-user).
4. 이전 단계에서 만든 Cloud Storage 버킷에 스토리지 객체 관리자 역할을 서비스 계정에 부여합니다.
5. 서비스 계정의 SSH 키를 만듭니다.
6. 서비스 계정의 JSON 키 파일을 다운로드합니다. 이 파일을 안전하게 보관하세요.

Cloud Storage에 로그를 전송하도록 Datadog 구성

1. 권한이 부여된 계정을 사용하여 Datadog에 로그인합니다.
2. 로그 > 로그 전달로 이동합니다.
3. + 새 보관 파일 만들기를 클릭합니다.
4. Google Cloud Storage를 선택합니다.
5. 필수 매개변수를 입력하고 저장을 클릭합니다.

옵션 2: 웹훅 구성을 통한 Datadog 로그 공유

피드 설정

피드를 구성하려면 다음 단계를 따르세요.

1. SIEM 설정 > 피드로 이동합니다.
2. 새 피드 추가를 클릭합니다.
3. 다음 페이지에서 단일 피드 구성을 클릭합니다.
4. 피드 이름 필드에 피드 이름을 입력합니다 (예: Datadog Logs).
5. 소스 유형으로 웹훅을 선택합니다.
6. 로그 유형으로 Datadog을 선택합니다.
7. 다음을 클릭합니다.
8. 선택사항: 다음 입력 파라미터의 값을 지정합니다.
   • 분할 구분 기호: 로그 줄을 구분하는 데 사용되는 구분 기호입니다(예: \n).
9. 다음을 클릭합니다.
10. 확정 화면에서 피드 구성을 검토한 다음 제출을 클릭합니다.
11. 보안 비밀 키 생성을 클릭하여 이 피드를 인증하기 위한 보안 비밀 키를 생성합니다.
12. 비밀 키를 복사하여 저장합니다. 이 보안 비밀 키는 다시 볼 수 없습니다. 필요한 경우 새 보안 비밀 키를 재생성할 수 있지만 이 작업으로 인해 이전 보안 비밀 키는 더 이상 사용할 수 없게 됩니다.
13. 세부정보 탭의 엔드포인트 정보 필드에서 피드 엔드포인트 URL을 복사합니다. 클라이언트 애플리케이션에서 이 엔드포인트 URL을 지정해야 합니다.
14. 완료를 클릭합니다.

웹훅 피드에 대한 API 키 만들기

1. Google Cloud 콘솔 > 사용자 인증 정보로 이동합니다.

   사용자 인증 정보로 이동

2. 사용자 인증 정보 만들기를 클릭한 후 API 키를 선택합니다.

3. Chronicle API에 대한 API 키 액세스를 제한합니다.

엔드포인트 URL 지정

1. 클라이언트 애플리케이션에서 웹훅 피드에 제공된 HTTPS 엔드포인트 URL을 지정합니다.

2. 다음 형식의 커스텀 헤더의 일부로 API 키와 보안 비밀 키를 지정하여 인증을 사용 설정합니다.

   X-goog-api-key = API_KEY
   X-Webhook-Access-Key = SECRET
   

   권장사항: URL에 지정하는 대신 API 키를 헤더로 지정하세요.

3. 웹훅 클라이언트가 커스텀 헤더를 지원하지 않는 경우 쿼리 파라미터를 다음 형식으로 사용하여 API 키와 보안 비밀 키를 지정할 수 있습니다.

   ENDPOINT_URL?key=API_KEY&secret=SECRET
   

   다음을 바꿉니다.

   • ENDPOINT_URL: 피드 엔드포인트 URL입니다.
   • API_KEY: Google SecOps에 인증하기 위한 API 키입니다.
   • SECRET: 피드를 인증하기 위해 생성한 보안 비밀 키입니다.

웹훅으로 로그를 보내도록 Datadog 구성

1. 권한이 부여된 계정을 사용하여 Datadog에 로그인합니다.
2. 로그 > 로그 전달로 이동합니다.
3. 맞춤 대상을 선택합니다.
4. + 새 대상 만들기를 클릭합니다.
5. 다음 입력 파라미터의 값을 지정합니다.
   1. 대상 유형 선택: HTTP를 선택합니다.
   2. 대상 이름 지정: 웹훅의 설명이 포함된 이름을 입력합니다 (예: Google SecOps 웹훅).
   3. 대상 구성: ENDPOINT_URL을 입력한 다음 API_KEY와 SECRET을 입력합니다.
   4. 인증 설정 구성: 다음과 같은 일반 헤더를 추가합니다. 이렇게 하면 HTTP 요청이 잘못된 형식이 되지 않고 Datadog에서 웹훅 생성을 완료할 수 있습니다.
      • 헤더 이름: Accept
      • 헤더 값: application/json
   5. 저장을 클릭합니다.

참조 링크

• Cloud Storage에 로그 공유
• 웹훅으로 로그 전달

UDM 매핑 테이블

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가로부터 답변을 받으세요.