자체 관리 프로젝트에서 BigQuery로 데이터 내보내기 구성 Google Cloud

Google Security Operations를 사용하면 통합 데이터 모델 (UDM) 데이터를 소유하고 관리하는 자체 관리 프로젝트로 내보낼 수 있습니다. 자체 Google Cloud 프로젝트를 Google SecOps 인스턴스에 연결하고 Google 관리 설정에 종속되지 않고 IAM 권한을 독립적으로 관리할 수 있습니다. SIEM 설정 > 데이터 내보내기를 선택하여 Bring Your Own BigQuery (BYOBQ) 기능을 사용 설정하고 구성할 수도 있습니다.

Google SecOps는 다음 데이터 카테고리를 BigQuery 프로젝트로 내보냅니다.

  • udm_events: UDM 스키마로 정규화된 로그 데이터입니다.
  • udm_events_aggregates: 정규화된 이벤트의 시간별로 요약된 집계 데이터입니다.
  • entity_graph: 항목 그래프에는 세 가지 측정기준 (문맥 데이터, 파생 데이터, 전역 컨텍스트)이 있습니다. 모든 문맥 데이터 및 파생 데이터와 글로벌 컨텍스트 데이터의 일부는 UDM으로 작성되고 저장되는 데이터입니다.
  • rule_detections: Google SecOps에서 실행된 규칙으로 반환되는 감지 항목입니다.
  • ioc_matches: UDM 이벤트에 대해 확인된 IOC 일치 항목입니다.
  • ingestion_metrics: 처리 및 정규화 파이프라인과 관련된 측정항목 (기본적으로 내보내짐)
  • udm_enum_value_to_name_mapping: enum 값을 UDM 필드 이름에 매핑합니다 (기본적으로 내보내짐).
  • entity_enum_value_to_name_mapping: enum 값을 항목 필드 이름에 매핑합니다 (기본적으로 내보내짐).

보관 기간

기존 고객이 이 기능을 사용 설정하면 Google 관리 프로젝트로 내보낸 BigQuery 데이터가 지정된 보관 기간 동안 각 프로젝트에 유지됩니다.

보관 기간은 가장 먼저 데이터를 내보낸 날짜부터 시작됩니다.

  • BigQuery 내보내기의 보관 기간은 데이터 소스별로 구성할 수 있으며 Google SecOps의 기본 로그 보관 기간과 동일한 최대 보관 기간으로 설정할 수 있습니다.
  • 보관 기간을 지정하지 않으면 기본 동작은 정리나 삭제 없이 데이터를 계속 내보내 보관 기간을 제한하는 것입니다. 이 경우 Cloud Storage 버킷에 대한 맞춤 보관 정책을 직접 만들 수 있습니다. 이 버킷에서는 Bring Your Own Project (BYOP) 프로젝트에서 데이터를 내보내 BigQuery에서 외부 테이블로 사용합니다.

기존 고객을 위한 데이터 이전

기존 고객인 경우 기존 Google 관리 프로젝트의 데이터는 자체 관리 프로젝트로 이전되지 않습니다. 데이터가 이전되지 않으므로 데이터가 두 개의 별도 프로젝트에 있습니다. 셀프 관리 프로젝트 활성화 날짜가 포함된 기간에 걸쳐 데이터를 쿼리하려면 다음 작업 중 하나를 완료해야 합니다.

  • 두 프로젝트의 데이터를 조인하는 단일 쿼리를 사용합니다.
  • 각 프로젝트에서 자체 관리 프로젝트 활성화 날짜 이전의 데이터에 관한 쿼리와 이후의 데이터에 관한 쿼리, 이렇게 두 가지 쿼리를 실행합니다. Google에서 관리하는 프로젝트의 보관 기간이 만료되면 해당 데이터가 삭제됩니다. 그 이후에는 Google Cloud프로젝트 내에 있는 데이터만 쿼리할 수 있습니다.

데이터 내보내기에 필요한 권한

BigQuery 데이터에 액세스하려면 BigQuery 내에서 쿼리를 실행하세요. 액세스 권한이 필요한 사용자에게 다음 IAM 역할을 할당합니다.

자체 관리 프로젝트로 BigQuery 데이터 내보내기 시작

  1. 데이터를 내보낼 Google Cloud 프로젝트를 만듭니다. 자세한 내용은 Google SecOps용 프로젝트 구성 Google Cloud 을 참고하세요.

  2. 자체 관리 프로젝트를 Google SecOps 인스턴스에 연결하여 Google SecOps와 자체 관리 프로젝트 간에 연결을 설정합니다. 자세한 내용은 Google Security Operations를 서비스에 연결 Google Cloud 을 참고하세요. SIEM 설정 > 데이터 내보내기를 선택하여 Bring Your Own BigQuery (BYOBQ) 기능을 사용 설정하고 구성할 수도 있습니다.

  3. 데이터가 자체 관리 프로젝트로 내보내졌는지 확인하려면 BigQuery의 datalake 데이터 세트 아래에 있는 테이블을 확인하세요.

BigQuery 테이블에 저장된 Google SecOps 데이터에 대해 임시 쿼리를 작성할 수 있습니다. BigQuery와 통합되는 다른 서드 파티 도구를 사용하여 보다 고급스러운 분석을 만들 수도 있습니다.

Cloud Storage 버킷 및 BigQuery 테이블을 비롯하여 내보내기를 사용 설정하기 위해 자체 관리 Google Cloud 프로젝트에서 만든 모든 리소스는 Google SecOps와 동일한 리전에 있습니다.

BigQuery를 쿼리할 때 Unrecognized name: <field_name> at [<some_number>:<some_number>]과 같은 오류가 발생하면 액세스하려는 필드가 데이터 세트에 없으며 내보내기 프로세스 중에 스키마가 동적으로 생성되었음을 의미합니다.

BigQuery의 Google SecOps 데이터에 대한 자세한 내용은 BigQuery의 Google SecOps 데이터를 참고하세요.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가의 답변을 받으세요.