Apache 로그 수집
다음에서 지원:
Google SecOps
SIEM
이 문서에서는 Bindplane을 사용하여 Apache 로그를 Google Security Operations에 수집하는 방법을 설명합니다. 파서 코드는 먼저 원시 로그 메시지를 JSON으로 파싱하려고 시도합니다. 이 작업에 실패하면 정규 표현식 (grok 패턴)을 사용하여 일반적인 Apache 로그 형식을 기반으로 메시지에서 필드를 추출합니다.
시작하기 전에
- Google SecOps 인스턴스가 있는지 확인합니다.
- Windows 2016 이상을 사용 중이거나
systemd와 함께 Linux 호스트를 사용하고 있는지 확인합니다. - 프록시 뒤에서 실행하는 경우 방화벽 포트가 열려 있는지 확인합니다.
- Apache 인스턴스에 대한 권한이 있는지 확인합니다.
Google SecOps 처리 인증 파일 가져오기
- Google SecOps 콘솔에 로그인합니다.
- SIEM 설정 > 수집 에이전트로 이동합니다.
- 처리 인증 파일을 다운로드합니다. Bindplane가 설치될 시스템에 파일을 안전하게 저장합니다.
Google SecOps 고객 ID 가져오기
- Google SecOps 콘솔에 로그인합니다.
- SIEM 설정 > 프로필로 이동합니다.
- 조직 세부정보 섹션에서 고객 ID를 복사하여 저장합니다.
Bindplane 에이전트 설치
Windows 설치
- 관리자 권한으로 명령 프롬프트 또는 PowerShell을 엽니다.
다음 명령어를 실행합니다.
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
Linux 설치
- 루트 또는 sudo 권한으로 터미널을 엽니다.
다음 명령어를 실행합니다.
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
추가 설치 리소스
- 추가 설치 옵션은 이 설치 가이드를 참고하세요.
Syslog를 수집하고 Google SecOps로 전송하도록 Bindplane 에이전트 구성
구성 파일에 액세스합니다.
config.yaml파일을 찾습니다. 일반적으로 Linux의/etc/bindplane-agent/디렉터리 또는 Windows의 설치 디렉터리에 있습니다.- 텍스트 편집기 (예:
nano,vi, 메모장)를 사용하여 파일을 엽니다.
다음과 같이
config.yaml파일을 수정합니다.receivers: udplog: # Replace the port and IP address as required listen_address: "0.0.0.0:514" exporters: chronicle/chronicle_w_labels: compression: gzip # Adjust the path to the credentials file you downloaded in Step 1 creds: '/path/to/ingestion-authentication-file.json' # Replace with your actual customer ID from Step 2 customer_id: <customer_id> endpoint: malachiteingestion-pa.googleapis.com # Add optional ingestion labels for better organization ingestion_labels: log_type: 'APACHE' raw_log_field: body service: pipelines: logs/source0__chronicle_w_labels-0: receivers: - udplog exporters: - chronicle/chronicle_w_labels인프라에서 필요에 따라 포트와 IP 주소를 바꿉니다.
<customer_id>를 실제 고객 ID로 바꿉니다.Google SecOps 처리 인증 파일 가져오기 섹션에서 인증 파일이 저장된 경로로
/path/to/ingestion-authentication-file.json를 업데이트합니다.
Bindplane 에이전트를 다시 시작하여 변경사항 적용
Linux에서 Bindplane 에이전트를 다시 시작하려면 다음 명령어를 실행합니다.
sudo systemctl restart bindplane-agentWindows에서 Bindplane 에이전트를 다시 시작하려면 서비스 콘솔을 사용하거나 다음 명령어를 입력하면 됩니다.
net stop BindPlaneAgent && net start BindPlaneAgent
Apache에서 Syslog 구성
- SSH를 사용하여 Ubuntu 서버에 로그인합니다.
/etc/rsyslog.d/에02-apache2.conf라는 파일을 만듭니다.vim /etc/rsyslog.d/02-apache2.conf아래 코드를 파일에 추가합니다.
module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog") input(type="imfile" File="/var/log/apache2/access.log" Tag="http_access" Severity="info" Facility="local6") Local6.info @<bindplane-agnet-ip>:<vindplane-agent-port> module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog") input(type="imfile" File="/var/log/apache2/error.log" Tag="http_error"bindplane-agent-ip>및bindplane-agent-port를 Bindplane 에이전트에 구성된 IP 주소 및 포트로 바꿉니다.- TCP 프로토콜을 사용하는 경우 호스트 줄에
@를 추가하여 다음과 같이 표시되도록 합니다.@@<bindplane-agnet-ip>:<vindplane-agent-port>
RSyslog 서비스를 다시 시작합니다.
sudo service rsyslog restart
UDM 매핑 표
| 로그 필드 | UDM 매핑 | 논리 |
|---|---|---|
| 바이트 | network.received_bytes | 클라이언트에서 수신한 바이트입니다. |
| 바이트 | network.sent_bytes | 클라이언트로 전송된 바이트입니다. |
| bytes_out | network.sent_bytes | 클라이언트로 전송된 바이트입니다. |
| bytes_received | network.received_bytes | 클라이언트에서 수신한 바이트입니다. |
| 콘텐츠 | network.http.method | 'Content' 필드에서 추출된 HTTP 메서드입니다. |
| 콘텐츠 | target.url | '콘텐츠' 필드에서 추출된 타겟 URL입니다. |
| 쿠키 | additional.fields.value.string_value | 'cookie' 필드의 값입니다. |
| dest_ip | target.ip | 대상의 IP 주소입니다. |
| dest_name | target.hostname | 대상의 호스트 이름입니다. |
| dest_port | target.port | 대상의 포트입니다. |
| description | metadata.description | 이벤트 설명. |
| duration_microseconds | additional.fields.value.string_value | 'duration_microseconds' 필드의 값입니다. |
| file_full_path | target.file.full_path | 대상 파일의 전체 경로입니다. |
| 호스트 이름 | target.hostname | 대상의 호스트 이름입니다. |
| http_content_type | additional.fields.value.string_value | 'http_content_type' 필드의 값입니다. |
| http_host | principal.hostname | 주 구성원의 호스트 이름입니다. |
| http_method | network.http.method | HTTP 메서드 |
| http_referrer | network.http.referral_url | HTTP 리퍼러 URL |
| http_user_agent | network.http.user_agent | HTTP 사용자 에이전트 |
| ID | metadata.id | 이벤트 ID입니다. |
| insertId | metadata.product_log_id | 제품 로그 ID입니다. |
| ip | principal.ip | 사용자의 IP 주소입니다. |
| jsonPayload.cIP | target.ip | 대상의 IP 주소입니다. |
| jsonPayload.cPort | target.port | 대상의 포트입니다. |
| jsonPayload.csBytes | network.sent_bytes | 클라이언트로 전송된 바이트입니다. |
| jsonPayload.csMethod | network.http.method | HTTP 메서드 |
| jsonPayload.csMimeType | target.file.mime_type | 대상 파일의 MIME 유형입니다. |
| jsonPayload.csReferer | network.http.referral_url | HTTP 리퍼러 URL |
| jsonPayload.csURL | target.url | 대상 URL입니다. |
| jsonPayload.csUserAgent | network.http.user_agent | HTTP 사용자 에이전트 |
| jsonPayload.sHierarchy | additional.fields.value.string_value | 'sHierarchy' 필드의 값입니다. |
| jsonPayload.sHostname | principal.hostname | 주 구성원의 호스트 이름입니다. |
| jsonPayload.sIP | principal.ip | 사용자의 IP 주소입니다. |
| jsonPayload.scBytes | network.received_bytes | 클라이언트에서 수신한 바이트입니다. |
| jsonPayload.scHTTPStatus | network.http.response_code | HTTP 응답 코드입니다. |
| jsonPayload.scResultCode | additional.fields.value.string_value | 'scResultCode' 필드의 값입니다. |
| LastStatus | network.http.response_code | HTTP 응답 코드입니다. |
| log_level | security_result.severity | 보안 결과의 심각도입니다. |
| logName | security_result.category_details | 보안 결과의 카테고리 세부정보입니다. |
| method | network.http.method | HTTP 메서드 |
| pid | principal.process.pid | 프라이머리의 프로세스 ID입니다. |
| 포트 | target.port | 대상의 포트입니다. |
| proto | network.application_protocol | 애플리케이션 프로토콜 |
| 리퍼러 | network.http.referral_url | HTTP 리퍼러 URL |
| RemoteHost | principal.ip | 사용자의 IP 주소입니다. |
| RemoteUser | principal.user.userid | 사용자의 사용자 ID입니다. |
| resource.labels.instance_id | target.resource.product_object_id | 대상 리소스의 제품 객체 ID입니다. |
| resource.labels.project_id | target.resource.attribute.labels.value | 'project_id' 라벨의 값입니다. |
| resource.labels.zone | target.resource.attribute.cloud.availability_zone | 대상 리소스의 가용성 영역입니다. |
| resource.type | target.resource.resource_type | 타겟의 리소스 유형입니다. |
| 응답 | network.http.response_code | HTTP 응답 코드입니다. |
| SizeBytes | network.received_bytes | 클라이언트에서 수신한 바이트입니다. |
| src_ip | principal.ip | 사용자의 IP 주소입니다. |
| src_port | principal.port | 주 구성원의 포트입니다. |
| ssl_cipher | network.tls.cipher | TLS 암호화 |
| ssl_version | network.tls.version_protocol | TLS 버전 프로토콜입니다. |
| 상태 | network.http.response_code | HTTP 응답 코드입니다. |
| target | target.url | 대상 URL입니다. |
| target_ip | target.ip | 대상의 IP 주소입니다. |
| target_port | target.port | 대상의 포트입니다. |
| 시간 | metadata.event_timestamp | 이벤트 타임스탬프 |
| uri_path | target.process.file.full_path | 대상 파일의 전체 경로입니다. |
| 사용자 | principal.user.userid | 사용자의 사용자 ID입니다. |
| useragent | network.http.user_agent | HTTP 사용자 에이전트 |
| version_protocol | network.tls.version_protocol | TLS 버전 프로토콜입니다. |
| Workername | principal.hostname | 주 구성원의 호스트 이름입니다. |
| x_forwarded_for | 'X-Forwarded-For' 헤더의 값입니다. | |
| metadata.log_type | 이 값은 파서 코드에서 'APACHE'로 설정됩니다. | |
| metadata.product_name | 이 값은 파서 코드에서 'Apache 웹 서버'로 설정됩니다. | |
| metadata.vendor_name | 이 값은 파서 코드에서 'Apache'로 설정됩니다. | |
| metadata.event_type | 값은 사용자 및 대상 정보의 존재 여부에 따라 결정됩니다. 주 구성원과 대상이 모두 있는 경우 이벤트 유형은 'NETWORK_HTTP'로 설정됩니다. 주 구성원만 있는 경우 이벤트 유형이 'STATUS_UPDATE'로 설정됩니다. 그렇지 않으면 'GENERIC_EVENT'로 설정됩니다. | |
| additional.fields.key | 키는 필드를 기반으로 파서 코드에서 'keep_alive', 'duration_microseconds', 'cookie', 'http_content_type', 'sHierarchy', 'scResultCode'로 설정됩니다. | |
| target.port | 'proto' 필드가 'HTTP'인 경우 포트는 80으로 설정됩니다. 'proto' 필드가 'HTTPS'인 경우 포트는 443으로 설정됩니다. 'proto' 필드가 'FTP'인 경우 포트는 21로 설정됩니다. | |
| target.resource.attribute.labels.key | 이 키는 파서 코드에서 'project_id'로 설정됩니다. |
변경사항
2025-01-09
개선사항:
- 새 로그 형식을 파싱하는 새로운 Grok 패턴을 추가했습니다.
- 'user_location'이 'principal.location.country_or_region'에 매핑되었습니다.
- 'proto', 'proto_version', 'uri_path', 'uri_query'가 'additional.fields'에 매핑되었습니다.
2024-12-19
개선사항:
- 파싱되지 않은 로그를 파싱하는 Grok 패턴을 추가했습니다.
2024-09-10
개선사항:
- 파싱되지 않은 로그를 파싱하는 지원을 추가했습니다.
2024-08-05
개선사항:
- 'jsonPayload.message' 필드를 'additional.fields'로 파싱하는 Grok 패턴을 추가했습니다.
- 'ip_msg'가 'principal.ip' 및 'principal.asset.ip'에 매핑되었습니다.
- 'msg_method'가 'network.http.method'에 매핑되었습니다.
- 'response_code'가 'network.http.response_code'에 매핑되었습니다.
- 'useragentvalue'가 'network.http.user_agent'에 매핑되었습니다.
2024-06-11
개선사항:
- SYSLOG 형식 로그의 새 패턴을 파싱하는 Grok 패턴을 추가했습니다.
2024-01-25
개선사항:
- 기호 '+'가 포함된 syslog 로그를 파싱하는 새 Grok 패턴이 추가되었습니다.
2024-01-25
개선사항:
- 기호 '+'가 포함된 syslog 로그를 파싱하는 새 Grok 패턴이 추가되었습니다.
2023-12-21
개선사항:
- JSON 로그 파싱 취소를 처리했습니다.
- 'src_port'가 'principal.port'에 매핑되었습니다.
- 'x_forwarded_for'가 'principal.ip'에 매핑되었습니다.
- 'keep_alive', 'duration_microseconds', 'cookie', 'http_content_type'이 'additional.fields'에 매핑되었습니다.
- 'user'가 'principal.user.userid'에 매핑되었습니다.
- 'http_host'가 'principal.hostname'에 매핑되었습니다.
- 'file_full_path'가 'target.file.full_path'에 매핑되었습니다.
- 'ssl_version'이 'network.tls.version_protocol'에 매핑되었습니다.
- 'ssl_cipher'가 'network.tls.cipher'에 매핑되었습니다.
- 'uri_path'가 'target.process.file.full_path'에 매핑되었습니다.
- 'http_referrer'가 'network.http.referral_url'에 매핑되었습니다.
- 'http_user_agent'가 'network.http.user_agent'에 매핑되었습니다.
- 'http_method'가 'network.http.method'에 매핑되었습니다.
- 'protocol'이 'network.application_protocol'에 매핑되었습니다.
- 'dest_port'가 'target.port'에 매핑되었습니다.
- 'dest_name'이 'target.hostname'에 매핑되었습니다.
- 'bytes_out'이 'network.sent.bytes'에 매핑되었습니다.
2023-07-31
개선사항:
- 바이트가 사용 불가능한 경우 하이픈("-")을 처리하도록 Grok 패턴을 수정했습니다.
2023-06-05
개선사항:
- 'Content'가 'target.url', 'network.http.method', 'network.tls.version_protocol'에 매핑되었습니다.
- 'LastStatus'가 'network.http.response_code'에 매핑되었습니다.
- 'SizeBytes'가 'network.received_bytes'에 매핑되었습니다.
- 'Workername'이 'principal.hostname'에 매핑되었습니다.
- '포트'가 'target.port'에 매핑되었습니다.
- 'ID'가 'metadata.id'에 매핑되었습니다.
- 'XForwardedForIP' 및 'RemoteHost'가 'principal.ip'에 매핑되었습니다.
- 'Remoteuser'가 'principal.user.userid'에 매핑되었습니다.
- 잘못된 로그 파싱을 지원하도록 Grok 패턴을 수정했습니다.
2023-02-20
개선사항:
- 잘못된 로그 파싱을 지원하도록 Grok 패턴을 수정했습니다.
- 'user_agent'를 'network.http.parsed_user_agent'로 변환했습니다.
2022-09-21
개선사항:
- 기본 파서로 이전했습니다.
2022-09-07
개선사항:
- json + syslog 형식으로 로그를 파싱하는 grok 패턴을 추가했습니다.
- 'host.name' 및 'hostname' 필드를 'target.hostname'에 매핑했습니다.
- 'log.file.path' 필드가 'principal.process.file.full_path'에 매핑되었습니다.
- 'mac' 필드가 'principal.mac'에 매핑되었습니다.
- 'ip' 필드가 'principal.asset.ip'에 매핑되었습니다.
- 'os.version' 필드가 'principal.platform_version'에 매핑되었습니다.
- 'os.kernel' 필드가 'principal.platform_patch_level'에 매핑되었습니다.
- 'os.platform' 필드가 'principal.platform'에 매핑되었습니다.
- 'architecture' 필드가 'principal.asset.hardware'에 매핑되었습니다.
- 'id' 필드가 'principal.asset.asset_id'에 매핑되었습니다.
2022-05-12
개선사항:
- 파싱되지 않은 고유한 로그를 위한 Grok 패턴이 추가되었습니다.
- 'network.http.user_agent' 및 'network.http.referral_url'에 대한 조건부 검사가 추가되었습니다.
- Apache 트래픽 서버 (ATS) 프록시 로그에 대한 지원이 추가되었습니다.
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가의 답변을 받아 보세요.