Utilizzare l'agente BindPlane

Supportato in:

L'agente BindPlane (chiamato anche agente di raccolta) è un agente open source basato su OpenTelemetry Collector, che raccoglie i log da una serie di origini, inclusi i log eventi di Microsoft Windows, e li invia a Google Security Operations.

La console di gestione OP BindPlane di observIQ fornisce una piattaforma completa e unificata per la gestione dei deployment dei collector OpenTelemetry (OTel) in Google SecOps e Google Cloud. observIQ fornisce un'edizione BindPlane per Google della console di gestione. Per ulteriori informazioni, consulta le soluzioni observIQ. La console di gestione è facoltativa. Puoi utilizzare l'agente con o senza la console. Per ulteriori informazioni sulla console, consulta Console di gestione OP di BindPlane.

Si tratta della stessa soluzione utilizzata da Cloud Logging per i deployment on-premise.

Prima di iniziare

Per installare l'agente, devi avere quanto segue:

  • File di autenticazione per l'importazione di Google SecOps

    Per scaricare il file di autenticazione:

    1. Apri la console Google SecOps.
    2. Vai a Impostazioni SIEM > Agente di raccolta.
    3. Scarica il file di autenticazione per l'importazione di Google SecOps.

  • ID cliente Google SecOps

    Per trovare l'ID cliente:

    1. Apri la console Google SecOps.
    2. Vai a Impostazioni SIEM > Profilo.
    3. Copia l'ID cliente dalla sezione Dettagli dell'organizzazione.

  • Windows 2012 SP2 o versioni successive o host Linux con systemd

  • Connettività internet

  • Accesso a GitHub

Verifica la configurazione del firewall

Eventuali firewall o proxy autenticati tra l'agente e internet richiedono regole per aprire l'accesso ai seguenti host:

Tipo di connessione Destinazione Port (Porta)
TCP malachiteingestion-pa.googleapis.com 443
TCP asia-northeast1-malachiteingestion-pa.googleapis.com 443
TCP asia-south1-malachiteingestion-pa.googleapis.com 443
TCP asia-southeast1-malachiteingestion-pa.googleapis.com 443
TCP australia-southeast1-malachiteingestion-pa.googleapis.com 443
TCP europe-malachiteingestion-pa.googleapis.com 443
TCP europe-west2-malachiteingestion-pa.googleapis.com 443
TCP europe-west3-malachiteingestion-pa.googleapis.com 443
TCP europe-west6-malachiteingestion-pa.googleapis.com 443
TCP europe-west12-malachiteingestion-pa.googleapis.com 443
TCP me-central1-malachiteingestion-pa.googleapis.com 443
TCP me-central2-malachiteingestion-pa.googleapis.com 443
TCP me-west1-malachiteingestion-pa.googleapis.com 443
TCP northamerica-northeast2-malachiteingestion-pa.googleapis.com 443
TCP accounts.google.com 443
TCP oauth2.googleapis.com 443

Console di gestione OP BindPlane

La console di gestione OP di BindPlane offre le seguenti funzionalità chiave:

  • Gestione centralizzata: la console ti consente di gestire tutti gli implementazioni dei collector OTel in Google Cloud. Puoi visualizzare lo stato di ogni implementazione, nonché eseguire attività di gestione comuni come l'avvio, l'arresto e il riavvio dei collector.
  • Monitoraggio in tempo reale: la console fornisce il monitoraggio in tempo reale dei deployment dei collector OTel. Puoi monitorare metriche come utilizzo della CPU, utilizzo della memoria e throughput, nonché visualizzare log e tracce per risolvere i problemi.
  • Avvisi e notifiche: la console ti consente di configurare avvisi e notifiche per eventi importanti, ad esempio quando un raccoglitore non è disponibile o quando viene superata una soglia di metrica.
  • Gestione della configurazione: la console ti consente di gestire centralmente la configurazione dei tuoi collector OTel. Puoi modificare i file di configurazione, impostare le variabili di ambiente e applicare i criteri di sicurezza a tutti i tuoi implementazioni.
  • Integrazione con Google Cloud: puoi creare e gestire i deployment dei collector OTel in Google Cloud e utilizzare la console per accedere alle risorse Google Cloud.

Esistono due modi per eseguire il deployment della console di gestione OP di BindPlane:

Installa l'agente BindPlane

Questa sezione descrive come installare l'agente su diversi sistemi operativi host.

Windows

Per installare l'agente BindPlane su Windows, esegui il seguente comando PowerShell.

msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

In alternativa, per eseguire l'installazione utilizzando una procedura guidata, scarica il programma di installazione più recente per Windows.

Dopo aver scaricato il programma di installazione, apri la procedura guidata di installazione e segui le istruzioni per configurare e installare l'agente BindPlane. Per ulteriori informazioni sull'installazione, vedi Installazione su Windows.

Linux

Puoi installare l'agente su Linux utilizzando uno script che determina automaticamente il pacchetto da installare. Puoi anche utilizzare questo script per aggiornare un'installazione esistente.

Per eseguire l'installazione utilizzando lo script di installazione, esegui il seguente script:

sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

Installazione dal pacchetto locale

Per installare l'agente da un pacchetto locale, utilizza -f con il percorso del pacchetto.

sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh -f path_to_package

Installazione RPM

Scarica il pacchetto RPM per la tua architettura dalla pagina delle release e installalo utilizzando rpm. Per installare il pacchetto amd64, consulta l'esempio seguente:

sudo rpm -U ./observiq-otel-collector_v${VERSION}_linux_amd64.rpm
sudo systemctl enable --now observiq-otel-collector

Sostituisci VERSION con la versione del pacchetto che hai scaricato.

Installazione DEB

Scarica il pacchetto DEB per la tua architettura dalla pagina delle release e installalo utilizzando dpkg. Fai riferimento all'esempio seguente per installare il pacchetto amd64:

sudo dpkg -i --force-overwrite ./observiq-otel-collector_v${VERSION}_linux_amd64.deb
sudo systemctl enable --now observiq-otel-collector

Sostituisci VERSION con la versione del pacchetto che hai scaricato.

Per ulteriori informazioni, consulta Installazione di BindPlane Agent.

Configura l'agente

Puoi configurare l'agente manualmente o utilizzando la console di gestione OP di BindPlane. Se configuri l'agente manualmente, devi aggiornare i parametri dell'esportatore per assicurarti che l'agente si autentichi con Google SecOps.

Dopo aver installato l'agente, il servizio observiq-otel-collector viene eseguito ed è pronto per la configurazione. Per impostazione predefinita, l'agente registra in C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log.

Il log degli errori standard per il processo dell'agente è disponibile all'indirizzo C:\Program Files\observIQ OpenTelemetry Collector\log\observiq_collector.err.

Per impostazione predefinita, il file di configurazione dell'agente si trova in C:\Program Files\observIQ OpenTelemetry Collector\config.yaml. Quando modifichi la configurazione, devi riavviare il servizio dell'agente affinché le modifiche vengano applicate.

Puoi scaricare un file di configurazione di esempio e il token di autenticazione utilizzato dall'agente dalla console Google SecOps > Impostazioni SIEM > Agente di raccolta.

Personalizza queste due sezioni nel file di configurazione:

  • Destinatario: specifica i log che l'agente deve raccogliere e inviare a Google SecOps.
  • Esportatore: specifica la destinazione in cui l'agente invia i log. Sono supportati i seguenti esportatori:
    • Esportatore Google SecOps: invia i log direttamente all'API di importazione di Google SecOps
    • Esportatore di inoltro di Google SecOps: invia i log all'inoltro di Google SecOps
    • Esportatore di Cloud Logging: invia i log a Cloud Logging

Nell'esportatore, personalizza quanto segue:

  • customer_id: ID cliente Google SecOps
  • endpoint: endpoint regionale di Google SecOps

  • creds: token di autenticazione

    In alternativa, puoi utilizzare creds_file_path per fare riferimento direttamente al file delle credenziali. Per la configurazione di Windows, inserisci un carattere di escape nel percorso con barre oblique inverse.

  • log_type: tipo di log

  • ingestion_labels: etichette di importazione facoltative

  • namespace: spazio dei nomi facoltativo

    Per ogni tipo di log devi configurare un esportatore.

Architettura

Per l'architettura dell'agente sono disponibili le seguenti opzioni.

Opzione 1: l'agente di raccolta invia i log al forwarder Google SecOps

L'agente di raccolta invia i log all'inoltrare di Google SecOps

Il forwarder Google SecOps riceve più stream syslog. Ogni origine dati syslog è distinta dalla porta di ascolto configurata sul forwarder Google SecOps. Il forwarder effettua una connessione GRPC criptata all'istanza Google SecOps per inviare i log raccolti.

Tieni presente che l'opzione di inoltro consente l'aggregazione dei log prima di inviarli a Google SecOps.

Opzione 2: l'agente di raccolta invia i log direttamente all'API di importazione di Google SecOps

L'agente di raccolta invia i log direttamente all'API di importazione di Google SecOps

Opzione 3: l'agente di raccolta invia i log direttamente a Cloud Logging

L'agente di raccolta invia i log direttamente a Cloud Logging

Opzione 4: l'agente di raccolta invia i log a più destinazioni

L'agente di raccolta invia i log a più destinazioni

Scalabilità

I collector di agenti in genere utilizzano risorse minime, ma quando gestisci grandi volumi di telemetria (log o tracce) su un sistema, tieni presente il consumo di risorse per evitare di influire su altri servizi. Per ulteriori informazioni, consulta la sezione Dimensionamento e scalabilità degli agenti.

Assistenza

Per eventuali problemi relativi all'agente di raccolta, contatta l'assistenza Google Cloud.

Per eventuali problemi relativi alla gestione dell'operatore BindPlane, contatta l'assistenza di ObservIQ.

Esempi di configurazione della raccolta dei log aggiuntivi

Le sezioni seguenti elencano gli esempi di configurazione della raccolta dei log aggiuntivi.

Invia eventi Windows e Sysmon direttamente a Google SecOps

Configura questi parametri nel sample:

Configurazione di esempio:

receivers:
  windowseventlog/sysmon:
    channel: Microsoft-Windows-Sysmon/Operational
    raw: true
  windowseventlog/security:
    channel: security
    raw: true
  windowseventlog/application:
    channel: application
    raw: true
  windowseventlog/system:
    channel: system
    raw: true

processors:
  batch:

exporters:
  chronicle/sysmon:
    endpoint: malachiteingestion-pa.googleapis.com
    creds: '{
  "type": "service_account",
  "project_id": "malachite-projectname",
  "private_key_id": "abcdefghijklmnopqrstuvwxyz123456789",
  "private_key": "-----BEGIN PRIVATE KEY-----abcdefg-----END PRIVATE KEY-----\n",
  "client_email": "account@malachite-projectname.iam.gserviceaccount.com",
  "client_id": "123456789123456789",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://oauth2.googleapis.com/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/account%40malachite-projectname.iam.gserviceaccount.com",
  "universe_domain": "googleapis.com"
}' 
    log_type: 'WINDOWS_SYSMON'
    override_log_type: false
    raw_log_field: body
    customer_id: 'dddddddd-dddd-dddd-dddd-dddddddddddd'
  chronicle/winevtlog:
    endpoint: malachiteingestion-pa.googleapis.com
    creds: '{
  "type": "service_account",
  "project_id": "malachite-projectname",
  "private_key_id": "abcdefghijklmnopqrstuvwxyz123456789",
  "private_key": "-----BEGIN PRIVATE KEY-----abcdefg-----END PRIVATE KEY-----\n",
  "client_email": "account@malachite-projectname.iam.gserviceaccount.com",
  "client_id": "123456789123456789",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://oauth2.googleapis.com/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/account%40malachite-projectname.iam.gserviceaccount.com",
  "universe_domain": "googleapis.com"
}'
    log_type: 'WINEVTLOG'
    override_log_type: false
    raw_log_field: body
    customer_id: 'dddddddd-dddd-dddd-dddd-dddddddddddd'

service:
  pipelines:
    logs/sysmon:
      receivers: [windowseventlog/sysmon]
      processors: [batch]
      exporters: [chronicle/sysmon]
    logs/winevtlog:
      receivers: 
        - windowseventlog/security
        - windowseventlog/application
        - windowseventlog/system
      processors: [batch]
      exporters: [chronicle/winevtlog]

Invia eventi Windows e syslog direttamente a Google SecOps

Configura questi parametri nel sample:

Configurazione di esempio:

receivers:
    tcplog:
      listen_address: "0.0.0.0:54525"
    windowseventlog/source0__application:
        attributes:
            log_type: windows_event.application
        channel: application
        max_reads: 100
        poll_interval: 1s
        raw: true
        start_at: end
    windowseventlog/source0__security:
        attributes:
            log_type: windows_event.security
        channel: security
        max_reads: 100
        poll_interval: 1s
        raw: true
        start_at: end
    windowseventlog/source0__system:
        attributes:
            log_type: windows_event.system
        channel: system
        max_reads: 100
        poll_interval: 1s
        raw: true
        start_at: end
exporters:
    chronicle/chronicle_w_labels:
        compression: gzip
        creds: '{ json blob for creds }'
        customer_id: <customer_id>
        endpoint: malachiteingestion-pa.googleapis.com
        ingestion_labels:
            env: dev
        log_type: <applicable_log_type>
        namespace: testNamespace
        raw_log_field: body
service:
    pipelines:
        logs/source0__chronicle_w_labels-0:
            receivers:
                - windowseventlog/source0__system
                - windowseventlog/source0__application
                - windowseventlog/source0__security
            exporters:
                - chronicle/chronicle_w_labels
        logs/source1__chronicle_w_labels-0:
            receivers:
                - tcplog
            exporters:
                - chronicle/chronicle_w_labels

Invia eventi Windows e syslog al forwarder di Google SecOps

Configura questi parametri nel sample:

Configurazione di esempio:

receivers:
tcplog:
    listen_address: "0.0.0.0:54525"
    windowseventlog/source0__application:
        attributes:
            log_type: windows_event.application
        channel: application
        max_reads: 100
        poll_interval: 1s
        raw: true
        start_at: end
    windowseventlog/source0__security:
        attributes:
            log_type: windows_event.security
        channel: security
        max_reads: 100
        poll_interval: 1s
        raw: true
        start_at: end
    windowseventlog/source0__system:
        attributes:
            log_type: windows_event.system
        channel: system
        max_reads: 100
        poll_interval: 1s
        raw: true
        start_at: end
exporters:
    chronicleforwarder/forwarder:
        export_type: syslog
        raw_log_field: body
        syslog:
            endpoint: 127.0.0.1:10514
            transport: udp
service:
    pipelines:
        logs/source0__forwarder-0:
            receivers:
                - windowseventlog/source0__system
                - windowseventlog/source0__application
                - windowseventlog/source0__security
            exporters:
                - chronicleforwarder/forwarder
        logs/source1__forwarder-0:
            receivers:
                - tcplog
            exporters:
                - chronicleforwarder/forwarder

Invia syslog direttamente a Google SecOps

Configura questi parametri nel sample:

Configurazione di esempio:

receivers:
  tcplog:
    listen_address: "0.0.0.0:54525"

exporters:
    chronicle/chronicle_w_labels:
        compression: gzip
        creds: '{ json blob for creds }'
        customer_id: <customer_id>
        endpoint: malachiteingestion-pa.googleapis.com
        ingestion_labels:
            env: dev
        log_type: <applicable_log_type>
        namespace: testNamespace
        raw_log_field: body
service:
    pipelines:
        logs/source0__chronicle_w_labels-0:
            receivers:
                - tcplog
            exporters:
                - chronicle/chronicle_w_labels

Raccogli gli eventi di Windows da remoto e inviali direttamente a Google SecOps

Configura questi parametri nel sample:

  • windowseventlogreceiver
    • username
    • password
    • server
  • chronicleexporter
    • namespace
    • ingestion_labels
    • log_type
    • customer_id
    • creds

Configurazione di esempio:

receivers:
    windowseventlog/system:
        channel: system
        max_reads: 100
        start_at: end
        poll_interval: 10s
        raw: true
        remote:
            username: "username"
            password: "password"
            server: "remote-server"
    windowseventlog/application:
        channel: application
        max_reads: 100
        start_at: end
        poll_interval: 10s
        raw: true
        remote:
            username: "username"
            password: "password"
            server: "server-ip"
    windowseventlog/security:
        channel: security
        max_reads: 100
        start_at: end
        poll_interval: 10s
        raw: true
        remote:
            username: "username"
            password: "password"
            server: "server-ip"
exporters:
    chronicle/chronicle_w_labels:
        compression: gzip
        creds: '{ json blob for creds }'
        customer_id: <customer_id>
        endpoint: malachiteingestion-pa.googleapis.com
        ingestion_labels:
            env: dev
        log_type: WINEVTLOG
        namespace: testNamespace
        raw_log_field: body
service:
    pipelines:
        logs/source0__chronicle_w_labels-0:
            receivers:
                - windowseventlog/system
                - windowseventlog/application
                - windowseventlog/security
            exporters:
                - chronicle/chronicle_w_labels

Inviare dati a Cloud Logging

Configura il parametro credentials_file nel sample.

Configurazione di esempio:

exporters:
  googlecloud:
    credentials_file: /opt/observiq-otel-collector/credentials.json

Esegui una query su un database SQL e invia i risultati a Google SecOps

Configura questi parametri nel sample:

Configurazione di esempio:

receivers:
  sqlquery/source0:
    datasource: host=localhost port=5432 user=postgres password=s3cr3t sslmode=disable
    driver: postgres
    queries:
      - logs:
          - body_column: log_body
        sql: select * from my_logs where log_id > $$1
        tracking_column: log_id
        tracking_start_value: "10000"
processors:
  transform/source0_processor0__logs:
    error_mode: ignore
    log_statements:
      - context: log
        statements:
          - set(attributes["chronicle_log_type"], "POSTGRESQL") where true
exporters:
  chronicle/chronicle_sql:
    compression: gzip
    creds: '{
  "type": "service_account",
  "project_id": "malachite-projectname",
  "private_key_id": "abcdefghijklmnopqrstuvwxyz123456789",
  "private_key": "-----BEGIN PRIVATE KEY-----abcdefg-----END PRIVATE KEY-----\n",
  "client_email": "account@malachite-projectname.iam.gserviceaccount.com",
  "client_id": "123456789123456789",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://oauth2.googleapis.com/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/account%40malachite-projectname.iam.gserviceaccount.com",
  "universe_domain": "googleapis.com"
}' 
    customer_id: customer_id
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: POSTGRESQL
    namespace: null
    raw_log_field: body
    retry_on_failure:
      enabled: false
    sending_queue:
      enabled: false
service:
  pipelines:
    logs/source0_chronicle_sql-0:
      receivers:
        - sqlquery/source0
      processors:
        - transform/source0_processor0__logs
      exporters:
        - chronicle/chronicle_sql

Elimina i log che corrispondono a un'espressione regolare

Puoi configurare il raccoglitore in modo che elimini i log che corrispondono a un'espressione regolare. Questo è utile per filtrare i log indesiderati, ad esempio errori noti o messaggi di debug.

Per eliminare i log che corrispondono a un'espressione regolare, aggiungi un elaboratore di tipo filter/drop-matching-logs-to-Chronicle alla configurazione. Questo elaboratore utilizza la funzione IsMatch per valutare il corpo del log rispetto all'espressione regolare. Se la funzione restituisce true, il log viene eliminato.

La seguente configurazione di esempio elimina i log che contengono le stringhe <EventID>10</EventID> o <EventID>4799</EventID> nel corpo del log.

Puoi personalizzare l'espressione regolare in modo che corrisponda a qualsiasi pattern necessario. La funzione IsMatch utilizza la sintassi delle espressioni regolari RE2.

Configurazione di esempio:

processors:
    filter/drop-matching-logs-to-Chronicle:
        error_mode: ignore
        logs:
            log_record:
                - (IsMatch(body, "<EventID>10</EventID>")) or (IsMatch(body, "<EventID>4799</EventID>"))

L'esempio seguente aggiunge il processore alla pipeline nella stessa configurazione:

service:
  pipelines:
    logs/winevtlog:
      receivers: 
        - windowseventlog/security
        - windowseventlog/application
        - windowseventlog/system
      processors: 
      - filter/drop-matching-logs-to-Chronicle # Add this line
      - batch
      exporters: [chronicle/winevtlog]

Documentazione di riferimento

Per ulteriori informazioni su observIQ, consulta: