Forwarder installieren und konfigurieren

In diesem Dokument wird beschrieben, wie Sie den Google Security Operations-Forwarder auf Linux- und Windows-Systemen mit Docker installieren und konfigurieren.

Der Forwarder ist eine Softwarekomponente, die Sie auf einem Computer oder Gerät in Ihrem Netzwerk installieren können, z. B. auf einem Server. Sie erfasst Log-Daten und leitet diese Daten an Ihre Google SecOps-Instanz weiter.

Mit dem Forwarder können Sie Logs direkt aus Ihrer Umgebung an Google SecOps senden, ohne dass Cloud-Buckets oder Drittanbieter-APIs für nicht unterstützte Logtypen erforderlich sind. Der Forwarder ist eine sofort einsatzbereite Lösung, sodass keine manuelle Integration mit der Ingestion API erforderlich ist.

Google SecOps stellt einen Docker-Container für die Bereitstellung des sicheren Forwarders bereit. Sie können den Docker-Container auf physischen oder virtuellen Maschinen ausführen und verwalten.

Systemanforderungen

Im Folgenden finden Sie allgemeine Empfehlungen. Wenn Sie Empfehlungen speziell für Ihr System benötigen, wenden Sie sich an den Support von Google SecOps.

Linux-System

Der Forwarder wird auf verschiedenen Linux-Distributionen wie Debian, Ubuntu, Red Hat und Suse unterstützt. Für eine optimale Leistung ist es erforderlich, Docker-Version 20.10.21 oder höher zu verwenden.

• RAM: Für jeden erhobenen Datentyp, der von Google SecOps zur Aufnahme akzeptiert wird, sind 1 GB RAM erforderlich. Wenn Sie beispielsweise vier verschiedene Collectors angeben, benötigen Sie 4 GB RAM, um Daten für alle vier zu erfassen.

• CPU: Zwei CPUs reichen aus,um bis zu 10.000 Ereignisse pro Sekunde (EPS) für alle Datentypen zu verarbeiten. Wenn Sie davon ausgehen,dass Ihr Forwarder mehr als 10.000 EPS verarbeitet, weisen Sie ihm vier bis sechs CPUs zu.

• Festplatte: Unabhängig davon, wie viele Daten der Forwarder verarbeitet, werden 20 GB Festplattenspeicher empfohlen.

Windows-System

Die Weiterleitung wird unter Microsoft Windows Server 2022 unterstützt. Für eine optimale Leistung ist Docker-Version 20.10.21 oder höher erforderlich.

• RAM: Für jeden erhobenen Datentyp, der von Google SecOps zur Aufnahme akzeptiert wird, sind 1,5 GB RAM erforderlich. Wenn Sie beispielsweise vier verschiedene Collectors angeben, benötigen Sie 6 GB RAM, um Daten für alle vier zu erfassen.

• CPU: Zwei CPUs reichen aus,um bis zu 10.000 Ereignisse pro Sekunde (EPS) für alle Datentypen zu verarbeiten. Wenn Sie davon ausgehen,dass Ihr Forwarder mehr als 10.000 EPS verarbeitet, weisen Sie ihm vier bis sechs CPUs zu.

• Festplatte: Unabhängig davon, wie viele Daten der Forwarder verarbeitet, werden 20 GB Festplattenspeicher empfohlen.

Hinweise

Beachten Sie vor Beginn der Implementierung des Weiterleitungsdienstes Folgendes.

Google-IP-Adressbereiche

Wenn Sie den Forwarder konfigurieren, müssen Sie möglicherweise Firewall-Einstellungen anpassen, bei denen IP-Adressbereiche angegeben werden. Die Standarddomain-IP-Bereiche, die von Google APIs und Diensten verwendet werden, werden dynamisch zugewiesen und ändern sich häufig. Weitere Informationen finden Sie unter IP-Adressbereiche von Google abrufen.

Firewallkonfiguration prüfen

Wenn sich Ihr Forwarder-Container hinter Firewalls oder authentifizierten Proxys befindet, müssen Sie den Zugriff auf die folgenden Hosts freigeben:

Implementierung planen

Bevor Sie mit der Konfiguration des Forwarders beginnen, sollten Sie die Implementierung planen. So können Sie Ihre Datenquellen und Konfigurationsattribute an Ihre Sicherheitsziele, Infrastrukturfunktionen und Skalierbarkeitsanforderungen anpassen.

Aufzunehmende Daten festlegen

Wählen Sie aus den folgenden Optionen die relevantesten Datenquellen für Ihren Forwarder aus:

• Splunk: Ideal, wenn Sie Splunk bereits für die Logverwaltung verwenden.

• Syslog: Vielseitig für System- und Anwendungsprotokolle von verschiedenen Geräten.

• Datei: Flexibel für die Aufnahme beliebiger Logdateien.

• Paket: Bietet umfassende Netzwerksichtbarkeit durch Erfassung des Roh-Traffics.

• Kafka: Ideal für die Aggregation von Logs mit hohem Volumen und in Echtzeit aus verteilten Systemen.

• WebProxy: Ideal für Einblicke in den Webtraffic und das Nutzerverhalten.

Beschränkung

Die maximale Größe von Logzeilen in Datenfeeds beträgt 4 MB.

Konfiguration ermitteln

Bestimmen Sie vor der Installation des Forwarders die folgenden wichtigen Attribute, um eine erfolgreiche Implementierung zu gewährleisten.

Datenkompression

Durch die Komprimierung von Daten oder Protokollen wird der Netzwerkbandbreitenverbrauch bei der Übertragung von Protokollen an Google SecOps reduziert. Dies kann jedoch zu einer erhöhten CPU-Auslastung führen. Das optimale Gleichgewicht zwischen Bandbreiteneinsparungen und CPU-Auslastung hängt von mehreren Faktoren ab, z. B. vom Protokolltyp, der Komprimierbarkeit der Daten, den verfügbaren CPU-Ressourcen und den Einschränkungen Ihrer Netzwerkbandbreite.

Textbasierte Logs lassen sich beispielsweise in der Regel gut komprimieren und können bei geringer CPU-Auslastung erhebliche Bandbreiteneinsparungen ermöglichen. Verschlüsselte oder binäre Daten lassen sich möglicherweise nicht effizient komprimieren und können eine höhere CPU-Auslastung verursachen.

Die Log-Komprimierung ist standardmäßig deaktiviert. Bewerten Sie den Kompromiss basierend auf Ihrer spezifischen Umgebung und der Art Ihrer Logdaten.

Laufwerkspufferung

Es wird empfohlen, die Laufwerkszwischenspeicherung zu aktivieren. Mit der Laufwerkszwischenspeicherung können Sie zurückgestellte Nachrichten auf dem Laufwerk statt im Arbeitsspeicher zwischenspeichern. So wird ein Datenverlust bei einem Absturz des Forwarders oder Hosts verhindert. Das Aktivieren der Laufwerkszwischenspeicherung kann sich jedoch auf die Leistung auswirken.

Wenn die Pufferung auf der Festplatte deaktiviert ist, weist der Forwarder für jeden Logtyp (z. B. pro Connector) 1 GB Arbeitsspeicher (RAM) zu. Der maximal zulässige Arbeitsspeicher für die Festplattenpufferung beträgt 4 GB.

Filter für reguläre Ausdrücke

Mit Filtern für reguläre Ausdrücke können Sie Logs filtern, indem Sie Muster mit den Rohlogdaten abgleichen. Die Filter verwenden die RE2-Syntax. Die Filter müssen einen regulären Ausdruck enthalten und können optional ein Verhalten für den Fall einer Übereinstimmung definieren.

Beliebige Labels

Mit Labels können benutzerdefinierte Metadaten in Form von Schlüssel/Wert-Paaren an Logs angehängt werden. Sie können Labels für einen gesamten Forwarder oder innerhalb eines bestimmten Collectors des Forwarders konfigurieren. Wenn beide vorhanden sind, überschreiben Labels auf Sammlerebene Labels auf Weiterleiterebene, wenn sich die Schlüssel überschneiden.

Namespaces

Sie können Namespace-Labels verwenden, um Logs aus verschiedenen Netzwerksegmenten zu identifizieren und überlappende IP-Adressen zu entschärfen. Sie können ein Namespace-Label für einen gesamten Forwarder oder innerhalb eines bestimmten Collectors des Forwarders konfigurieren. Wenn beide vorhanden sind, wird der Namespace auf Collector-Ebene durch den Namespace auf Forwarder-Ebene überschrieben.

Logtyp

Google SecOps unterstützt eine Vielzahl von Protokolltypen. Eine umfassende Liste finden Sie unter Unterstützte Datasets.

Optionen für Load-Balancing und Hochverfügbarkeit

Load-Balancing wird nur für den Syslog-Erfassungstyp unterstützt.

Der Forwarder kann in Umgebungen bereitgestellt werden, in denen ein Layer-4-Load-Balancer zwischen der Datenquelle und den Forwarder-Instanzen installiert ist. So können Sie die Protokollerfassung auf mehrere Forwarder verteilen und die Zuverlässigkeit erhöhen, indem Sie Protokolle im Fehlerfall an einen anderen Forwarder weiterleiten.

Der Forwarder hat einen integrierten HTTP-Server, der auf Systemdiagnosen von Load-Balancern reagiert und Logverluste beim Starten und Herunterfahren verhindert. Sie können den HTTP-Server, das Load-Balancing und die Optionen für Hochverfügbarkeit konfigurieren, um Zeitüberschreitungen und Statuscodes für Systemdiagnosen anzugeben. Diese Konfiguration ist sowohl mit containerbasierten Bereitstellungen als auch mit Load-Balancern kompatibel.

Schritt 1: Forwarder-Konfiguration definieren

Für jeden bereitgestellten Forwarder ist eine Forwarder-Konfigurationsdatei erforderlich. In einer Forwarder-Konfigurationsdatei werden die Einstellungen für die Übertragung der Daten an Ihre Google SecOps-Instanz angegeben. Wir empfehlen, für jeden Host eine neue Konfigurationsdatei zu erstellen, um die mit den einzelnen Hosts verknüpften Collectors klar zu unterscheiden.

Google Cloud passt diese Konfigurationsdateien mit spezifischen Metadaten für jede Forwarder-Instanz an. Sie können diese Dateien an Ihre spezifischen Anforderungen anpassen und Details zu den Logtypen einfügen, die Sie aufnehmen möchten.

Sie können eine Forwarder-Konfigurationsdatei entweder über die Benutzeroberfläche, über die API oder manuell generieren.

• Die Benutzeroberfläche bietet eine grafische Oberfläche zum Konfigurieren von Forwardern und ist die empfohlene Methode zum Erstellen einer Forwarder-Konfiguration. Das ist die einfachste Methode, um loszulegen, und es ist keine Programmierung erforderlich. Informationen zum Herunterladen der Konfigurationsdatei über die Google SecOps-Benutzeroberfläche finden Sie unter Forwarder-Konfigurationen über die Google SecOps-Benutzeroberfläche verwalten.

• Die API bietet eine programmatische Möglichkeit, Forwarder zu konfigurieren. Informationen zum programmatischen Herunterladen der Forwarder-Konfiguration finden Sie unter Forwarder Management API.

• Sie können die Konfigurationsdatei manuell erstellen und die Konfigurationsoptionen hinzufügen. Wir empfehlen, die Konfigurationsdatei über die Benutzeroberfläche zu erstellen, um die Genauigkeit zu gewährleisten und potenzielle Fehler zu minimieren. Informationen zum manuellen Generieren der Datei finden Sie unter Konfigurationsdatei für Forwarder manuell verwalten.

Schritt 2: Docker installieren

In diesem Abschnitt wird beschrieben, wie Sie Docker auf Ihrem System installieren.

Docker-Authentifizierung mit Artifact Registry

Im Rahmen der Docker-Installation müssen Sie den Docker authentifizieren. Sie können Docker mit der Google Cloud CLI (Befehlszeile) authentifizieren oder, falls Sie die Google Cloud CLI nicht installieren können, indem Sie eine neue JSON-Datei für das Dienstkonto in der VM erstellen.

Methode 1: Google Cloud CLI verwenden

Führen Sie den folgenden Befehl aus, um Docker zu authentifizieren:

gcloud auth configure-docker gcr.io

Methode 2: Neues Dienstkonto-JSON auf der VM erstellen und herunterladen

Verwenden Sie diese Methode, wenn Sie die Google Cloud CLI (Befehlszeile) nicht installieren können.

Führen Sie den folgenden Befehl aus, um Docker zu authentifizieren:

cat key.json | docker login -u _json_key --password-stdin https://gcr.io

Weitere Informationen zu zusätzlichen Methoden für die Docker-Authentifizierung finden Sie unter Authentifizierung bei Artifact Registry für Docker konfigurieren.

Linux-System

Docker ist Open Source und die gesamte erforderliche Dokumentation ist in der Open-Source-Docker-Community verfügbar. Eine Anleitung zur Docker-Installation finden Sie unter Docker Engine installieren.

Führen Sie den folgenden Befehl aus (erfordert erhöhte Berechtigungen), um zu prüfen, ob Docker auf Ihrem System richtig installiert ist:

   docker ps
  

Die folgende Antwort gibt an, dass Docker ordnungsgemäß installiert wurde:

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

Windows-System

Starten Sie Windows PowerShell mit Administratorberechtigungen und prüfen Sie die Netzwerkverbindung zu Google Cloud , indem Sie diese Schritte ausführen:

1. Klicken Sie auf Start.

2. Geben Sie PowerShell ein und klicken Sie mit der rechten Maustaste auf Windows PowerShell.

3. Klicken Sie auf Als Administrator ausführen.

4. Führen Sie dazu diesen Befehl aus:

   C:\> test-netconnection <host> -port <port>
   

   Die Befehlsausgabe gibt an, dass der Status von TcpTestSucceeded true ist.

   Beispiel:

   C:\> test-netconnection malachiteingestion-pa.googleapis.com -port 443
   ComputerName     :  malachiteingestion-pa.googleapis.com
   RemoteAddress    : 198.51.100.1
   RemotePort       : 443
   InterfaceAlias   : Ethernet
   SourceAddress    : 203.0.113.1
   TcpTestSucceeded : True
   

Führen Sie die folgenden Schritte auf Ihrem Windows-Server aus, um Docker zu installieren.

1. Aktivieren Sie das Microsoft Windows-Container-Feature:

   Install-WindowsFeature containers -Restart
   

2. Führen Sie den folgenden Befehl im PowerShell-Administratormodus aus, um Docker CE zu installieren:

   Invoke-WebRequest -UseBasicParsing "https://raw.githubusercontent.com/microsoft/Windows-Containers/Main/helpful_tools/Install-DockerCE/install-docker-ce.ps1" -o install-docker-ce.ps1
   
   .\install-docker-ce.ps1
   
   

3. Testen Sie die Docker-Befehlszeile, indem Sie den Befehl docker ps ausführen. Er gibt eine Liste der laufenden Container zurück. Wenn Docker nicht richtig installiert ist, wird ein Fehler angezeigt.

   Weitere Informationen finden Sie unter Erste Schritte: Windows für Container vorbereiten.

   Für Unternehmensbereitstellungen installieren Sie die Mirantis Container Runtime, auch bekannt als Docker EE.

Schritt 3: Forwarder installieren

In diesem Abschnitt wird beschrieben, wie Sie den Forwarder mit einem Docker-Container installieren.

Schritt 3a: Konfigurationsdateien in das Forwarder-Verzeichnis verschieben

Der erste Schritt bei der Installation des Forwarders besteht darin, die erforderlichen Konfigurationsdateien in das dafür vorgesehene Forwarder-Verzeichnis zu kopieren.

Linux-System

So platzieren Sie die Konfigurationsdateien im Forwarder-Verzeichnis:

1. Stellen Sie über das Terminal eine Verbindung zum Linux-Forwarder-Host her.

2. Wechseln Sie in das Home-Verzeichnis, in dem der Docker-Container ausgeführt wird.

3. Erstellen Sie ein Verzeichnis zum Speichern der Konfigurationsdateien des Forwarders.

     mkdir /opt/chronicle/'CONFIG'
   

   Sie können den Verzeichnisnamen CONFIG durch einen beliebigen Namen ersetzen. Achten Sie darauf, dass Sie beim Ausführen des Befehls docker run denselben Verzeichnisnamen verwenden.

4. Wechseln Sie das Verzeichnis.

     cd /opt/chronicle/config
   

5. Prüfen Sie nach der Übertragung der Dateien, ob sich die Konfigurationsdateien im Verzeichnis /opt/chronicle/config befinden.

     ls -l
   

Windows-System

Erstellen Sie einen C:\config-Ordner und legen Sie die Konfigurationsdateien darin ab. Sie können den Ordnernamen config durch einen beliebigen Namen ersetzen. Achten Sie darauf, dass Sie beim Ausführen des Befehls docker run denselben Ordnernamen verwenden.

Schritt 3b: Forwarder ausführen

Nachdem die Konfigurationsdateien im entsprechenden Forwarder-Verzeichnis platziert wurden, können Sie den Forwarder starten oder auf die neueste Version des Google SecOps-Containers aktualisieren.

Wenn Sie den Container aktualisieren, bereinigen Sie alle vorherigen Docker-Ausführungen mit den folgenden Befehlen.

      docker stop 'cfps'
    

      docker rm 'cfps'
    

Im Beispiel lautet der Name des Docker-Containers cfps.

So starten Sie den Forwarder zum ersten Mal oder führen ein Upgrade auf die neueste Version des Google SecOps-Containers durch:

1. Rufen Sie das aktuelle Docker-Image von Google Cloudab:

   Linux-System:

       docker pull gcr.io/chronicle-container/cf_production_stable
   

   Windows-System:

     docker pull gcr.io/chronicle-container/cf_production_stable_windows
   

2. Starten Sie den Forwarder über den Docker-Container:

   Linux-System:

     docker run \
       --detach \
       --name cfps \
       --restart=always \
       --log-opt max-size=100m \
       --log-opt max-file=10 \
       --net=host \
       -v /opt/chronicle/config:/opt/chronicle/external \
       gcr.io/chronicle-container/cf_production_stable
       -v /var/log/<parser-name>:/opt/chronicle/edr \
   

   Windows-System:

     docker run `
       --detach `
       --name cfps `
       --restart=always `
       --log-opt max-size=100m `
       --log-opt max-file=10 `
       -p 0.0.0.0:10515-10520:10515-10520/udp `
       -v C:\config\:C:/opt/chronicle/external `
       gcr.io/chronicle-container/cf_production_stable_windows
   

Die --log-opt-Optionen sind seit Docker 1.13 verfügbar. Mit diesen Optionen wird die Größe der Container-Logdateien begrenzt. Sie müssen verwendet werden, solange die von Ihnen verwendete Docker-Version sie unterstützt.

Spediteur verwalten

In den folgenden Abschnitten finden Sie Informationen zum Verwalten Ihres Spediteurs.

Forwarder-Logs ansehen

• Führen Sie den folgenden Befehl aus, um die Forwarder-Logs aufzurufen:

  docker logs cfps
  

• Führen Sie den folgenden Befehl aus, um den Pfad der Datei aufzurufen, in der die Logs gespeichert sind:

  docker inspect --format='{{.LogPath}}' CONTAINER_NAME
  

• Führen Sie den folgenden Befehl aus, um die Live-Logs aufzurufen:

  docker logs cfps -f
  

• Führen Sie den folgenden Befehl aus, um die Logs in einer Datei zu speichern:

  docker logs cfps &> logs.txt
  

Weiterleitung deinstallieren

Mit den folgenden Docker-Befehlen können Sie den Forwarder beenden, deinstallieren oder entfernen.

• Führen Sie den folgenden Befehl aus, um den Forwarder-Container zu beenden oder zu deinstallieren:

  docker stop cfps
  

• Führen Sie den folgenden Befehl aus, um den Forwarder-Container zu entfernen:

  docker rm cfps
  

Weiterleitung aktualisieren

Der Forwarder besteht aus zwei Komponenten, für die jeweils ein Updateprozess gilt:

• Forwarder-Bundle: Diese Komponente wird automatisch aktualisiert, sodass kein Neustart erforderlich ist.

• Forwarder-Docker-Image: Updates für diese Komponente werden manuell durchgeführt. Sie müssen die aktuelle Forwarder-Instanz beenden und eine neue starten, wie in Schritt 3b beschrieben.

Anleitungen zur Aufnahme von Daten durch Forwarder für bestimmte Datasets

Informationen dazu, wie ein bestimmter Datensatz mithilfe von Forwardern aufgenommen wird, finden Sie unter:

• Carbon Black Event Forwarder installieren
• Cisco ASA-Firewallprotokolle erfassen
• Corelight Sensor-Logs erfassen
• Fluentd-Logs erfassen
• Linux-Audit- und Unix-Systemlogs erfassen
• Microsoft Windows AD-Daten erheben
• DHCP-Daten von Microsoft Windows erfassen
• Microsoft Windows-DNS-Daten erheben
• Microsoft Windows-Ereignisdaten erfassen
• Microsoft Windows Sysmon-Daten erfassen
• osquery-Logs erfassen
• OSSEC-Logs erfassen
• Firewallprotokolle von Palo Alto Networks erfassen
• Splunk CIM-Logs erfassen
• Zeek-Logs erfassen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten