Logs auf Organisations- und Ordnerebene zusammenführen und an unterstützte Ziele weiterleiten

In diesem Dokument wird beschrieben, wie aggregierte Senken erstellt werden. Mit aggregierten Senken können Sie Logs kombinieren und an einen zentralen Speicherort weiterleiten, die von den Google Cloud-Ressourcen in Ihrer Organisation oder Ihrem Ordner generiert werden.

Übersicht

Aggregierte Senken kombinieren und leiten Logeinträge aus den Ressourcen einer Organisation oder eines Ordners an ein Ziel weiter.

Wenn Sie steuern möchten, welche Logeinträge in diesen Ressourcen abgefragt oder über die Senken in diesen Ressourcen weitergeleitet werden können, können Sie einen aggregierten Empfänger so konfigurieren, dass er keine oder nur bestimmte Protokolle abfängt:

• Eine nicht abfangende aggregierte Senke leitet Logeinträge über Senken in untergeordneten Ressourcen weiter. Mit diesem Auffangsystem bleiben die Logeinträge in den Ressourcen sichtbar, in denen sie generiert wurden. Senken ohne Abfangfunktion sind für untergeordnete Ressourcen nicht sichtbar.

  Sie können beispielsweise eine nicht abfangende aggregierte Senke erstellen, die alle Logeinträge, die in den Ordnern einer Organisation generiert werden, an einen zentralen Log-Bucket weiterleitet. Die Logeinträge werden im zentralen Log-Bucket und in den Ressourcen gespeichert, in denen sie generiert wurden.

• Eine abfangende aggregierte Senke verhindert, dass Logeinträge über Senken in untergeordneten Ressourcen weitergeleitet werden, mit Ausnahme von _Required-Senken. Diese Senke kann nützlich sein, um zu verhindern, dass doppelte Kopien von Logeinträgen an mehreren Stellen gespeichert werden.

  Denken Sie beispielsweise an Audit-Logs für den Datenzugriff, die sehr groß sein können und deren Speicherung in mehreren Kopien teuer ist. Wenn Sie Audit-Logs zum Datenzugriff aktiviert haben, können Sie eine abfangende Senke auf Ordnerebene erstellen, die alle Audit-Logs zum Datenzugriff zur Analyse an ein zentrales Projekt weiterleitet. Diese abfangende Senke verhindert auch, dass Senken in untergeordneten Ressourcen Kopien der Protokolle an andere Stellen weiterleiten.

  Abfangende Senken verhindern, dass Logs über den Log Router von untergeordneten Ressourcen übergeben werden, es sei denn, die Logs stimmen auch mit der _Required-Senke überein. Da die Protokolle abgefangen werden, werden sie nicht für logbasierte Messwerte oder logbasierte Benachrichtigungsrichtlinien in den untergeordneten Ressourcen gezählt. Sie können abfangende Senken auf der Seite Log-Router der untergeordneten Ressourcen aufrufen.

Informationen zum Verwalten von Senken finden Sie unter Logs an unterstützte Ziele weiterleiten: Senken verwalten.

Sie können bis zu 200 Senken pro Ordner oder Organisation erstellen.

Unterstützte Ziele

Sie können nicht abfangende aggregierte Senken verwenden, um Logeinträge innerhalb oder zwischen denselben Organisationen und Ordnern an die folgenden Ziele weiterzuleiten:

• Cloud Logging-Bucket: Bietet Speicherplatz in Cloud Logging. In einem Log-Bucket können Logeinträge gespeichert werden, die von mehreren Google Cloud-Projekten empfangen werden. Der Log-Bucket kann sich im selben Projekt befinden, in dem die Logeinträge stammen, oder in einem anderen Projekt. Informationen zum Ansehen von Logeinträgen, die in Log-Buckets gespeichert sind, finden Sie unter Logs abfragen und ansehen und An Cloud Logging-Buckets weitergeleitete Logs ansehen.

  Sie können Ihre Cloud Logging-Daten mit anderen Daten kombinieren, indem Sie einen Log-Bucket auf Log Analytics umstellen und dann einen verknüpften Datenpool erstellen. Das ist ein schreibgeschützter Datenpool, der auf den Seiten BigQuery Studio und Looker Studio abgefragt werden kann.

• BigQuery-Dataset: Ermöglicht das Speichern von Logeinträgen in einem beschreibbaren BigQuery-Dataset. Das BigQuery-Dataset kann sich im selben Projekt wie die Logeinträge oder in einem anderen Projekt befinden. Sie können Big-Data-Analysefunktionen auf die gespeicherten Logeinträge anwenden. Informationen zum Aufrufen von zu BigQuery weitergeleiteten Logeinträgen finden Sie unter Zu BigQuery weitergeleitete Logs ansehen.

• Cloud Storage-Bucket: Ermöglicht das Speichern von Logeinträgen in Cloud Storage. Der Cloud Storage-Bucket kann sich im selben Projekt wie die Protokolleinträge oder in einem anderen Projekt befinden. Logeinträge werden als JSON-Dateien gespeichert. Informationen zum Ansehen von Logeinträgen, die an Cloud Storage weitergeleitet wurden, finden Sie unter An Cloud Storage weitergeleitete Logs ansehen.

• Pub/Sub-Thema: Bietet Unterstützung für Integrationen von Drittanbietern. Logeinträge werden in JSON formatiert und dann an ein Pub/Sub-Thema weitergeleitet. Das Thema kann sich im selben Projekt wie die Protokolleinträge oder in einem anderen Projekt befinden. Informationen zum Ansehen von Logeinträgen, die an Pub/Sub weitergeleitet werden, finden Sie unter An Pub/Sub weitergeleitete Logs ansehen.

• Google Cloud-Projekt: Sie können Protokolleinträge an ein anderes Google Cloud-Projekt weiterleiten. Bei dieser Konfiguration werden die Logeinträge von den Senken im Zielprojekt verarbeitet.

Best Practices für Abfangen von Sinks

Beim Erstellen eines Abfang-Sinks empfehlen wir Folgendes:

• Überlegen Sie, ob untergeordnete Ressourcen eine unabhängige Steuerung für das Routing ihrer Protokolleinträge benötigen. Wenn eine untergeordnete Ressource eine unabhängige Steuerung bestimmter Protokolleinträge benötigt, achten Sie darauf, dass diese Protokolleinträge nicht von Ihrem abfangenden Sink weitergeleitet werden.

• Fügen Sie der Beschreibung eines Abfang-Sinks Kontaktdaten hinzu. Das kann hilfreich sein, wenn die Personen, die den Abfang-Sink verwalten, nicht dieselben sind wie die, die die Projekte verwalten, deren Logeinträge abgefangen werden.

• Testen Sie die Senkenkonfiguration, indem Sie zuerst eine nicht abfangende aggregierte Senke erstellen, um sicherzustellen, dass die richtigen Logeinträge weitergeleitet werden.

Aggregierte Abläufe und VPC Service Controls

Bei der Verwendung von aggregierten Senken und VPC Service Controls gelten die folgenden Einschränkungen:

• Aggregierte Senken können auf Daten von Projekten innerhalb eines Dienstperimeters zugreifen. Wenn Sie verhindern möchten, dass aggregierte Senken auf Daten innerhalb eines Perimeters zugreifen, verwenden Sie IAM, um Logging-Berechtigungen zu verwalten.

• VPC Service Controls unterstützt das Hinzufügen von Ordner- oder Organisationsressourcen zu Dienstperimetern nicht. Daher können Sie VPC Service Controls nicht zum Schutz von Logs auf Ordner- und Organisationsebene verwenden, einschließlich aggregierter Logs. Zum Verwalten von Logging-Berechtigungen auf Ordner- oder Organisationsebene empfehlen wir IAM.

• Wenn Sie Logs mithilfe einer Logsenke auf Ordner- oder Organisationsebene an eine Ressource weiterleiten, die durch einen Dienstperimeter geschützt wird, müssen Sie dem Dienstperimeter eine Regel für eingehenden Traffic hinzufügen. Die Regel für eingehenden Traffic muss den Zugriff auf die Ressource über das Dienstkonto zulassen, das von der aggregierten Senke verwendet wird. Weitere Informationen finden Sie auf den folgenden Seiten:

  • Regeln für ein- und ausgehenden Traffic
  • Dienstperimeter verwalten

• Wenn Sie eine Richtlinie für eingehenden oder ausgehenden Traffic für einen Dienstperimeter angeben, können Sie ANY_SERVICE_ACCOUNT und ANY_USER_ACCOUNT nicht als Identitätstyp verwenden, wenn Sie Logs mithilfe eines Log-Sinks an Cloud Storage-Ressourcen weiterleiten. Sie können jedoch ANY_IDENTITY als Identitätstyp verwenden.

Hinweise

Prüfen Sie vor dem Erstellen einer Senke Folgendes:

• Sie haben einen Google Cloud-Ordner oder eine Organisation mit Logeinträgen, die Sie im Log-Explorer sehen können.

• Sie haben eine der folgenden IAM-Rollen für die Google Cloud-Organisation oder den Google Cloud-Ordner, von dem Sie Protokolleinträge weiterleiten.

  • Inhaber (roles/owner)
  • Logging-Administrator (roles/logging.admin)
  • Autor von Log-Konfigurationen (roles/logging.configWriter)

  Mit den in diesen Rollen enthaltenen Berechtigungen können Sie Senken erstellen, löschen oder ändern. Informationen zum Festlegen von IAM-Rollen finden Sie in der Anleitung zur Zugriffssteuerung für Logging.

• Sie haben eine Ressource in einem unterstützten Ziel oder die Erlaubnis, eine Ressource zu erstellen.

  Das Ziel muss vor der Senke erstellt werden. Dies erfolgt über die Google Cloud CLI, die Google Cloud Console oder die Google Cloud APIs. Sie können das Ziel in jedem Google Cloud-Projekt jeder Organisation erstellen. Das Dienstkonto aus der Senke muss jedoch Berechtigungen zum Schreiben in das Ziel haben.

• Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  In the Google Cloud console, activate Cloud Shell.

  Activate Cloud Shell

  At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  REST

  Verwenden Sie die von der gcloud CLI bereitgestellten Anmeldedaten, um die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung zu verwenden.

  Install the Google Cloud CLI, then initialize it by running the following command:

  gcloud init

  Weitere Informationen finden Sie unter Für die Verwendung von REST authentifizieren in der Dokumentation zur Google Cloud-Authentifizierung.

Aggregierte Senke erstellen

Es kann einige Minuten dauern, bis alle Änderungen an einem Sink angewendet werden.

Filter für aggregierte Senken erstellen

Wie alle anderen Senken enthält auch die zusammengefasste Senke einen Filter für die Auswahl einzelner Logeinträge. Beispiele für Filter, die Sie zum Erstellen der aggregierten Senke verwenden können, finden Sie unter Beispielabfragen mit dem Log-Explorer.

Im Folgenden finden Sie einige Beispiele für Filtervergleiche, die bei Verwendung des Features für aggregierte Senken hilfreich sein können. In manchen Beispielen wird folgende Notation verwendet:

• : ist der Teilstringoperator. Ersetzen Sie den Operator = nicht.
• ... steht für alle weiteren Filtervergleiche.
• Variablen sind durch farbigen Text gekennzeichnet. Ersetzen Sie sie durch gültige Werte.

Beachten Sie, dass ein Filter nicht länger als 20.000 Zeichen sein darf.

Weitere Informationen zur Filtersyntax finden Sie unter Logging-Abfragesprache.

Protokollquelle auswählen

Bei einer aggregierten Senke werden die Einschluss- und Ausschlussfilter der Senke auf jeden Logeintrag angewendet, der an die untergeordnete Ressource gesendet wird. Ein Logeintrag, der mit dem Einschlussfilter übereinstimmt und nicht ausgeschlossen ist, wird weitergeleitet.

Wenn die Senke Logeinträge aus allen untergeordneten Ressourcen weiterleiten soll, geben Sie in den Einschluss- und Ausschlussfiltern der Senke kein Projekt, keinen Ordner und keine Organisation an. Angenommen, Sie konfigurieren eine aggregierte Senke für eine Organisation mit dem folgenden Filter:

resource.type="gce_instance"

Mit dem vorherigen Filter werden Logeinträge mit dem Ressourcentyp „Compute Engine-Instanzen“, die in ein untergeordnetes Element dieser Organisation geschrieben werden, vom aggregierten Datensink an das Ziel weitergeleitet.

Es kann jedoch Situationen geben, in denen Sie eine aggregierte Senke verwenden möchten, um Logeinträge nur von bestimmten untergeordneten Ressourcen weiterzuleiten. Aus Compliance-Gründen können Sie beispielsweise Audit-Logs aus bestimmten Ordnern oder Projekten in einem eigenen Cloud Storage-Bucket speichern. Konfigurieren Sie in diesen Fällen den Einschlussfilter so, dass jede untergeordnete Ressource angegeben wird, deren Logeinträge weitergeleitet werden sollen. Wenn Sie Logeinträge aus einem Ordner und allen Projekten in diesem Ordner weiterleiten möchten, muss der Filter den Ordner und alle darin enthaltenen Projekte auflisten und die Anweisungen mit einer OR-Klausel verknüpfen.

Mit den folgenden Filtern werden Logeinträge auf bestimmte Google Cloud-Projekte, -Ordner oder -Organisationen beschränkt:

logName:"projects/PROJECT_ID/logs/" AND ... 

logName:("projects/PROJECT_A_ID/logs/" OR "projects/PROJECT_B_ID/logs/") AND ... 

logName:"folders/FOLDER_ID/logs/" AND ... 

logName:"organizations/ORGANIZATION_ID/logs/" AND ... 

Wenn Sie beispielsweise nur Logeinträge weiterleiten möchten, die in Compute Engine-Instanzen in den Ordner my-folder geschrieben wurden, verwenden Sie den folgenden Filter:

logName:"folders/my-folder/logs/" AND resource.type="gce_instance"

Mit dem vorherigen Filter werden Logeinträge, die in eine andere Ressource als my-folder geschrieben werden, einschließlich Logeinträgen, die in Google Cloud-Projekte geschrieben werden, die untergeordnet sind my-folder, nicht an das Ziel weitergeleitet.

Überwachte Ressource auswählen

Verwenden Sie mehrere Vergleiche, um die Ressource genau anzugeben, um nur Logeinträge von bestimmten überwachten Ressourcen in einem Google Cloud-Projekt weiterzuleiten.

logName:"projects/PROJECT_ID/logs" AND
resource.type=RESOURCE_TYPE AND
resource.labels.instance_id=INSTANCE_ID

Eine Liste mit Ressourcentypen finden Sie unter Überwachte Ressourcentypen.

Beispiel für Logeinträge auswählen

Fügen Sie die integrierte Funktion sample hinzu, um nach dem Zufallsprinzip Stichproben von Logeinträgen weiterzuleiten. Wenn Sie beispielsweise nur zehn Prozent der Logeinträge weiterleiten möchten, die mit Ihrem aktuellen Filter übereinstimmen, fügen Sie Folgendes hinzu:

sample(insertId, 0.10) AND ...

Weitere Informationen finden Sie unter sample-Funktion.

Weitere Informationen zu Cloud Logging-Filtern finden Sie unter Logging-Abfragesprache.

Zielberechtigungen festlegen

In diesem Abschnitt wird beschrieben, wie Sie Logging die IAM-Berechtigungen (Identity and Access Management) zum Schreiben von Logeinträgen an das Ziel der Senke gewähren. Eine vollständige Liste der Logging-Rollen und -Berechtigungen finden Sie unter Zugriffssteuerung.

Wenn Sie eine Senke erstellen oder aktualisieren, die Logeinträge an ein anderes Ziel als einen Log-Bucket im aktuellen Projekt weiterleitet, ist ein Dienstkonto für diese Senke erforderlich. Das Dienstkonto wird automatisch erstellt und verwaltet:

• Ab dem 22. Mai 2023 wird in Logging ein Dienstkonto erstellt, wenn Sie eine Senke erstellen und kein Dienstkonto für die zugrunde liegende Ressource vorhanden ist. Für die Protokollierung wird dasselbe Dienstkonto für alle Senken in der zugrunde liegenden Ressource verwendet. Ressourcen können ein Google Cloud-Projekt, eine Organisation, ein Ordner oder ein Rechnungskonto sein.
• Vor dem 22. Mai 2023 wurde in Logging für jede Senke ein Dienstkonto erstellt. Seit dem 22. Mai 2023 wird für Logging ein gemeinsames Dienstkonto für alle Senken in der zugrunde liegenden Ressource verwendet.

Die Identität des Autors eines Sinks ist die Kennung des Dienstkontos, das mit diesem Sink verknüpft ist. Alle Senken haben eine Identität des Autors, es sei denn, sie schreiben in einen Log-Bucket im aktuellen Google Cloud-Projekt.

Wenn Sie Logeinträge an eine Ressource weiterleiten möchten, die durch einen Dienstperimeter geschützt ist, müssen Sie das Dienstkonto für diese Senke einer Zugriffsebene hinzufügen und es dann dem Zieldienstperimeter zuweisen. Dies ist für nicht aggregierte Senken nicht erforderlich. Weitere Informationen finden Sie unter VPC Service Controls: Cloud Logging.

So legen Sie Berechtigungen fest, damit Ihre Senke an ihr Ziel weiterleitet:

Nächste Schritte

• Weitere Informationen zum Erstellen von Protokollansichten in einem Protokoll-Bucket Mit Logansichten können Sie Berechtigten Lesezugriff auf eine Teilmenge der in einem Log-Bucket gespeicherten Logeinträge gewähren.

• Informationen zum Verwalten vorhandener Senken finden Sie unter Logs an unterstützte Ziele weiterleiten: Senken verwalten.

• Wenn bei der Weiterleitung von Logs über Senken Probleme auftreten, lesen Sie Fehlerbehebung bei Routing und Senken.

• Informationen zum Aufrufen von Logs in ihren Zielen sowie zum Formatieren und Organisieren der Logs finden Sie unter Logs in Senkenzielen ansehen.