Nutzungs- und Speicherlogs

In diesem Dokument wird erklärt, wie Sie Nutzungslogs und Speicherinformationen für Cloud Storage-Buckets herunterladen und mit Google BigQuery analysieren.

Einführung

Cloud Storage bietet Nutzungs- und Speicherlogs in Form von CSV-Dateien, die Sie herunterladen und sich ansehen können. Die stündlich erstellten Nutzungslogs enthalten Informationen zu allen Anfragen, die an einen bestimmten Bucket gestellt wurden. Die täglichen Speicherlogs liefern Informationen zum Speicherverbrauch dieses Buckets für den letzten Tag.

Nach der Einrichtung werden sowohl Nutzungs- als auch Speicherlogs automatisch für den angegebenen Bucket generiert und als neue Objekte in einem von Ihnen angegebenen Bucket gespeichert.

Für Nutzungs- und Speicherlogs gelten dieselben Preise wie für andere in Cloud Storage gespeicherte Objekte.

Sollten Sie Nutzungslogs oder Cloud-Audit-Logs verwenden?

In den meisten Fällen ist Cloud-Audit-Logs die empfohlene Methode zum Erstellen von Logs, mit denen in Cloud Storage ausgeführte API-Vorgänge erfasst werden:

• Cloud-Audit-Logs erfasst den Zugriff auf kontinuierliche Weise, wobei Ereignisse innerhalb von Sekunden nach ihrem Auftreten zugestellt werden.
• Cloud-Audit-Logs erzeugt Logs, mit denen Sie einfacher arbeiten können.
• Cloud-Audit-Logs können viele Ihrer Google Cloud-Dienste überwachen, nicht nur Cloud Storage.
• In Cloud-Audit-Logs können optional detaillierte Informationen zu Anfragen und Antworten erfasst werden.

In einigen Fällen möchten Sie möglicherweise Nutzungslogs anstelle oder zusätzlich zu Cloud-Audit-Logs verwenden. Die Verwendung von Nutzungslogs eignet sich in der Regel in folgenden Situationen:

• Sie möchten den Zugriff verfolgen, weil eine Ressource allUsers oder allAuthenticatedUsers in den Einstellungen der Zugriffssteuerung enthält, z. B. Zugriff auf Assets in einem Bucket, den Sie als statische Website konfiguriert haben.
• Sie möchten durch die Verwaltung des Objektlebenszyklus oder die Autoclass-Funktionen vorgenommene Änderungen verfolgen.
• Sie möchten, dass Ihre Logs Latenzinformationen, die Größe von Anfragen und Antworten einzelner HTTP-Anfragen oder den vollständigen URL-Pfad und jeden Abfrageparameter enthalten.
• Sie möchten den Zugriff nur auf bestimmte Buckets in Ihrem Projekt verfolgen und keine Audit-Logs zum Datenzugriff aktivieren, die den Zugriff auf alle Buckets in Ihrem Projekt verfolgen.

Beachten Sie, dass Nutzungslogs nur stündlich erstellt werden und verzögert sein können, insbesondere bei Berichten über Buckets mit hohen Anfrageraten.

Sollten Sie Speicherlogs oder Monitoring verwenden?

Im Allgemeinen sollten Sie keine Speicherlogs verwenden. Monitoring wird zur Messung des Speicherverbrauchs empfohlen. Es bietet Visualisierungstools sowie zusätzliche Messwerte zum Speicherverbrauch, die in Speicherlogs nicht berücksichtigt werden. Auf dem Console-Tab zur Bestimmung der Größe eines Buckets finden Sie eine Schritt-für-Schritt-Anleitung für die Verwendung von Monitoring.

Logübermittlung einrichten

Bevor Sie die Logweitergabe einrichten, benötigen Sie einen Bucket zum Speichern von Protokollen. Dieser Bucket muss die folgenden Anforderungen erfüllen, andernfalls schlägt die Protokollierung fehl:

• Der Bucket, in dem die Protokolle gespeichert werden, muss sich in derselben Organisation wie der Bucket befinden, der protokolliert wird.

  • Wenn der protokollierte Bucket keiner Organisation zugewiesen ist, muss der Bucket, in dem die Protokolle gespeichert werden, im selben Projekt wie der protokollierte Bucket vorhanden sein.

• Wenn Sie VPC Service Controls verwenden oder aktivieren, muss sich der Bucket, in dem die Protokolle gespeichert werden, im selben Sicherheitsbereich wie der Bucket befinden, der protokolliert wird.

Wenn Sie noch keinen Bucket haben, der diese Anforderungen erfüllt, erstellen Sie einen Bucket.

In den folgenden Schritten wird beschrieben, wie Sie die Logbereitstellung für einen Bucket einrichten:

Logging-Status prüfen

gcloud storage buckets describe gs://example-bucket --format="default(logging_config)"

gcloud storage buckets describe gs://example-bucket > your_logging_configuration_file --format="default(logging_config)"

logging:
  logBucket: example-logs-bucket
  logObjectPrefix: log_object_prefix

null

GET /storage/v1/b/example-bucket?fields=logging
Host: storage.googleapis.com

{
 "logging": {
  "logBucket": "example-logs-bucket",
  "logObjectPrefix": "log_object_prefix"
  }
}

{}

GET /example-bucket?logging HTTP/1.1
Host: storage.googleapis.com

<?xml version="1.0" ?>
<Logging>
    <LogBucket>
        example-logs-bucket
    </LogBucket>
    <LogObjectPrefix>
        log_object_prefix
    </LogObjectPrefix>
</Logging>

<?xml version="1.0" ?>
<Logging/>

Logs herunterladen

Speicherlogs werden einmal pro Tag erstellt und geben die Menge des Speicherplatzes an, die am Vortag genutzt wurde. In der Regel werden sie vor 19:00 Uhr MEZ generiert.

Nutzungslogs werden stündlich erstellt, wenn es in dem überwachten Bucket Aktivitäten gibt. Nutzungslogs werden normalerweise 15 Minuten nach Ablauf der Stunde generiert.

Am einfachsten können Sie Nutzungs- und Speicherlogs über den Bucket herunterladen, in dem sie gespeichert sind. Verwenden Sie dazu Google Cloud Console oder gcloud storage Befehlszeile. Die Nutzungslogs werden im CSV-Format erstellt und so benannt:

OBJECT_PREFIX_usage_TIMESTAMP_ID_v0

Speicherlogs werden folgendermaßen benannt:

OBJECT_PREFIX_storage_TIMESTAMP_ID_v0

Im Folgenden finden Sie beispielsweise den Namen eines Nutzungs-Log-Objekts, das das Standardobjektpräfix verwendet, das die Verwendung des Buckets mit dem Namen example-bucket meldet und am 18. Juni 2022 um 14:00 Uhr UTC erstellt wurde:

example-bucket_usage_2022_06_18_14_00_00_1702e6_v0

Ebenso lautet der Name des Speicher-Log-Objekts, das das Standardobjekt-Präfix verwendet und am 18. Juni 2022 für denselben Bucket erstellt wurde so:

example-bucket_storage_2022_06_18_07_00_00_1702e6_v0

So laden Sie Logs herunter:

gcloud storage cp gs://BUCKET_NAME/LOGS_OBJECT DESTINATION

Logs in BigQuery analysieren

Um Ihre Cloud Storage-Nutzung und Speicher-Logs abzufragen, können Sie Google BigQuery verwenden, das schnelle, SQL-ähnliche Abfragen in Tabellen ermöglicht, für die nur Anfügungen zulässig sind. Das BigQuery-Befehlszeilentool bq basiert auf Python und ermöglicht es Ihnen, über die Befehlszeile auf BigQuery zuzugreifen. Informationen zum Herunterladen und Verwenden von bq finden Sie auf der Referenzseite zum bq-Befehlszeilentool.

Logs in BigQuery laden

1. Wählen Sie ein Standardprojekt aus.

   Weitere Informationen zum Auswählen eines Projekts finden Sie unter Mit Projekten arbeiten.

2. Erstellen Sie ein neues Dataset.

   $ bq mk storageanalysis
   Dataset 'storageanalysis' successfully created.
   

3. Listen Sie die Datasets im Projekt auf.

   $ bq ls
    
   datasetId
   -----------------
   storageanalysis
   

4. Speichern Sie die Nutzungs-und Speicherschemas auf Ihrem lokalen Computer, um sie im Ladebefehl verwenden zu können.

   Die zu verwendenden Schemas finden Sie unter cloud_storage_usage_schema_v0 und cloud_storage_storage_schema_v0. Diese werden auch im Abschnitt Format von Nutzungs- und Speicherlogs beschrieben.

5. Laden Sie die Nutzungslogs in das Dataset.

   $ bq load --skip_leading_rows=1 storageanalysis.usage \
         gs://example-logs-bucket/example-bucket_usage_2014_01_15_14_00_00_1702e6_v0 \
         ./cloud_storage_usage_schema_v0.json
   $ bq load --skip_leading_rows=1 storageanalysis.storage \
         gs://example-logs-bucket/example-bucket_storage_2014_01_05_14_00_00_091c5f_v0 \
         ./cloud_storage_storage_schema_v0.json
   

   Mit diesen Befehlen erledigen Sie Folgendes:

   • Nutzungs- und Speicherlogs aus dem Bucket example-logs-bucket laden
   • Die Tabellen usage und storage im Dataset storageanalysis erstellen.
   • Schemadaten (.json-Datei) aus demselben Verzeichnis lesen, in dem der Befehl bq ausgeführt wird
   • Erste Zeile jeder Logdatei überspringen, da sie Spaltenbeschreibungen enthält

   Weil Sie in diesem Beispiel den Ladebefehl zum ersten Mal ausgeführt haben, wurden die Tabellen usage und storage erstellt. Sie können durch weitere Ladebefehle mit anderen Nutzungslogdateinamen oder Platzhaltern weiter Daten an diese Tabellen anfügen. Mit dem folgenden Befehl hängen Sie zum Beispiel Daten aus allen Logs, die mit "bucket_usuage_2014" beginnen, an die Tabelle storage an:

   $ bq load --skip_leading_rows=1 storageanalysis.usage \
         gs://example-logs-bucket/bucket_usage_2014* \
         ./cloud_storage_usage_schema.json
   

   Bei der Verwendung von Platzhaltern sollten Sie bereits in BiqQuery hochgeladene Logs in ein anderes Verzeichnis verschieben (z. B. gs://example-logs-bucket/processed), um Daten aus einem Log nicht mehrfach hochzuladen.

Auf die Funktionen von BiqQuery können Sie auch über das BigQuery-Browsertool zugreifen. Damit können Sie Daten im Rahmen des Prozesses zum Erstellen von Tabellen laden.

Weitere Informationen zum Laden von Daten aus Cloud Storage, einschließlich des programmatischen Ladens, finden Sie in Daten aus Cloud Storage laden.

Nutzungslog-Schema ändern

In manchen Fällen kann es hilfreich sein, Nutzungslogs vorzuverarbeiten, bevor sie in BigQuery geladen werden. Dabei können Sie beispielsweise zusätzliche Informationen zu den Nutzungslogs hinzufügen, um die Abfrageanalyse in BigQuery zu vereinfachen. In diesem Abschnitt erfahren Sie, wie Sie den Dateinamen jedes Speichernutzungslogs zum Log hinzufügen. Dazu müssen das vorhandene Schema und die Logdateien geändert werden.

1. Ändern Sie das vorhandene Schema cloud_storage_storage_schema_v0, um den Dateinamen wie unten gezeigt hinzuzufügen. Geben Sie dem Schema einen neuen Namen, zum Beispiel cloud_storage_storage_schema_custom.json, damit Sie es vom Original unterscheiden können.

   [  {"name": "bucket", "type": "string", "mode": "REQUIRED"},
   {"name": "storage_byte_hours","type": "integer","mode": "REQUIRED"},
   {"name": "filename","type": "string","mode": "REQUIRED"}
   ]
   

2. Vorverarbeiten Sie die Speichernutzungslogdateien basierend auf dem neuen Schema, bevor Sie sie in BigQuery laden.

   Die folgenden Befehle können beispielsweise in einer Linux-, macOS- oder Windows-Umgebung (Cygwin) verwendet werden:

   gcloud storage cp gs://example-logs-bucket/example-bucket_storage\* .
   for f in example-bucket_storage\*; do sed -i -e "1s/$/,\"filename\"/" -e "2s/$/,\""$f"\"/" $f; done
   

   Mit dem gcloud storage-Befehl werden die Dateien in Ihr Arbeitsverzeichnis kopiert. Der zweite Befehl geht die Log-Dateien durch und fügt der Beschreibungszeile (erste Zeile) die Information "filename" sowie der Datenzeile (zweite Zeile) den eigentlichen Dateinamen hinzu. Hier sehen Sie ein Beispiel einer geänderten Log-Datei:

   "bucket","storage_byte_hours","filename"
   "example-bucket","5532482018","example-bucket_storage_2014_01_05_08_00_00_021fd_v0"
   

3. Laden Sie Ihre lokal geänderten Logs beim Laden der Speichernutzungslogs in BigQuery unter Verwendung des angepassten Schemas.

   for f in example-bucket_storage\*; \
   do ./bq.py load --skip_leading_rows=1 storageanalysis.storage $f ./cloud_storage_storage_schema_custom.json; done
   

Abfragelogs in BigQuery

Sobald die Logs in BigQuery geladen sind, können Sie die Nutzungslogs abfragen, um Informationen zu Ihren protokollierten Buckets zu erhalten. Das folgende Beispiel zeigt, wie Sie das bq-Tool in einem Szenario einsetzen, in dem Sie über die Nutzungslogs mehrerer Tage für einen Bucket verfügen und sie, wie unter Logs in BigQuery laden erklärt, geladen haben. Die unten stehenden Abfragen können Sie auch mit dem BigQuery-Browsertool ausführen.

1. Wechseln Sie im bq-Tool in den interaktiven Modus.

   $ bq shell
   

2. Fragen Sie die Speicher-Log-Tabelle ab.

   Die folgende Abfrage zeigt beispielsweise, wie sich die Speichernutzung eines protokollierten Buckets im Zeitverlauf ändert. Es wird davon ausgegangen, dass Sie die Speichernutzungslogs geändert haben, wie unter Nutzungslog-Schema ändern beschrieben, und dass die Logdateien "logstorage*" heißen.

   project-name>SELECT SUBSTRING(filename, 13, 10) as day, storage_byte_hours/24 as size FROM [storageanalysis.storage] ORDER BY filename LIMIT 100
   

   Beispielausgabe der Abfrage:

   Waiting on bqjob_r36fbf5c164a966e8_0000014379bc199c_1 ... (0s) Current status: DONE
   +------------+----------------------+
   |    day     |         size         |
   +------------+----------------------+
   | 2014_01_05 | 2.3052008408333334E8 |
   | 2014_01_06 | 2.3012297245833334E8 |
   | 2014_01_07 | 3.3477797120833334E8 |
   | 2014_01_08 | 4.4183686058333334E8 |
   +-----------------------------------+
   

   Falls Sie das Schema nicht geändert haben und das Standardschema verwenden, können Sie die folgende Abfrage ausführen:

   project-name>SELECT storage_byte_hours FROM [storageanalysis.storage] LIMIT 100
   

3. Fragen Sie die Nutzungs-Log-Tabelle ab.

   Die folgende Abfrage zeigt beispielsweise, wie die Anfragemethoden, die Clients für den Zugriff auf Ressourcen im protokollierten Bucket verwenden, zusammengefasst werden.

   project-name>SELECT cs_method, COUNT(*) AS count FROM [storageanalysis.usage] GROUP BY cs_method
   

   Beispielausgabe der Abfrage:

   Waiting on bqjob_r1a6b4596bd9c29fb_000001437d6f8a52_1 ... (0s) Current status: DONE
   +-----------+-------+
   | cs_method | count |
   +-----------+-------+
   | PUT       |  8002 |
   | GET       | 12631 |
   | POST      |  2737 |
   | HEAD      |  2173 |
   | DELETE    |  7290 |
   +-----------+-------+
   

4. Beenden Sie die interaktive Shell des bq-Tools.

   project-name> quit
   

Logging deaktivieren

gcloud storage buckets update gs://example-bucket --clear-log-bucket

gcloud storage buckets describe gs://example-bucket --format="default(logging_config)"

null

PATCH /example-bucket?logging HTTP/1.1
Host: storage.googleapis.com

{
 "logging": null
}

PUT /example-bucket?logging HTTP/1.1
Host: storage.googleapis.com

<Logging/>

Format von Nutzungs- und Speicherlogs

Die Nutzungs- und Speicherlogs können enorme Informationsmengen enthalten. Die folgenden Tabellen zeigen, welche Informationen Sie darin finden.

Nutzungslogfelder:

Speicherlogfelder: