Logs für BigQuery Data Transfer Service überwachen und aufrufen

BigQuery Data Transfer Service Monitoring und Logging liefern Informationen zur Arbeitslast und zum Status des Dienstes. BigQuery Data Transfer Service exportiert Monitoringdaten in Cloud Monitoring.

BigQuery Data Transfer Service überwachen

Sie können Monitoring-Messwerte für folgende Zwecke verwenden:

Bewertung der Nutzung und Leistung einer Datenübertragungskonfiguration.
Fehlerbehebung
Überwachen des Status der Übertragungsausführung.

Zum Erstellen benutzerdefinierter Dashboards, zum Einrichten von Benachrichtigungen und zum Abfragen von Messwerten mit Monitoring können Sie die Google Cloud Console oder die Monitoring API verwenden.

Übertragungsdaten im Metrics Explorer abrufen

Rufen Sie in der Google Cloud Console die Seite Monitoring auf.

Zu Monitoring
Klicken Sie im Navigationsbereich auf Metrics Explorer.
Wählen Sie Ihr Projekt aus.
Geben Sie im Feld Ressourcentyp und Messwert suchen Folgendes ein:
- Geben Sie als Ressourcentyp BigQuery DTS Config ein.
- Wählen Sie für Messwert einen der Messwerte aus, die unter Messwerte für Übertragungskonfigurationen überwachen aufgeführt sind, z. B. Completed run count.
Optional: Wählen Sie Aligner, Reducer und andere Parameter aus.
Die Messwerte werden im Fenster Metrics Explorer angezeigt.

Cloud Monitoring-Benachrichtigungen definieren

Sie können Monitoring-Benachrichtigungen für BigQuery Data Transfer Service-Messwerte definieren:

Rufen Sie in der Google Cloud Console die Seite Monitoring auf.

Zu Monitoring
Wählen Sie im Navigationsbereich Benachrichtigungen > Richtlinie erstellen.

Weitere Informationen zu Benachrichtigungsrichtlinien und den relevanten Konzepten finden Sie unter Arten von Benachrichtigungsrichtlinien.
Klicken Sie auf Bedingung hinzufügen und wählen Sie den Bedingungstyp aus.
Wählen Sie Messwerte und Filter aus. Bei Messwerten lautet der Ressourcentyp BigQuery DTS Config.
Klicken Sie auf Bedingung speichern.
Geben Sie den Richtliniennamen ein und klicken Sie auf Richtlinie speichern.

Weitere Informationen zu Benachrichtigungsrichtlinien und den relevanten Konzepten finden Sie unter Einführung in Benachrichtigungen.

Benutzerdefinierte Cloud Monitoring-Dashboards definieren

Sie können benutzerdefinierte Dashboards über BigQuery Data Transfer Service-Messwerte erstellen:

Rufen Sie in der Google Cloud Console die Seite Monitoring auf.

Zu Monitoring
Wählen Sie im Navigationsbereich Dashboards > Dashboard erstellen.
Klicken Sie auf Diagramm hinzufügen.
Geben Sie dem Diagramm einen Namen.
Wählen Sie Messwerte und Filter aus. Bei Messwerten lautet der Ressourcentyp BigQuery DTS Config.
Klicken Sie auf Speichern.

Weitere Informationen finden Sie unter Benutzerdefinierte Dashboards verwalten.

Häufigkeit und Speicherung von Messwertberichten

Messwerte für Ausführungen von BigQuery Data Transfer Service werden in Batches in Intervallen von einer Minute zu Monitoring exportiert. Monitoring-Daten werden sechs (6) Wochen beibehalten.

Das Dashboard bietet Datenanalysen in Standardintervallen von 1h (1 Stunde), 6H (6 Stunden), 1D (1 Tag), 1W (1 Woche) und 6W (6 Wochen). Sie können Analysen in jedem beliebigen Intervall zwischen 1M (1 Minute) und 6W (6 Wochen) manuell anfordern.

Messwerte für Übertragungskonfigurationen überwachen

Die folgenden Messwerte für Konfigurationen von BigQuery Data Transfer Service werden in Monitoring exportiert:

Messwert	Beschreibung
Latenzverteilung ausführen	Verteilung der Ausführungszeit (in Sekunden) pro Übertragung nach Übertragungskonfiguration.
Anzahl der aktiven Ausführungen	Anzahl der laufenden oder ausstehenden Übertragungen nach Übertragungskonfiguration.
Anzahl der abgeschlossenen Ausführungen	Anzahl der abgeschlossenen Übertragungen in einem Zeitraum nach Übertragungskonfiguration.

Dimensionen für Messwerte filtern

Die Messwerte werden für jede BigQuery Data Transfer Service-Konfiguration zusammengefasst. Sie können zusammengefasste Messwerte nach den folgenden Dimensionen filtern(*).

Attribut	Beschreibung
`TRANSFER_STATE`	Stellt den aktuellen Übertragungsstatus der Übertragungsausführung dar. Diese Dimension kann einen der folgenden Werte haben: `unspecified` `pending` `running` `succeeded` `failed` `cancelled`
`ERROR_CODE`	Stellt den endgültigen Fehlercode der Übertragungsausführung dar. Diese Dimension kann einen der folgenden Werte haben: `OK` `CANCELLED` `UNKNOWN` `INVALID_ARGUMENT` `DEADLINE_EXCEEDED` `NOT_FOUND` `ALREADY_EXISTS` `PERMISSION_DENIED` `UNAUTHENTICATED` `RESOURCE_EXHAUSTED` `FAILED_PRECONDITION` `ABORTED` `OUT_OF_RANGE` `UNIMPLEMENTED` `INTERNAL` `UNAVAILABLE` `DATA_LOSS`
`RUN_CAUSE`	Stellt dar, wie eine Übertragungsausführung ausgelöst wurde. Diese Dimension kann einen der folgenden Werte haben: `USER_REQUESTED` `AUTO_SCHEDULE`

Logs für BigQuery Data Transfer Service

Jede Ausführung des BigQuery Data Transfer Service wird mit Cloud Logging protokolliert. Logging ist für alle Datenübertragungen automatisch aktiviert.

Erforderliche Rollen

Die Rolle „Log-Betrachter“ (roles/logging.viewer) bietet Ihnen Lesezugriff auf alle Logging-Features. Weitere Informationen zu den Berechtigungen und Rollen von Identity and Access Management (IAM), die für Logging-Daten gelten, finden Sie in der Anleitung für die Zugriffssteuerung in Logging.

Logs ansehen

Um Logs anzuzeigen, öffnen Sie die Log-Explorer-Seite.

Zum Log-Explorer

BigQuery Data Transfer Service-Logs werden zuerst von der Übertragungskonfiguration und dann von der einzelnen Übertragungsausführung indexiert.

Logs für Übertragungsausführungen anzeigen

Wenn Sie nur die Logeinträge einer bestimmten Übertragungs-run_id aufrufen möchten, fügen Sie im Query Builder folgende Filter hinzu:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Ausführungslogs aufrufen.

Logs für Übertragungskonfigurationen anzeigen

Fügen Sie im Query Builder folgende Filter hinzu, um Logeinträge aus einer bestimmten Übertragung config_id aufzurufen:

resource.type="bigquery_dts_config"
labels.run_id="transfer_config_id"

Konfigurationslogs aufrufen.

Alle Logs ansehen

Führen Sie einen der folgenden Schritte aus, um alle BigQuery Data Transfer Service-Logs zu sehen:

Wählen Sie im Abschnitt Logfelder für Ressourcentyp die Option BigQuery DTS-Konfiguration.
Fügen Sie im Query Builder den Filter hinzu:
```
resource.type="bigquery_dts_config"
```

Weitere Informationen zur Verwendung des Log-Explorers finden Sie unter Log-Explorer verwenden.

Logformat

BigQuery Data Transfer Service protokolliert Nachrichten im folgenden Format:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

Was wird protokolliert?

BigQuery Data Transfer Service-Logeinträge enthalten Informationen, die für das Monitoring und die Fehlerbehebung bei Übertragungsausführungen nützlich sind. Folgende Informationen sind in Ihnen enthalten:

timestamp: wird verwendet, um das Alter des Logeintrags zu berechnen und die Aufbewahrungsdauer des Logs zu erzwingen
severity: kann INFO, WARNING oder ERROR sein.
message_text: enthält einen String, der den aktuellen Status der Übertragungsausführung erläutert

Nächste Schritte

Weitere Informationen zu Monitoring.
Lesen Sie eine Übersicht über Cloud-Audit-Logs und Cloud Logging.