Logging von Onlinevorhersagen verwenden

Für AutoML Tabellenmodelle, AutoML-Bildmodelle und benutzerdefinierte trainierte Modelle können Sie Vorhersagelogs während der Modellbereitstellung oder der Endpunkterstellung aktivieren oder deaktivieren. Auf dieser Seite werden die verschiedenen Arten von Vorhersagelogs erläutert und es wird beschrieben, wie diese Logs aktiviert oder deaktiviert werden.

Arten von Vorhersagelogs

Es gibt verschiedene Arten von Vorhersagelogs, mit denen Sie Informationen von Vorhersageknoten abrufen können:

• Container-Logging, das die Streams stdout und stderr von Ihren Vorhersageknoten in Cloud Logging protokolliert. Diese Logs sind für die Fehlerbehebung erforderlich.

  • Auf dem Dienstendpunkt v1 ist das Container-Logging standardmäßig aktiviert. Sie können es beim Bereitstellen eines Modells deaktivieren. Sie können das Logging auch deaktivieren oder aktivieren, wenn Sie das bereitgestellte Modell ändern.

  • Auf dem Dienstendpunkt v1beta1 ist das Container-Logging standardmäßig deaktiviert. Sie können es aktivieren, wenn Sie ein Modell bereitstellen. Sie können das Logging auch deaktivieren oder aktivieren, wenn Sie das bereitgestellte Modell ändern.

  .

• Zugriffs-Logging, das Informationen wie Zeitstempel und Latenz für jede Anfrage an Cloud Logging protokolliert.

  Auf den Dienstendpunkten v1 und v1beta1 ist das Zugriffs-Logging standardmäßig deaktiviert. Sie können das Zugriffs-Logging aktivieren, wenn Sie ein Modell auf einem Endpunkt bereitstellen.

• Anfrage-/Antwort-Logging: Protokolliert eine Stichprobe von Onlinevorhersageanfragen und -antworten in einer BigQuery-Tabelle.

  Sie können das Anfrage-/Antwort-Logging aktivieren. Dazu erstellen Sie den Vorhersageendpunkt oder patchen ihn.

Sie können jeden Logtyp einzeln aktivieren oder deaktivieren.

Einstellungen für das Vorhersagelog

Sie können Online-Vorhersagelogs aktivieren oder deaktivieren, wenn Sie einen Endpunkt erstellen, ein Modell auf dem Endpunkt bereitstellen oder ein bereitgestelltes Modell ändern.

Wenn Sie die Einstellungen für Zugriffslogs aktualisieren möchten, müssen Sie die Bereitstellung des Modells aufheben und es dann mit den neuen Einstellungen noch einmal bereitstellen. Sie können die Einstellungen für Containerlogs aktualisieren, ohne das Modell noch einmal bereitzustellen.

Onlinevorhersagen mit einer hohen Abfragerate pro Sekunde (queries per second, QPS) können zu einer erheblichen Anzahl von Logs führen, für die Cloud Logging-Preise gelten. Informationen zum Schätzen der Preise für Ihre Onlinevorhersage-Logs finden Sie unter Rechnungen schätzen für Logging. Um diese Kosten zu reduzieren, können Sie das Vorhersage-Logging deaktivieren.

Vorhersagelogs aktivieren und deaktivieren

Die folgenden Beispiele zeigen, wo die Standardprotokolleinstellungen geändert werden können:

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

{
   "predict_request_response_logging_config": {
     "enabled": true,
     "sampling_rate": 0.5,
     "bigquery_destination": {
       "output_uri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME"
     }
   }
}

Anfrage-/Antwort-Logging und Model Monitoring v1

Anfrage-/Antwort-Logging und Model Monitoring v1 verwenden dieselbe BigQuery-Tabelle im Backend, um eingehende Anfragen zu protokollieren. Um unerwartete Änderungen an dieser BigQuery-Tabelle zu verhindern, werden die folgenden Einschränkungen erzwungen, wenn beide Features gleichzeitig verwendet werden:

• Wenn für einen Endpunkt die Modellüberwachung aktiviert ist, können Sie das Anfrage-/Antwort-Logging nicht für denselben Endpunkt aktivieren.

• Wenn Sie das Anfrage-/Antwort-Logging und dann das Modell-Monitoring auf demselben Endpunkt aktivieren, können Sie die Konfiguration des Anfrage-/Antwort-Loggings nicht ändern.

Nächste Schritte

• Preise schätzen für das Logging von Onlinevorhersagen.
• Stellen Sie ein Modell mit der Google Cloud Console oder mit der Vertex AI API bereit.
• Weitere Informationen zum Erstellen einer BigQuery-Tabelle finden Sie unter Tabelle erstellen und verwenden.