Weitere Informationen zu Onlinevorhersagen

Vertex AI bietet Onlinevorhersagen für Google Distributed Cloud (GDC) Air-Gap über die Online Prediction API. Eine Vorhersage ist die Ausgabe eines trainierten Modells für maschinelles Lernen. Onlinevorhersagen sind synchrone Anfragen an Ihren Modellendpunkt.

Mit Online Prediction können Sie Ihre eigenen Vorhersagemodelle in einer Reihe unterstützter Container hochladen, bereitstellen, bereitstellen und Anfragen stellen. Verwenden Sie Onlinevorhersagen, wenn Sie Anfragen als Reaktion auf Anwendungseingaben stellen oder wenn zeitnahe Inferenzen erforderlich sind.

Sie können die Online Prediction API verwenden, indem Sie benutzerdefinierte Kubernetes-Ressourcen auf den dedizierten Vorhersagecluster anwenden, den Ihr Infrastructure Operator (IO) für Sie erstellt.

Bevor Sie Onlinevorhersagen abrufen können, müssen Sie Modellartefakte exportieren und das Modell auf einem Endpunkt bereitstellen. Durch diese Aktion werden dem Modell Rechenressourcen zugeordnet, sodass es Onlinevorhersagen mit niedriger Latenz bereitstellen kann.

Anschließend können Sie Onlinevorhersagen von einem benutzerdefinierten trainierten Modell abrufen, indem Sie eine Anfrage formatieren und senden.

Verfügbare Container-Images

Die folgende Tabelle enthält die Liste der unterstützten Container für die Onlinevorhersage in Distributed Cloud:

ML-Framework Version Unterstützte Beschleuniger Unterstützte Bilder
TensorFlow 2.14 CPU tf2-cpu.2-14
GPU tf2-gpu.2-14
PyTorch 2.4 CPU pytorch-cpu.2-4
GPU pytorch-gpu.2-4
2.1 (EINGESTELLT) CPU pytorch-cpu.2-1
GPU pytorch-gpu.2-1