Bereitgestellter Durchsatz – Übersicht

Auf dieser Seite erfahren Sie, was Provisioned Throughput ist und wann Sie ihn verwenden sollten.

Einführung in den bereitgestellten Durchsatz

Bereitgestellter Durchsatz ist ein Abo mit fester Laufzeit und fester Gebühr, das in mehreren Laufzeiten verfügbar ist und Durchsatz für unterstützte generative KI-Modelle in Vertex AI reserviert. Wenn Sie den Durchsatz reservieren möchten, müssen Sie das Modell und die verfügbaren Standorte angeben, an denen das Modell ausgeführt wird.

Wann sollte Provisioned Throughput verwendet werden?

Wenn einer der folgenden Punkte auf Ihren Anwendungsfall zutrifft, sollten Sie Provisioned Throughput verwenden:

  • Sie entwickeln Produktionsanwendungen für generative KI in Echtzeit, z. B. Chatbots und Agenten.
  • Ihre kritischen Arbeitslasten erfordern einen konstant hohen Durchsatz. Die Messung des Durchsatzes hängt vom Modell ab.
  • Sie möchten Nutzern Ihrer Anwendungen eine einheitliche und vorhersehbare Umgebung bieten.
  • Sie möchten deterministische Kosten für generative KI, indem Sie einen festen monatlichen oder wöchentlichen Preis zahlen und die Kontrolle über Mehrausgaben haben.

Bereitgestellter Durchsatz ist eine von zwei Möglichkeiten, Ihre Modelle für generative KI zu verwenden. Die zweite Möglichkeit ist die Abrechnung nach Verbrauch, die auch als On-Demand-Verfahren bezeichnet wird.

Nächste Schritte