Reservierungen mit Inferenz verwenden

In diesem Dokument wird beschrieben, wie Sie Compute Engine-Reservierungen verwenden, um sicherzustellen, dass für Ihre Vorhersagejobs die erforderlichen VM-Ressourcen (virtuelle Maschinen) verfügbar sind.

Reservierungen sind eine Compute Engine-Funktion. Sie sorgen dafür, dass Sie die Ressourcen zur Verfügung haben, um VMs mit derselben Hardware (Arbeitsspeicher und vCPUs) und optionalen Ressourcen (CPUs, GPUs, TPUs und lokalen SSD-Laufwerken) zu erstellen, wann immer Sie sie benötigen.

Wenn Sie eine Reservierung erstellen, prüft Compute Engine, ob die angeforderte Kapazität in der angegebenen Zone verfügbar ist. Wenn ja, reserviert Compute Engine die Ressourcen, erstellt die Reservierung und es passiert Folgendes:

• Sie können die reservierten Ressourcen sofort nutzen. Sie bleiben verfügbar, bis Sie die Reservierung löschen.
• Die reservierten Ressourcen werden bis zum Löschen der Reservierung zum gleichen On-Demand-Tarif wie laufende VMs berechnet, einschließlich aller anwendbaren Rabatte. Für eine VM, die eine Reservierung nutzt, fallen keine separaten Gebühren an. Ihnen werden nur die Ressourcen außerhalb der Reservierung in Rechnung gestellt, z. B. Festplatten oder IP-Adressen. Weitere Informationen finden Sie unter Preise für Reservierungen.

Beschränkungen und Anforderungen

Beachten Sie die folgenden Einschränkungen und Anforderungen, wenn Sie Compute Engine-Reservierungen mit Vertex AI verwenden:

• Vertex AI kann Reservierungen nur für CPUs (Vorschau), GPU-VMs oder TPUs (Vorschau) verwenden.
• Vertex AI kann keine Reservierungen von VMs nutzen, denen lokale SSD-Laufwerke manuell angehängt wurden.
• Die Verwendung von Compute Engine-Reservierungen mit Vertex AI wird nur für benutzerdefiniertes Training und Inferenz sowie für Vertex AI Workbench (Vorschau) unterstützt.
• Die VM-Attribute einer Reservierung müssen genau mit Ihrer Vertex AI-Arbeitslast übereinstimmen, damit die Reservierung verwendet werden kann. Wenn in einer Reservierung beispielsweise der Maschinentyp a2-ultragpu-8g angegeben ist, kann die Vertex AI-Arbeitslast die Reservierung nur nutzen, wenn sie ebenfalls den Maschinentyp a2-ultragpu-8g verwendet. Weitere Informationen zu den Anforderungen
• Wenn Sie eine freigegebene Reservierung von GPU-VMs oder TPUs nutzen möchten, müssen Sie sie über das Inhaberprojekt oder ein Nutzerprojekt nutzen, für das die Reservierung freigegeben ist. Weitere Informationen finden Sie unter Funktionsweise freigegebener Reservierungen.
• Um regelmäßige Updates Ihrer Vertex AI-Bereitstellungen zu ermöglichen, empfehlen wir, die Anzahl der VMs für jede gleichzeitige Bereitstellung um mindestens eine VM zu erhöhen. Die Anzahl der VMs sollte also mindestens der Gesamtzahl der Replikate plus eins entsprechen. Die Anzahl der VMs sollte gemäß dem von Ihrem DeployedModel verwendeten Reservierungstyp wie folgt erhöht werden:
  • SPECIFIC_RESERVATION: Sie müssen mindestens eine zusätzliche VM angeben. Wir empfehlen 10% (aber mindestens 1). Bei Modellen, die mit SPECIFIC_RESERVATION bereitgestellt werden, werden garantiert nur VMs aus der Reservierung verwendet. Vertex AI kann keine Updates ausführen, wenn keine zusätzliche VM vorhanden ist.
  • ANY:
  • Es sind keine zusätzlichen VMs erforderlich, da für bereitgestellte Modelle mit ANY-Reservierungen On-Demand-VMs verwendet werden, wenn die Reservierungskapazität nicht ausreicht. Ohne zusätzliche VMs wird Ihre Reservierung nach einem Upgrade jedoch möglicherweise nicht vollständig genutzt. Angenommen, Sie haben eine Reservierung mit 40 VMs und stellen ein Modell mit 40 Replikaten mit dieser Reservierung bereit. Bei der ersten Bereitstellung werden alle 40 VMs in der Reservierung von der DeployedModel verwendet. Nach dem Upgrade stammen nur 36 VMs aus der Reservierung und 4 VMs sind On-Demand-VMs.
  • Wenn Sie die Nutzung innerhalb der Reservierung halten möchten, empfehlen wir, mindestens eine zusätzliche VM für jede DeployedModel- oder DeploymentResourcePool-Instanz zu haben, die die Reservierung verwendet. Wenn die Gesamtzahl der VMs desselben Typs in Ihren ANY-Reservierungen weniger als 50 beträgt, empfehlen wir 10% (mindestens aber 1) mehr. Wenn sie mehr als 50 % beträgt, empfehlen wir, sie um 25 % zu erhöhen. Beispiel:
    • Wenn Sie planen, Modelle mit 40 A3-VMs bereitzustellen, können Sie eine A3-Reservierung mit 44 VMs oder zwei A3-Reservierungen haben: Reservierung X mit 30 VMs und Reservierung Y mit 14 VMs (insgesamt 44). Das Gleiche gilt für andere Anzahlen von Reservierungen, sofern sie alle für Vertex AI freigegeben sind und die Gesamtzahl der VMs in diesen Reservierungen mindestens 44 beträgt.
    • Wenn Sie Modelle mit 100 A3-VMs bereitstellen möchten, sollte die Gesamtzahl der VMs in allen A3-Reservierungen, die für Vertex AI freigegeben sind, mindestens 125 betragen.
    • Wenn Sie planen, zwei Modelle mit zehn VMs bereitzustellen, sollte die Gesamtzahl der VMs in allen A3-Reservierungen, die für Vertex AI freigegeben sind, mindestens zwölf betragen. Die Anzahl der VMs ist kleiner als 50, aber die Anzahl der zusätzlichen VMs beträgt 2 (1 pro DeployedModel).
• Um eine SPECIFIC_RESERVATION-Reservierung zu nutzen, weisen Sie dem Vertex AI-Dienstkonto im Projekt, dem die Reservierungen gehören (service-${PROJECT_NUMBER}@gcp-sa-aiplatform.iam.gserviceaccount.com, wobei PROJECT_NUMBER die Projektnummer des Projekts ist, das die Reservierung nutzt), die IAM-Rolle Compute-Betrachter zu.

• Die folgenden Dienste und Funktionen werden nicht unterstützt, wenn Sie Compute Engine-Reservierungen mit Vertex AI-Inferenz verwenden:

  • Compliance mit dem Federal Risk and Authorization Management Program (FedRAMP)

Abrechnung

Wenn Sie Compute Engine-Reservierungen verwenden, werden Ihnen Folgendes in Rechnung gestellt:

• Compute Engine-Preise für die Compute Engine-Ressourcen, einschließlich aller anwendbaren Rabatte für zugesicherte Nutzung (Committed Use Discount, CUD). Siehe Compute Engine-Preise.
• Zusätzlich zur Nutzung der Infrastruktur fallen die in den nachstehenden Tabellen aufgeführten Gebühren für die Verwaltung von Vertex AI Prediction an. Weitere Informationen finden Sie unter Preise für Vorhersagen.

Hinweise

• Informationen zu den Anforderungen und Einschränkungen für Reservierungen
• Informationen zu den Kontingentanforderungen und -einschränkungen für freigegebene Reservierungen.

Verbrauch einer Reservierung zulassen

Bevor Sie eine Reservierung von CPUs, GPU-VMs oder TPUs nutzen, müssen Sie die Freigaberichtlinie festlegen, damit Vertex AI die Reservierung nutzen kann. Verwenden Sie dazu eine der folgenden Methoden:

• Nutzung beim Erstellen einer Reservierung zulassen
• Verbrauch in einer bestehenden Reservierung zulassen

Nutzung beim Erstellen einer Reservierung zulassen

Wenn Sie eine Reservierung für ein einzelnes Projekt oder eine freigegebene Reservierung von GPU-VMs erstellen, können Sie Vertex AI wie unten beschrieben erlauben, die Reservierung zu nutzen:

• Wenn Sie die Google Cloud -Konsole verwenden, wählen Sie im Bereich Google Cloud-Dienste die Option Reservierung teilen aus.
• Wenn Sie die Google Cloud CLI verwenden, fügen Sie das Flag --reservation-sharing-policy mit dem Wert ALLOW_ALL hinzu.
• Wenn Sie die REST API verwenden, geben Sie im Anfragetext das Feld serviceShareType an, das auf ALLOW_ALL gesetzt ist.

Nutzung in einer bestehenden Reservierung zulassen

Sie können eine automatisch erstellte Reservierung von GPU-VMs oder TPUs für eine vorausschauende Reservierung erst nach dem Startzeitpunkt der Reservierung ändern.

Wenn Sie Vertex AI erlauben möchten, eine vorhandene Reservierung zu nutzen, verwenden Sie eine der folgenden Methoden:

• Reservierung von GPU-VMs ändern
• TPU-Reservierung ändern

Prüfen, ob eine Reservierung genutzt wird

Inferenz mithilfe einer Reservierung abrufen

Wenn Sie eine Modellbereitstellung erstellen möchten, die eine Compute Engine-Reservierung von GPU-VMs nutzt, verwenden Sie die REST API oder das Vertex AI SDK für Python.

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel

{
  "deployedModel": {
    "model": "projects/PROJECT/locations/LOCATION_ID/models/MODEL_ID",
    "displayName": "DEPLOYED_MODEL_NAME",
    "dedicatedResources": {
      "machineSpec": {
        "machineType": "MACHINE_TYPE",
        "acceleratorType": "ACCELERATOR_TYPE",
        "acceleratorCount": ACCELERATOR_COUNT,
        "reservationAffinity": {
          "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
          "key": "compute.googleapis.com/reservation-name",
          "values": [
            "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
          ]
        }
      },
      "minReplicaCount": MIN_REPLICA_COUNT,
      "maxReplicaCount": MAX_REPLICA_COUNT
    },
  },
  "trafficSplit": {
    "0": TRAFFIC_SPLIT_THIS_MODEL,
    "DEPLOYED_MODEL_ID_1": TRAFFIC_SPLIT_MODEL_1,
    "DEPLOYED_MODEL_ID_2": TRAFFIC_SPLIT_MODEL_2
  },
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.DeployModelOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-10-19T17:53:16.502088Z",
      "updateTime": "2020-10-19T17:53:16.502088Z"
    }
  }
}

Nächste Schritte

• Weitere Informationen zu Reservierungen von zonalen Ressourcen von Compute Engine
• Reservierungen mit Vertex AI-Schulungen verwenden
• Reservierungen ansehen
• Nutzung von Reservierungen überwachen