Endpoint regionali

Per utilizzare la previsione online, puoi interagire con l'API AI Platform Training and Prediction tramite il suo endpoint globale (ml.googleapis.com) o tramite uno dei suoi endpoint regionali (REGION-ml.googleapis.com). L'utilizzo di un endpoint regionale per la previsione online offre una protezione aggiuntiva al tuo modello contro le interruzioni in altre regioni, perché isola le risorse del modello e della versione da altre regioni.

Al momento, AI Platform Prediction supporta i seguenti endpoint regionali:

• us-central1
• us-east1
• us-east4
• us-west1
• northamerica-northeast1
• europe-west1
• europe-west2
• europe-west3
• europe-west4
• asia-east1
• asia-northeast1
• asia-southeast1
• australia-southeast1

Questa guida mette a confronto i vantaggi e le limitazioni dell'utilizzo degli endpoint regionali rispetto all'endpoint globale. La guida illustra anche l'utilizzo di un endpoint regionale per la previsione online.

Informazioni sugli endpoint a livello di regione

Gli endpoint regionali presentano diverse differenze chiave rispetto all'endpoint globale:

• Gli endpoint a livello di area geografica supportano solo i tipi di macchine Compute Engine (N1). Non puoi utilizzare tipi di macchine legacy (MLS1) sugli endpoint regionali. Ciò significa che si applicano tutti i vantaggi e le limitazioni dell'utilizzo di tipi di macchine di Compute Engine (N1). Ad esempio, puoi utilizzare le GPU negli endpoint regionali, ma al momento non puoi attivare il logging dello stream (console).

  Per utilizzare un tipo di macchina Compute Engine (N1), devi utilizzare un endpoint a livello di area geografica.

• Gli endpoint regionali supportano solo la previsione online e le spiegazioni dell'IA. I modelli di cui è stato eseguito il deployment negli endpoint regionali non supportano le previsioni in batch.

  AI Platform Prediction condivide l'API AI Platform Training & Prediction con AI Platform Training e AI Platform Vizier. Tieni presente che al momento gli endpoint a livello di regione non supportano AI Platform Training. Solo l'endpoint us-central1 supporta AI Platform Vizier.

  Per maggiori dettagli sui metodi API disponibili su quali endpoint, consulta il riferimento API.

I nomi delle risorse AI Platform Prediction sono univoci per il tuo progetto Google Cloud su qualsiasi endpoint, ma possono essere duplicati su vari endpoint. Ad esempio, puoi creare un modello denominato "hello-world" nell'endpoint europe-west4 e un altro modello denominato "hello-world" nell'endpoint us-central1.

Quando elenchi i modelli in un endpoint regionale, vedi solo i modelli creati su quell'endpoint. Analogamente, quando elenchi i modelli nell'endpoint globale, vedi solo i modelli creati nell'endpoint globale.

Endpoint regionali e regioni di endpoint globali

Quando crei una risorsa del modello nell'endpoint globale, puoi specificare una regione per il modello. Quando crei versioni all'interno di questo modello e generi previsioni, i nodi di previsione vengono eseguiti nella regione specificata.

Quando utilizzi un endpoint regionale, AI Platform Prediction esegue i nodi di previsione nella regione dell'endpoint. Tuttavia, in questo caso AI Platform Prediction fornisce un isolamento aggiuntivo eseguendo tutta l'infrastruttura di AI Platform Prediction nella regione in questione.

Ad esempio, se utilizzi la regione us-east1 nell'endpoint globale, i nodi di previsione vengono eseguiti in us-east1. Tuttavia, l'infrastruttura di AI Platform Prediction che gestisce le tue risorse (routing delle richieste, gestione della creazione, dell'aggiornamento e dell'eliminazione di modelli e versioni e così via) non viene necessariamente eseguita in us-east1. Invece, se utilizzi l'endpoint regionale europe-west4, i nodi di previsione e tutta l'infrastruttura di AI Platform Prediction vengono eseguiti in europe-west4.

Utilizzo di endpoint regionali

Per utilizzare un endpoint regionale, devi prima creare un modello sull'endpoint regionale. Poi esegui tutte le azioni relative al modello (ad esempio la creazione di una versione del modello e l'invio di richieste di previsione) nello stesso endpoint.

Se utilizzi la console Google Cloud, assicurati di selezionare la casella di controllo Utilizza endpoint regionale quando crei il modello. Esegui tutte le altre azioni della console Google Cloud come faresti con l'endpoint globale.

Se utilizzi Google Cloud CLI, specifica il flag --region per la regione del tuo endpoint su ogni comando che interagisce con il modello e le relative risorse secondarie. È incluso quanto segue:

• Tutti i comandi nel gruppo di comandigcloud ai-platform models.
• Tutti i comandi nel gruppo di comandigcloud ai-platform versions.
• Ogni comando nel gruppo di comandi gcloud ai-platform operations quando interagisci con operazioni di lunga durata associate a una versione del modello.
• Il comando gcloud ai-platform predict.
• Il comando gcloud beta ai-platform explain.

In alternativa, puoi impostare la proprietà ai_platform/region su una regione specifica per assicurarti che gcloud CLI utilizzi sempre l'endpoint regionale corrispondente per i comandi di AI Platform Prediction, anche se non specifichi il flag --region. Questa configurazione non si applica ai comandi nel gruppo di comandi gcloud ai-platform operations.

Se interagisci direttamente con l'API AI Platform Training and Prediction (ad esempio utilizzando la libreria client delle API di Google per Python), effettua tutte le richieste API come faresti con l'endpoint globale, ma utilizza l'endpoint regionale. Per ulteriori dettagli sui metodi API disponibili negli endpoint regionali, consulta il riferimento dell'API.

Gli esempi riportati di seguito mostrano come utilizzare un endpoint regionale per creare un modello, una versione e inviare una richiesta di previsione online. Per utilizzare gli esempi, sostituisci REGION ovunque compaia con una delle regioni in cui sono disponibili endpoint regionali:

• us-central1
• us-east1
• us-east4
• us-west1
• northamerica-northeast1
• europe-west1
• europe-west2
• europe-west3
• europe-west4
• asia-east1
• asia-northeast1
• asia-southeast1
• australia-southeast1

Creazione di un modello

gcloud ai-platform models create MODEL_NAME \
  --region=REGION

from google.api_core.client_options import ClientOptions
from googleapiclient import discovery

endpoint = 'https://REGION-ml.googleapis.com'
client_options = ClientOptions(api_endpoint=endpoint)
ml = discovery.build('ml', 'v1', client_options=client_options)

request_body = { 'name': 'MODEL_NAME' }
request = ml.projects().models().create(parent='projects/PROJECT_ID',
    body=request_body)

response = request.execute()
print(response)

Scopri di più sulla creazione di un modello.

Creazione di una versione del modello

In questo esempio si presuppone che tu abbia già caricato gli elementi del modello compatibili su Cloud Storage.

gcloud ai-platform versions create VERSION_NAME \
  --region=REGION \
  --model=MODEL_NAME \
  --framework=FRAMEWORK \
  --machine-type=MACHINE_TYPE \
  --origin=MODEL_DIRECTORY \
  --python-version=3.7 \
  --runtime-version=2.11

from google.api_core.client_options import ClientOptions
from googleapiclient import discovery

endpoint = 'https://REGION-ml.googleapis.com'
client_options = ClientOptions(api_endpoint=endpoint)
ml = discovery.build('ml', 'v1', client_options=client_options)

request_body = { 'name': 'VERSION_NAME',
    'deploymentUri': 'MODEL_DIRECTORY',
    'runtimeVersion': '2.11',
    'machineType': 'MACHINE_TYPE',
    'framework': 'FRAMEWORK',
    'pythonVersion': '3.7'}
request = ml.projects().models().versions().create(
    parent='projects/PROJECT_ID/models/MODEL_NAME',
    body=request_body)

response = request.execute()
print(response)

Scopri di più sulla creazione di una versione del modello.

Invio di una richiesta di previsione online

gcloud ai-platform predict \
  --region=REGION \
  --model=MODEL_NAME \
  --version=VERSION_NAME \
  --json-request=INPUT_PATH

from google.api_core.client_options import ClientOptions
from googleapiclient import discovery

endpoint = 'https://REGION-ml.googleapis.com'
client_options = ClientOptions(api_endpoint=endpoint)
ml = discovery.build('ml', 'v1', client_options=client_options)

request_body = { 'instances': INSTANCES }
request = ml.projects().predict(
    name='projects/PROJECT_ID/models/MODEL_NAME/VERSION_NAME',
    body=request_body)

response = request.execute()
print(response)

Scopri di più su come ottenere le predizioni online.

Passaggi successivi

• Scopri le differenze nella disponibilità a livello di regione per gli endpoint regionali e per l'endpoint globale. Sono incluse le differenze nella disponibilità delle GPU.
• Scopri di più sui tipi di macchine di Compute Engine (N1), obbligatori per gli endpoint a livello di area geografica.
• Scopri altre opzioni aggiuntive che puoi configurare quando crei modelli e versioni.