Esegui una pipeline

Console

Segui queste istruzioni per eseguire una pipeline ML utilizzando la console Google Cloud .

1. Nella console Google Cloud , nella sezione Vertex AI, vai alla pagina Pipeline.

   Vai a Pipeline

2. Nell'elenco a discesa Regione, seleziona la regione in cui creare l'esecuzione della pipeline.

3. Fai clic su add_box Crea esecuzione per aprire il riquadro Crea esecuzione della pipeline.

4. Nella sezione Dettagli esecuzione, segui questi passaggi:

   1. Fai clic su un'esecuzione dell'origine. Sono disponibili le seguenti opzioni:

      • Seleziona dalle pipeline esistenti: per creare un'esecuzione della pipeline basata su un modello di pipeline esistente, fai clic su Seleziona dalle pipeline esistenti e inserisci i seguenti dettagli:

        1. Seleziona il repository contenente il file di definizione della pipeline o del componente.

        2. Seleziona la pipeline o il componente e la versione.

        3. Specifica un Nome esecuzione per identificare in modo univoco l'esecuzione della pipeline.

      • Seleziona una pipeline Galleria di modelli: per creare un'esecuzione della pipeline basata su un modello di pipeline creato da Google dalla Galleria di modelli, fai clic su Seleziona una pipeline Galleria di modelli e inserisci i seguenti dettagli:

        1. Nell'elenco Pipeline Galleria di modelli, seleziona il modello di pipeline.

        2. (Facoltativo) Modifica il nome dell'esecuzione predefinito che identifica in modo univoco l'esecuzione della pipeline.

      • Carica file: per caricare una definizione della pipeline compilata, fai clic su Carica file e inserisci i seguenti dettagli:

        1. Fai clic su Sfoglia per aprire il selettore di file. Vai al file YAML della pipeline compilata che vuoi eseguire, seleziona la pipeline e fai clic su Apri.

        2. Il Nome pipeline o componente mostra il nome specificato nella definizione della pipeline, per impostazione predefinita. (Facoltativo) Specifica un nome pipeline diverso.

        3. Specifica un Nome esecuzione per identificare in modo univoco l'esecuzione della pipeline.

      • Importa da Cloud Storage: per importare un file di definizione della pipeline da Cloud Storage, fai clic su Importa da Cloud Storage e inserisci i seguenti dettagli:

        1. Fai clic su Sfoglia per accedere al bucket Cloud Storage contenente l'oggetto di definizione della pipeline, seleziona il file e poi fai clic su Seleziona.

        2. Specifica il nome della pipeline o del componente.

        3. Specifica un Nome esecuzione per identificare in modo univoco l'esecuzione della pipeline.

   2. (Facoltativo) Per pianificare esecuzioni ricorrenti della pipeline, specifica la Pianificazione esecuzione nel seguente modo:

      1. Seleziona Ricorrente.

      2. In Ora di inizio, specifica quando la pianificazione diventa attiva.

         • Per programmare la prima esecuzione in modo che avvenga immediatamente dopo la creazione della pianificazione, seleziona Immediatamente.

         • Per pianificare la prima esecuzione in un orario e una data specifici, seleziona Attiva.

      3. Nel campo Frequenza, specifica la frequenza con cui pianificare ed eseguire le esecuzioni della pipeline utilizzando un'espressione di pianificazione cron basata su unix-cron.

      4. Nella sezione Termina, specifica quando termina la programmazione.

         • Per indicare che la pianificazione crea esecuzioni della pipeline a tempo indeterminato, seleziona Mai.

         • Per indicare che la pianificazione termina in una data e un'ora specifiche, seleziona Data e specifica la data e l'ora di fine della pianificazione.

      5. (Facoltativo) Per specificare che l'esecuzione della pipeline utilizza un account di servizio personalizzato, una chiave di crittografia gestita dal cliente (CMEK) o una rete VPC con peering, fai clic su Opzioni avanzate e segui queste istruzioni:

         • Per specificare un account di servizio, selezionalo dall'elenco a discesa Service account.

           Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando il account di servizio Compute Engine predefinito.

           Scopri di più sulla configurazione di un account di servizio da utilizzare con Vertex AI Pipelines.

         • Per utilizzare una CMEK, seleziona Utilizza una chiave di crittografia gestita dal cliente. Viene visualizzato il menu a discesa Seleziona una chiave gestita dal cliente. Nell'elenco a discesa Seleziona una chiave gestita dal cliente, seleziona la chiave che vuoi utilizzare.

         • Per utilizzare una rete VPC in peering in questa esecuzione della pipeline, inserisci il nome della rete VPC nella casella Rete VPC in peering.

   3. Fai clic su Continua.

5. Nella sezione Configurazione di runtime, configura l'esecuzione della pipeline nel seguente modo:

   1. In Posizione di Cloud Storage, fai clic su Sfoglia per selezionare il bucket Cloud Storage per l'archiviazione degli artefatti di output della pipeline, quindi fai clic su Seleziona.

   2. (Facoltativo) Per configurare la policy di errore e la cache per l'esecuzione della pipeline, fai clic su Opzioni avanzate e poi segui queste istruzioni:

      • In Criterio di errore, specifica il criterio di errore per l'intera pipeline. Scopri di più sulle norme relative agli errori della pipeline.

        • Per configurare la pipeline in modo che continui a pianificare le attività dopo l'errore di un'attività, seleziona Esegui tutti i passaggi fino al completamento. Questa opzione è selezionata per impostazione predefinita.

        • Per configurare la pipeline in modo che non vada a buon fine dopo il mancato completamento di un'attività, seleziona Interrompi questa esecuzione non appena un passaggio non va a buon fine.

      • In Configurazione della memorizzazione nella cache, specifica la configurazione della cache per l'intera pipeline.

        • Per utilizzare la configurazione della cache a livello di attività per l'attività nella pipeline, seleziona Non eseguire l'override della configurazione della cache a livello di attività.

        • Per attivare la memorizzazione nella cache per tutte le attività nella pipeline e ignorare qualsiasi configurazione della cache a livello di attività, seleziona Attiva la lettura dalla cache per tutti i passaggi (più veloce).

        • Per disattivare la memorizzazione nella cache per tutte le attività nella pipeline e ignorare qualsiasi configurazione della cache a livello di attività, seleziona Disattiva la lettura dalla cache per tutti i passaggi (più veloce).

   3. (Facoltativo) Se la pipeline ha parametri, in Parametri pipeline, specifica i parametri di esecuzione della pipeline.

6. Per creare l'esecuzione della pipeline, fai clic su Invia.

SDK Vertex AI per Python

Utilizza le seguenti istruzioni per eseguire una pipeline ML utilizzando l'SDK Vertex AI per Python. Prima di eseguire il seguente esempio di codice, devi configurare l'autenticazione.

Configura l'autenticazione

Per configurare l'autenticazione, devi creare una chiave dell'account di servizio e impostare una variabile di ambiente per il percorso della chiave dell'account di servizio.

1. Crea un account di servizio:

   1. Nella console Google Cloud vai a Crea service account.

      Vai a Crea service account

   2. Nel campo Nome account di servizio, inserisci un nome.
   3. (Facoltativo) Nel campo Descrizione service account, inserisci una descrizione.
   4. Fai clic su Crea.
   5. Fai clic sul campo Seleziona un ruolo. In Tutti i ruoli, seleziona Vertex AI > Utente Vertex AI.

   6. Fai clic su Fine per creare il account di servizio.

      Non chiudere la finestra del browser. Lo utilizzerai nel passaggio successivo.

2. Crea una chiave del account di servizio per l'autenticazione:

   1. Nella console Google Cloud , fai clic sull'indirizzo email del account di servizio che hai creato.
   2. Fai clic su Chiavi.
   3. Fai clic su Aggiungi chiave, poi su Crea nuova chiave.
   4. Fai clic su Crea. Un file della chiave JSON viene scaricato sul computer.
   5. Fai clic su Chiudi.
3. Concedi al nuovo account di servizio l'accesso al account di servizio che utilizzi per eseguire le pipeline.
   1. Fai clic su arrow_back per tornare all'elenco degli account di servizio.

   2. Fai clic sul nome del account di servizio che utilizzi per eseguire le pipeline. Viene visualizzata la pagina Dettagli service account.

      Se hai seguito le istruzioni della guida per configurare il progetto per Vertex AI Pipelines, questo è lo stessoaccount di serviziot che hai creato nella sezione Configura uaccount di serviziont con autorizzazioni granulari. In caso contrario, Vertex AI utilizza il account di servizio Compute Engine predefinito per eseguire le pipeline. Il account di servizio predefinito di Compute Engine ha un nome simile al seguente: PROJECT_NUMBER-compute@developer.gserviceaccount.com

   3. Fai clic sulla scheda Autorizzazioni.
   4. Fai clic su Concedi accesso. Viene visualizzato il riquadro Aggiungi entità.
   5. Nella casella Nuove entità, inserisci l'indirizzo email dell'account di servizio che hai creato in un passaggio precedente.
   6. Nell'elenco a discesa Ruolo, seleziona Account di servizio > Utente account di servizio.
   7. Fai clic su Salva.

4. Imposta la variabile di ambiente GOOGLE_APPLICATION_CREDENTIALS sul percorso del file JSON contenente la chiave dell'account di servizio. Questa variabile si applica solo alla sessione di shell corrente, quindi se apri una nuova sessione, imposta di nuovo la variabile.

   Esempio: Linux o macOS

   Sostituisci [PATH] con il percorso del file JSON che contiene la chiave delaccount di serviziot.

   export GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

   Ad esempio:

   export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

   Esempio: Windows

   Sostituisci [PATH] con il percorso del file JSON che contiene la chiave dell'account di servizio e [FILE_NAME] con il nome file.

   Con PowerShell:

   $env:GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

   Ad esempio:

   $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

   Con il prompt dei comandi:

   set GOOGLE_APPLICATION_CREDENTIALS=[PATH]

Esegui una pipeline

L'esecuzione di un PipelineJob Vertex AI richiede la creazione di un oggetto PipelineJob e l'invocazione del metodo submit.

Tipi di input speciali supportati da KFP

Durante la creazione di un'esecuzione della pipeline, puoi anche passare i seguenti segnaposto supportati da KFP SDK come input:

• {{$.pipeline_job_name_placeholder}}

• {{$.pipeline_job_resource_name_placeholder}}

• {{$.pipeline_job_id_placeholder}}

• {{$.pipeline_task_name_placeholder}}

• {{$.pipeline_task_id_placeholder}}

• {{$.pipeline_job_create_time_utc_placeholder}}

• {{$.pipeline_root_placeholder}}

Per maggiori informazioni, consulta Tipi di input speciali nella documentazione di Kubeflow Pipelines v2.

from google.cloud import aiplatform

job = aiplatform.PipelineJob(display_name = DISPLAY_NAME,
                             template_path = COMPILED_PIPELINE_PATH,
                             job_id = JOB_ID,
                             pipeline_root = PIPELINE_ROOT_PATH,
                             parameter_values = PIPELINE_PARAMETERS,
                             enable_caching = ENABLE_CACHING,
                             encryption_spec_key_name = CMEK,
                             labels = LABELS,
                             credentials = CREDENTIALS,
                             project = PROJECT_ID,
                             location = LOCATION,
                             failure_policy = FAILURE_POLICY)

job.submit(service_account=SERVICE_ACCOUNT,
           network=NETWORK)

Sostituisci quanto segue:

• DISPLAY_NAME: il nome della pipeline, che verrà visualizzato nella console Google Cloud .

• COMPILED_PIPELINE_PATH: il percorso del file YAML della pipeline compilata. Può essere un percorso locale o un URI Cloud Storage.
  

  (Facoltativo) Per specificare una versione particolare di una pipeline compilata, includi il tag di versione in uno dei seguenti formati:

  • COMPILED_PIPELINE_PATH:TAG, dove TAG è il tag della versione.

  • COMPILED_PIPELINE_PATH@SHA256_TAG, dove SHA256_TAG è il valore hash sha256 della versione della pipeline.

• JOB_ID: (facoltativo) un identificatore univoco per questa esecuzione della pipeline. Se l'ID job non è specificato, Vertex AI Pipelines crea un ID job utilizzando il nome della pipeline e il timestamp di quando è stata avviata l'esecuzione della pipeline.

• PIPELINE_ROOT_PATH: (facoltativo) Per ignorare il percorso radice della pipeline specificato nella definizione della pipeline, specifica un percorso a cui il job della pipeline può accedere, ad esempio un URI bucket Cloud Storage.

• PIPELINE_PARAMETERS: (facoltativo) I parametri della pipeline da passare a questa esecuzione. Ad esempio, crea un dict() con i nomi dei parametri come chiavi del dizionario e i valori dei parametri come valori del dizionario.

• ENABLE_CACHING: (facoltativo) specifica se questa esecuzione della pipeline utilizza la memorizzazione nella cache dell'esecuzione. La memorizzazione nella cache dell'esecuzione riduce i costi ignorando le attività della pipeline in cui l'output è noto per il set di input corrente. Se l'argomento enable caching non è specificato, in questa esecuzione della pipeline viene utilizzato il caching dell'esecuzione. Scopri di più sulla memorizzazione nella cache dell'esecuzione.

• CMEK: (facoltativo) Il nome della chiave di crittografia gestita dal cliente che vuoi utilizzare per l'esecuzione di questa pipeline.

• LABELS: (facoltativo) Le etichette definite dall'utente per organizzare questo PipelineJob. Per saperne di più sulle etichette delle risorse, consulta la sezione Creare e gestire le etichette nella documentazione di Resource Manager.

  Vertex AI Pipelines associa automaticamente la seguente etichetta all'esecuzione della pipeline:

  vertex-ai-pipelines-run-billing-id: pipeline_run_id

  dove pipeline_run_id è l'ID univoco dell'esecuzione della pipeline.

  Questa etichetta collega l'utilizzo delle risorse Google Cloud generate dall'esecuzione della pipeline nei report di fatturazione.

• CREDENTIALS: (facoltativo) Credenziali personalizzate da utilizzare per creare questo PipelineJob. Esegue l'override delle credenziali impostate in aiplatform.init.

• PROJECT_ID: (facoltativo) Il progetto Google Cloud in cui vuoi eseguire la pipeline. Se non imposti questo parametro, viene utilizzato il progetto impostato in aiplatform.init.

• LOCATION: (facoltativo) La regione in cui vuoi eseguire la pipeline. Per saperne di più sulle regioni in cui è disponibile Vertex AI Pipelines, consulta la guida alle località di Vertex AI. Se non imposti questo parametro, viene utilizzata la posizione predefinita impostata in aiplatform.init.

• FAILURE_POLICY: (facoltativo) specifica la policy di errore per l'intera pipeline. Sono disponibili le seguenti configurazioni:

  • Per configurare la pipeline in modo che non venga eseguita se un'attività non va a buon fine, inserisci fast.

  • Per configurare la pipeline in modo che continui a pianificare le attività dopo l'errore di un'attività, inserisci slow.

  Se non imposti questo parametro, la configurazione del criterio di errore è impostata su slow per impostazione predefinita. Scopri di più sulle norme relative agli errori della pipeline.

• SERVICE_ACCOUNT: (facoltativo) Il nome del service account da utilizzare per l'esecuzione di questa pipeline. Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando il account di servizio Compute Engine predefinito.

• NETWORK: (facoltativo) :il nome della rete VPC in peering da utilizzare per l'esecuzione di questa pipeline.