Migrazione da Kubeflow Pipelines a Vertex AI Pipelines

Per gli sviluppatori con esperienza nella creazione di pipeline Kubeflow è importante comprendere i seguenti modi in cui Vertex AI Pipelines è diverso da Kubeflow Pipelines.

Trasferimento di dati (input/output)

• Il passaggio dei dati tramite input e output è diverso dall'SDK Kubeflow Pipelines v1 all'SDK Kubeflow Pipelines v2. L'SDK Kubeflow Pipelines v2 prevede la separazione di parametri e artefatti, che non possono essere passati l'uno nell'altro. Per informazioni più dettagliate, consulta Nozioni di base sulle pipeline Kubeflow Pipelines e Tipi di dati di Kubeflow Pipelines.

Utilizzo della versione del linguaggio specifico del dominio (DSL)

• Vertex AI Pipelines può eseguire pipeline create utilizzando TFX 0.30.0 o versioni successive o il linguaggio specifico del dominio (DSL) dell'SDK Kubeflow Pipelines v2.

  Il DSL dell'SDK Kubeflow Pipelines v2 è disponibile nell'SDK Kubeflow Pipelines v1.6 o versioni successive.

  Kubeflow Pipelines può eseguire pipeline create utilizzando l'SDK Kubeflow Pipelines. Kubeflow Pipelines v1.6 o versioni successive può anche eseguire pipeline create utilizzando l'SDK Kubeflow Pipelines v2 DSL.

Archiviazione

• Kubeflow Pipelines e Vertex AI Pipelines gestiscono lo spazio di archiviazione in modo diverso. In Kubeflow Pipelines puoi utilizzare risorse Kubernetes come le richieste di volumi permanenti. In Vertex AI Pipelines i dati vengono archiviati in Cloud Storage e montati nei componenti utilizzando Cloud Storage FUSE.

  In Vertex AI Pipelines, puoi utilizzare i servizi Google Cloud per rendere disponibili le risorse. Ad esempio, puoi utilizzare Cloud Storage FUSE per accedere a un bucket Cloud Storage come volume montato in un passaggio della pipeline. Se l'URI Cloud Storage è gs://example-bucket/example-pipeline, il container del componente della pipeline può utilizzare Cloud Storage FUSE per accedere a questo URI come il seguente percorso: /gcs/example-bucket/example-pipeline.

• Quando esegui una pipeline utilizzando Vertex AI Pipelines, la radice della pipeline deve essere stata specificata nell'annotazione @pipeline o quando hai creato l'esecuzione della pipeline.

  In Kubeflow Pipelines, la specifica della radice della pipeline è facoltativa. Gli artefatti di un'esecuzione della pipeline vengono archiviati utilizzando MinIO per impostazione predefinita.

Funzionalità non supportate in Vertex AI Pipelines

• Le seguenti funzionalità di Kubeflow Pipelines non sono supportate in Vertex AI Pipelines.

  • Scadenza della cache: in Kubeflow Pipelines puoi specificare che le esecuzioni dei componenti memorizzati nella cache scadano dopo un periodo di tempo specificato utilizzando il DSL dell'SDK Kubeflow Pipelines v1.

    Non puoi specificare che le esecuzioni dei componenti scadono dopo un periodo di tempo specificato utilizzando il DSL dell'SDK Kubeflow Pipelines v2.

    In Vertex AI Pipelines, quando esegui una pipeline utilizzando create_run_from_job_spec, puoi utilizzare l'argomento enable_caching per specificare che questa esecuzione della pipeline non utilizza la memorizzazione nella cache.

  • Ricorsione: in Kubeflow Pipelines, puoi specificare componenti della pipeline che vengono chiamati in modo ricorsivo.

    Vertex AI Pipelines non supporta i componenti della pipeline chiamati in modo ricorsivo.