Confronto tra l'addestramento personalizzato di Vertex AI e Ray su Vertex AI
Vertex AI offre due opzioni per l'addestramento personalizzato: l'addestramento personalizzato di Vertex AI e Ray su Vertex AI. Questa pagina fornisce il contesto per aiutarti a scegliere tra queste due opzioni.
| Vertex AI Training | Ray on Vertex AI | |
|---|---|---|
| Messa a fuoco | Addestramento di modelli personalizzati per uso generico. | Scalabilità di applicazioni AI e Python, inclusi addestramento del modello, applicazioni distribuite e pubblicazione del modello. |
| Framework sottostante | Supporta vari framework ML, ad esempio TensorFlow, PyTorch, scikit-learn. | Sfrutta il framework open source Ray. Supporta vari framework: TensorFlow, PyTorch, scikit-learn e Spark su Ray utilizzando RayDP. |
| Flessibilità | Elevata flessibilità in termini di codice e ambiente. | Elevata flessibilità per la creazione di applicazioni distribuite; è possibile utilizzare il codice Ray esistente con modifiche minime. |
| Scalabilità | Supporta l'addestramento distribuito su più macchine. Offre risorse di calcolo scalabili (CPU, GPU, TPU). | Progettato per un'elevata scalabilità utilizzando le funzionalità di computing distribuito di Ray (fino a 2000 nodi). Supporta la scalabilità manuale e automatica. |
| Integrazione | Integrato con altri servizi Vertex AI (set di dati, Vertex AI Experiments e altro ancora). | Si integra con altri Google Cloud servizi come Vertex AI Inference e BigQuery. |
| Facilità d'uso | Più facile da usare per i paradigmi di addestramento distribuito standard. | Richiede familiarità con i concetti del framework Ray. |
| Ambiente | Ambiente gestito per l'esecuzione di codice di addestramento personalizzato utilizzando container predefiniti o personalizzati. | Ambiente gestito per l'esecuzione di applicazioni distribuite utilizzando il framework Ray; semplifica la gestione del cluster Ray su Vertex AI. |
| Ottimizzazione degli iperparametri | Include funzionalità di ottimizzazione degli iperparametri. | Semplifica l'ottimizzazione degli iperparametri con strumenti per la gestione efficiente dell'ottimizzazione e degli esperimenti. |
| Pipeline di addestramento | Supporta flussi di lavoro di ML complessi con più passaggi. | Non applicabile. |
Differenze principali tra l'addestramento personalizzato di Vertex AI e Ray su Vertex AI
L'addestramento personalizzato di Vertex AI è un servizio più ampio che gestisce vari metodi di addestramento, mentre Ray su Vertex AI utilizza in modo specifico il framework di calcolo distribuito Ray.
| Vertex AI Training | Ray on Vertex AI | |
|---|---|---|
| Messa a fuoco | Si concentra principalmente sullo sviluppo e sull'addestramento dei modelli. Gestisce vari metodi di addestramento. | Progettato per applicazioni Python distribuite per uso generico, tra cui l'elaborazione dei dati, la distribuzione dei modelli e lo scaling dell'addestramento. |
| Framework sottostante | Legato alle funzionalità distribuite di framework ML specifici (ad esempio TensorFlow, PyTorch). | Utilizza Ray come framework di calcolo distribuito centrale. Gestisce la distribuzione delle attività indipendentemente dal framework ML sottostante utilizzato nelle attività Ray. |
| Configurazione delle risorse | Configura le risorse per i singoli job di addestramento. | Gestisci i cluster Ray sui cluster Vertex AI. Ray gestisce la distribuzione delle attività all'interno del cluster. |
| Configurazione della distribuzione | Configura il numero e i tipi di repliche per un job di addestramento specifico. | Configura le dimensioni e la composizione del cluster Ray su Vertex AI. Lo scheduler di Ray distribuisce dinamicamente attività e attori tra i nodi disponibili. |
| Ambito di distribuzione | Generalmente si concentra su un singolo job di addestramento potenzialmente di lunga durata. | Fornisce un ambiente di elaborazione distribuita più persistente e generico in cui puoi eseguire più attività e applicazioni distribuite durante il ciclo di vita del cluster Ray. |
Riepilogo
Se devi utilizzare la potenza del computing distribuito con il framework Ray all'interno dell'ambiente Google Cloud , Ray su Vertex AI è il servizio da utilizzare. Ray on Vertex AI può essere considerato uno strumento specifico all'interno dell'ecosistema più ampio di Vertex AI, particolarmente utile per carichi di lavoro distribuiti e altamente scalabili.
Se hai bisogno di una piattaforma gestita più generica per vari approcci di addestramento dei modelli, tra cui opzioni automatizzate, esecuzione di codice personalizzato e ottimizzazione degli iperparametri, i servizi di addestramento personalizzato di Vertex AI più ampi sono utili.