Questa pagina fornisce una panoramica di Ray Operator e delle risorse personalizzate pertinenti per eseguire il deployment e gestire i cluster e le applicazioni Ray su Google Kubernetes Engine (GKE).
Ray è un framework di calcolo unificato open source per la scalabilità delle applicazioni Python e AI/ML. Ray fornisce un insieme di librerie per distribuire il runtime di calcolo per l'AI/ML su più nodi di calcolo.
Per scoprire come attivare l'operatore Ray su GKE, consulta Attivare l'operatore Ray su GKE.
Perché utilizzare l'operatore Ray su GKE
L'operatore Ray è il metodo consigliato per eseguire il deployment e gestire i cluster Ray su GKE. Quando esegui Ray Operator su GKE, puoi beneficiare del supporto di Ray per Python e dell'affidabilità, della portabilità e della scalabilità di GKE di livello enterprise.
L'operatore Ray su GKE si basa su KubeRay, che fornisce API Kubernetes declarative progettate specificamente per la gestione dei cluster Ray. Ciò significa che puoi eseguire il provisioning, scalare e gestire i tuoi deployment di Ray con altri carichi di lavoro containerizzati su GKE.
Come funziona l'operatore Ray su GKE
Quando attivi l'operatore Ray nei tuoi cluster GKE, GKE installa e ospita automaticamente l'operatore KubeRay.
KubeRay fornisce risorse personalizzate Kubernetes per gestire i deployment di Ray su Kubernetes, tra cui:
Risorsa personalizzata RayCluster
La risorsa personalizzata RayCluster ti consente di specificare un cluster Ray che GKE esegue il deployment come pod Kubernetes. Un cluster Ray è costituito in genere da un singolo pod principale e da più pod worker.
Risorsa personalizzata RayJob
La risorsa personalizzata RayJob consente di eseguire un singolo job Ray. KubeRay crea un RayCluster per fornire risorse di calcolo per il job, quindi crea un job Kubernetes che invia il job Ray al pod principale del RayCluster.
Per una gestione efficiente delle risorse, puoi configurare KubeRay in modo che pulisca automaticamente il RayCluster al termine del job.
Risorsa personalizzata RayService
La risorsa personalizzata RayService ti consente di configurare applicazioni Ray Serve, come le applicazioni per la pubblicazione e l'inferenza dei modelli. KubeRay crea un RayCluster per fornire le risorse di calcolo e poi esegue il deployment dell'applicazione Ray Serve come specificato dalla configurazione di Ray Serve.
Responsabilità condivisa di Ray su GKE
Quando scegli di eseguire carichi di lavoro Ray su GKE con l'operatore Ray, è importante comprendere come le responsabilità sono suddivise tra Google Cloud e te, il cliente:
Responsabilità di Google
- Mantenimento dell'affidabilità e del tempo di attività dell'operatore KubeRay.
- Gestione degli upgrade delle versioni per l'operatore KubeRay.
- Funzionalità specifiche di KubeRay per la gestione delle risorse personalizzate RayCluster, RayJob e RayService.
Responsabilità del cliente
- Gestire le immagini container utilizzate per i pod Ray head e Ray worker.
- Gestire il controllo delle versioni e gli upgrade per i pod Ray head e Ray worker.
- Configurazione dei requisiti delle risorse (CPU, GPU, memoria e così via) per i cluster Ray.
- Seguire le best practice per la protezione dei cluster Ray.
- Affidabilità e monitoraggio per le tue applicazioni Ray.
Per saperne di più, consulta la sezione Responsabilità condivisa di GKE.
Passaggi successivi
- Scopri come abilitare l'operatore Ray su GKE.
- Consulta la documentazione di Ray su Kubernetes.