Men-deploy Ray yang diakselerasi GPU untuk workload AI di GKE

Membuat cluster GKE

Anda dapat men-deploy workload di cluster GKE Autopilot atau Standard. Sebaiknya gunakan cluster Autopilot untuk mendapatkan pengalaman Kubernetes yang terkelola sepenuhnya. Untuk memilih mode operasi GKE yang paling sesuai untuk workload Anda, lihat Memilih mode operasi GKE.

Instal plugin KubeRay kubectl ray

Plugin kubectl ray menyederhanakan alur kerja Ray umum di Kubernetes. Untuk petunjuk penginstalan terbaru, lihat dokumentasi KubeRay.

1. Buka halaman rilis dan download biner untuk platform Anda. Misalnya, untuk menginstal plugin kubectl ray versi 1.3.2 di Linux amd64, jalankan perintah berikut:

   curl -LO https://github.com/ray-project/kuberay/releases/download/v1.3.2/kubectl-ray_v1.3.2_linux_amd64.tar.gz
   tar -xvf kubectl-ray_v1.3.2_linux_amd64.tar.gz
   cp kubectl-ray ~/.local/bin
   

   Ganti ~/.local/bin dengan direktori di PATH Anda.

2. Verifikasi penginstalan Anda:

   kubectl ray version
   

   Jika Anda melihat peringatan seperti KubeRay operator installation cannot be found: no KubeRay operator deployments found in any namespace., Anda dapat mengabaikannya dengan aman. Jika penginstalan berhasil, outputnya adalah versi plugin kubectl ray.

Buat class komputasi kustom di cluster Anda

Kelas komputasi kustom di GKE memungkinkan Anda menentukan persyaratan hardware tertentu, seperti jenis dan jumlah GPU, berdasarkan prioritas. GKE menggunakan prioritas ini saat menyediakan node untuk workload Anda.

Untuk membuat contoh class komputasi kustom untuk panduan ini, ikuti langkah-langkah berikut:

1. Simpan spesifikasi class komputasi berikut sebagai nvidia-l4-compute-class.yaml:

   apiVersion: cloud.google.com/v1
   kind: ComputeClass
   metadata:
     name: gpu-compute-class
   spec:
     priorities:
     - gpu:
         type: nvidia-l4
         count: 1
       spot: true
     - gpu:
         type: nvidia-l4
         count: 1
       spot: false
     nodePoolAutoCreation:
       enabled: true
     whenUnsatisfiable: DoNotScaleUp
   

2. Buat class komputasi dengan menjalankan perintah ini:

   kubectl apply -f nvidia-l4-compute-class.yaml
   

   Apa yang terjadi setelah Anda menerapkan class komputasi kustom? Setelah menerapkan file YAML class komputasi, GKE akan otomatis menyediakan node dengan satu GPU NVIDIA L4 saat cluster Ray Anda memintanya. Hal ini akan memprioritaskan Spot VM seperti yang ditentukan dalam manifes Anda. Setelan whenUnsatisfiable: DoNotScaleUp menginstruksikan GKE untuk tidak membuat node yang tidak memenuhi persyaratan yang ditentukan.

Membuat dan memverifikasi cluster Ray

Sekarang Anda dapat membuat cluster Ray di cluster GKE.

1. Buat cluster Ray. Gunakan perintah kubectl ray create cluster untuk menentukan dan membuat cluster Ray. Perintah ini menyederhanakan proses dengan menangani pembuatan resource Kubernetes yang mendasarinya.

     kubectl ray create cluster my-ray-cluster \
         --worker-replicas=1 \
         --worker-cpu=2 \
         --worker-memory=4Gi \
         --worker-gpu=1 \
         --worker-node-selectors="cloud.google.com/compute-class=gpu-compute-class"
   

   Perintah kubectl ray create cluster menggunakan plugin KubeRay untuk menerjemahkan spesifikasi Anda ke dalam definisi resource kustom RayCluster dan mengirimkannya ke Kubernetes API untuk membuat objek RayCluster. Objek ini berfungsi sebagai cetak biru, yang memberi tahu Ray Operator cara menyediakan dan mengelola komponen cluster Ray yang sebenarnya (node head dan pekerja) dalam GKE. Secara default, GKE menjadwalkan Pod head pada node dari seri mesin E2.

   Perintah contoh menggunakan setelan berikut:

   • kubectl ray create cluster my-ray-cluster: menentukan nama cluster Ray yang ingin Anda buat.
   • --worker-node-selectors: memberi tahu Kubernetes untuk menjadwalkan Pod pekerja di node yang diberi label cloud.google.com/compute-class=gpu-compute-class.

2. Verifikasi status cluster Ray. Gunakan perintah ini untuk memverifikasi bahwa cluster Ray Anda sudah aktif dan berjalan.

   • Periksa resource RayCluster dengan menjalankan perintah ini:

     kubectl ray get cluster
     

     Perintah ini mencantumkan semua cluster Ray di namespace Kubernetes Anda. Anda akan melihat my-ray-cluster tercantum. Mungkin perlu waktu beberapa menit hingga cluster diinisialisasi.

   • Periksa Pod Kubernetes dengan menjalankan perintah ini:

     kubectl get pods
     

     Perintah ini mencantumkan semua Pod yang berjalan di namespace Kubernetes Anda. Anda akan melihat Pod yang terkait dengan cluster Ray Anda:

     • Pod untuk node head Ray, dengan nama seperti my-ray-cluster-head-0.
     • Satu atau beberapa Pod untuk node pekerja Ray, dengan nama seperti my-ray-cluster-worker-group-0-xxxxx. Jumlah Pod pekerja bergantung pada konfigurasi awal cluster Ray dan penskalaan otomatis yang mungkin telah terjadi.

Mengirimkan tugas Ray

Setelah cluster Ray siap, Anda dapat mengirimkan tugas Ray ke cluster Ray yang sedang berjalan di GKE.

Untuk melakukannya, gunakan perintah kubectl ray session untuk memulai sesi interaktif, dan perintah ray job submit untuk memulai eksekusi tugas.

1. Mulai sesi interaktif Ray. Untuk membuat koneksi lokal ke cluster Ray, jalankan perintah ini:

     kubectl ray session my-ray-cluster
   

   Perintah ini memulai penerusan port antara mesin lokal Anda dan node head Ray di cluster GKE Anda. Perhatikan bahwa terminal Anda akan digunakan saat sesi ini aktif; untuk melanjutkan, buka instance terminal terpisah.

2. Buat kode contoh untuk dijalankan. Simpan contoh kode berikut ke file bernama sample_code.py.

     import ray
     import os
     import requests
   
     ray.init()
   
     @ray.remote
     class Counter:
         def __init__(self):
             # Used to verify runtimeEnv
             self.name = os.getenv("counter_name")
             assert self.name == "test_counter"
             self.counter = 0
   
         def inc(self):
             self.counter += 1
   
         def get_counter(self):
             return "{} got {}".format(self.name, self.counter)
   
     counter = Counter.remote()
   
     for _ in range(5):
             ray.get(counter.inc.remote())
             print(ray.get(counter.get_counter.remote()))
   
     # Verify that the correct runtime env was used for the job.
     assert requests.__version__ == "2.26.0"
   

3. Buka terminal baru dan kirimkan tugas Ray.

   1. Buka terminal baru di mesin lokal Anda. Jika Anda membuat lingkungan virtual untuk penginstalan Ray, pastikan Anda mengaktifkannya di terminal baru ini juga.
   2. Buka direktori tempat Anda menyimpan file sample_code.py.

   3. Jalankan perintah berikut:

        ray job submit \
            --working-dir=. \
            --runtime-env-json='{"pip": ["requests==2.26.0"], "env_vars": {"counter_name": "test_counter"}}' \
            --address http://localhost:8265 python sample_code.py
      

      Perintah contoh menggunakan setelan berikut:

      • --working-dir=.: menentukan direktori saat ini sebagai direktori kerja yang akan tersedia untuk tugas Ray di cluster. Idealnya, direktori ini hanya berisi kode sumber aplikasi yang ingin Anda jalankan di Ray. Dalam contoh kita, ini adalah file sample_code.py.
      • --runtime-env-json='{"pip": ["requests==2.26.0"], "env_vars": {"counter_name": "test_counter"}}': menentukan lingkungan runtime untuk tugas. File ini menentukan versi library Python yang diperlukan (requests==2.26.0) dan menetapkan variabel lingkungan (counter_name) untuk eksekusi tugas.

4. Lihat tugas Ray. Anda dapat memantau tugas dengan salah satu cara berikut:

   • Dasbor Ray: buka browser web Anda, lalu buka http://localhost:8265. URL ini akan membuka dasbor Ray, tempat Anda dapat melihat informasi tentang tugas yang sedang berjalan, termasuk status, log, dan penggunaan resource-nya.
   • Metrics Explorer: gunakan dasbor metrik bawaan di konsol Google Cloud . Untuk mengetahui informasi selengkapnya, lihat Mengumpulkan dan melihat log dan metrik untuk cluster Ray di GKE.

5. Hentikan sesi Ray. Setelah selesai berinteraksi dengan cluster Ray atau memantau tugas, Anda dapat mengakhiri sesi interaktif dengan menekan Ctrl+C di terminal tempat Anda menjalankan perintah kubectl ray session.