Membuat cluster Ray di Vertex AI

Konsol

1. Di Konsol Google Cloud, buka halaman Ray on Vertex AI.

   Buka halaman Ray on Vertex AI

2. Klik Create Cluster untuk membuka panel Create Cluster.

3. Untuk setiap langkah di panel Create Cluster, tinjau atau ganti informasi cluster default. Klik Continue untuk menyelesaikan setiap langkah:

   1. Untuk Name and region, tentukan Name, lalu pilih Region untuk cluster Anda.

   2. Untuk setelan Compute, tentukan konfigurasi cluster Ray pada node head Vertex AI, termasuk jenis mesin, jenis dan jumlah akselerator, jenis dan ukuran disk, serta jumlah replika. Di bagian Advanced options, Anda dapat menentukan kunci enkripsi.

   3. Untuk Networking, tentukan jaringan peering VPC yang ingin Anda gunakan dengan Ray on Vertex AI.

      Jika Anda belum menyiapkan koneksi akses layanan pribadi untuk jaringan VPC, klik Set up connection. Di panel Create a private services access connection, selesaikan dan klik Continue untuk setiap langkah berikut:

      1. Aktifkan Service Networking API.

      2. Untuk Allocate an IP range, Anda dapat memilih, membuat, atau mengizinkan Google untuk mengalokasikan rentang IP secara otomatis.

      3. Untuk Create connection, tinjau informasi Network dan Allocated IP Range.

      4. Klik Create connection.

4. Klik Create.

Ray on Vertex AI SDK

Dari lingkungan Python interaktif dalam jaringan VPC, gunakan hal berikut untuk membuat cluster Ray di Vertex AI:

import ray
import vertex_ray
from google.cloud import aiplatform
from vertex_ray import Resources

# Define a default CPU cluster, machine_type is n1-standard-8, 1 head node and 1 worker node
head_node_type = Resources()
worker_node_types = [Resources()]

# Or define a GPU cluster.
head_node_type = Resources(
  machine_type="n1-standard-8",
  node_count=1,
)

worker_node_types = [Resources(
  machine_type="n1-standard-8",
  node_count=2,  # Can be > 1
  accelerator_type="NVIDIA_TESLA_K80",
  accelerator_count=1,
)]

aiplatform.init()
# Initialize Vertex AI to retrieve projects for downstream operations.
# Create the Ray cluster on Vertex AI
CLUSTER_RESOURCE_NAME = vertex_ray.create_ray_cluster(
  head_node_type=head_node_type,
  network=NETWORK,
  worker_node_types=worker_node_types,
  python_version="3.10",  # Optional
  ray_version="2.9",  # Optional
  cluster_name = CLUSTER_NAME
)

Dengan keterangan:

• CLUSTER_NAME: Nama untuk cluster Ray di Vertex AI yang harus unik di seluruh project Anda.

• NETWORK adalah nama lengkap jaringan VPC yang di-peering, dalam format projects/PROJECT_NUMBER/global/networks/VPC_NAME.

• PROJECT_NUMBER adalah nomor project Google Cloud Anda.

Anda akan melihat output berikut sampai statusnya berubah menjadi RUNNING:

[Ray on Vertex AI]: Cluster State = State.PROVISIONING
Waiting for cluster provisioning; attempt 1; sleeping for 0:02:30 seconds
...
[Ray on Vertex AI]: Cluster State = State.RUNNING

Perhatikan hal-hal berikut:

• Node pertama digunakan sebagai node Head.

• Jenis mesin TPU tidak didukung.