Kontrol Layanan VPC dengan Vertex AI

Kontrol Layanan VPC dapat membantu Anda mengurangi risiko pemindahan data yang tidak sah dari Vertex AI. Gunakan Kontrol Layanan VPC untuk membuat perimeter layanan yang melindungi resource dan data yang Anda tentukan. Misalnya, saat Anda menggunakan Kontrol Layanan VPC untuk melindungi Vertex AI, artefak berikut tidak dapat meninggalkan perimeter layanan Anda:

  • Data pelatihan untuk model AutoML atau model kustom
  • Model yang Anda buat
  • Model yang Anda telusuri menggunakan Neural Architecture Search
  • Permintaan inferensi online
  • Hasil dari permintaan inferensi batch
  • Model Gemini

Mengontrol akses ke Google API

API Vertex AI, sebagaimana diuraikan dalam Mengakses Vertex AI dari lokal dan multicloud, mencakup berbagai opsi aksesibilitas, termasuk internet publik, Private Service Connect untuk Google API, dan Akses Google Pribadi.

Akses publik

Secara default, API publik ini dapat dijangkau dari internet; namun, izin IAM diperlukan untuk menggunakannya. Meskipun fitur seperti Private Service Connect dan Akses Google Pribadi memfasilitasi komunikasi pribadi melalui arsitektur jaringan hybrid, fitur tersebut tidak menghilangkan aksesibilitas internet publik untuk Vertex AI API.

Untuk menetapkan kontrol terperinci atas akses API dan membatasi eksposur internet publik secara eksplisit, penerapan Kontrol Layanan VPC menjadi sangat penting. Lapisan keamanan ini memungkinkan administrator menentukan dan menerapkan kebijakan akses, dengan mengaktifkan konektivitas publik atau pribadi ke Google API secara selektif untuk memenuhi persyaratan organisasi.

Akses pribadi

Organisasi yang perlu membatasi akses publik ke Google API menjadi akses pribadi dapat menggunakan Kontrol Layanan VPC bersama dengan Private Service Connect Google API (paket Kontrol Layanan VPC) atau Akses Google Pribadi. Saat di-deploy melalui jaringan hybrid dan dalam Google Cloud, kedua opsi memungkinkan akses pribadi ke Google API dari lokal. Namun, Private Service Connect juga menawarkan fleksibilitas dalam menentukan nama endpoint DNS dan alamat IP kustom.

Sebagai praktik terbaik, gunakan IP Virtual (VIP) terbatas dengan Google API Private Service Connect atau Akses Google Pribadi untuk menyediakan rute jaringan pribadi untuk permintaan ke layanan Google Cloud tanpa mengekspos permintaan ke internet. VIP terbatas mendukung semua API yang dapat dilindungi oleh Kontrol Layanan VPC yang memerlukan pertimbangan untuk jaringan VPC dan lokal. Berikut beberapa contohnya:

Mengontrol akses API melalui akses layanan pribadi

Vertex AI API berikut yang di-deploy dengan akses layanan pribadi memerlukan konfigurasi jaringan tambahan saat diterapkan di lingkungan yang dilindungi dengan Kontrol Layanan VPC:

  • Vector Search (kueri indeks)
  • Pelatihan kustom (bidang data)
  • Vertex AI Pipelines
  • Endpoint prediksi online pribadi

Misalnya, Vertex AI Pipelines adalah layanan yang dikelola Google (produsen), yang di-deploy dalam project dan jaringan VPC tenant tunggal dengan kemampuan untuk menskalakan layanan yang didukung berdasarkan persyaratan konsumen. Komunikasi antara jaringan produsen dan konsumen dilakukan dengan Peering Jaringan VPC, kecuali untuk keluar internet, yang dirutekan melalui jaringan produsen.

Di jaringan produsen, ada rute default yang memungkinkan traffic keluar internet, selain akses tanpa batas ke Google API. Mengupdate jaringan produsen untuk mendukung VIP terbatas memerlukan pengaktifan Kontrol Layanan VPC untuk peering, yang melakukan tindakan berikut pada semua layanan yang didukung yang di-deploy di jaringan produsen Jaringan Layanan Anda:

  • Menghapus rute default IPv4 (tujuan 0.0.0.0/0, next hop gateway internet default).
  • Membuat zona pribadi yang dikelola Cloud DNS dan memberikan otorisasi pada zona tersebut untuk jaringan VPC produsen layanan. Zona ini mencakup googleapis.com, pkg.dev, gcr.io, dan nama host atau domain lain yang diperlukan untuk Google API dan layanan Google yang kompatibel dengan Kontrol Layanan VPC.
  • Data catatan di zona menyelesaikan semua nama host ke 199.36.153.4, 199.36.153.5, 199.36.153.6, dan 199.36.153.7.

Metode alternatif untuk menghapus rute default dari jaringan produsen tanpa memengaruhi layanan yang dikelola Google yang ada adalah dengan menggunakan VPN dengan ketersediaan tinggi (HA) melalui Cloud Interconnect yang terdiri dari langkah-langkah berikut:

  1. Deploy jaringan VPC layanan selain dengan HA VPN ke jaringan VPC konsumen.
  2. Deploy layanan terkelola Google di jaringan VPC layanan.
  3. Aktifkan Kontrol Layanan VPC untuk peering.
  4. Mengiklankan subnet akses layanan pribadi sebagai pemberitahuan rute kustom dari Cloud Router jika layanan terkelola memerlukan keterjangkauan lokal.
  5. Perbarui peering jaringan VPC service networking dengan opsi ekspor rute kustom.

Pembuatan perimeter layanan

Untuk ringkasan pembuatan perimeter layanan, lihat Membuat perimeter layanan dalam dokumentasi Kontrol Layanan VPC.

Menambahkan layanan terbatas ke perimeter Anda

Saat membuat perimeter layanan, sebaiknya sertakan semua layanan yang dibatasi sebagai praktik terbaik keamanan. Pendekatan komprehensif ini membantu meminimalkan potensi kerentanan dan akses tidak sah. Namun, mungkin ada skenario saat organisasi Anda memiliki persyaratan khusus yang berfokus pada pengamanan Vertex AI dan API yang saling terhubung. Dalam kasus tersebut, Anda memiliki fleksibilitas untuk memilih dan menyertakan hanya API Vertex AI tertentu yang penting untuk operasi Anda.

Vertex AI API yang dapat Anda masukkan ke dalam perimeter layanan Anda mencakup:

  • Vertex AI API mendukung layanan dan fitur berikut:
    • Inferensi batch
    • Set data
    • Vertex AI Feature Store (penyajian online Bigtable)
    • Vertex AI Feature Store (penyajian online yang dioptimalkan)
    • AI Generatif di Vertex AI (Gemini)
    • Vertex AI Model Registry
    • Inferensi online
    • Vector Search (pembuatan indeks)
    • Vector Search (kueri indeks)
    • Pelatihan kustom (bidang kontrol)
    • Pelatihan kustom (bidang data)
    • Vertex AI Pipelines
    • Endpoint inferensi online pribadi
    • Colab Enterprise
    • Vertex AI Agent Engine
  • Notebooks API mendukung layanan berikut:
    • Vertex AI Workbench

Dukungan Kontrol Layanan VPC untuk pipeline penyesuaian AI Generatif

Dukungan Kontrol Layanan VPC disediakan dalam pipeline penyesuaian model berikut:

  • text-bison for PaLM 2
  • BERT
  • T5
  • Kelompok model textembedding-gecko.

Menggunakan Kontrol Layanan VPC dengan Vertex AI Pipelines

Perimeter layanan memblokir akses dari Vertex AI ke API dan layanan pihak ketiga di internet. Jika Anda menggunakan Google Cloud Komponen Pipeline atau membuat komponen pipeline kustom sendiri untuk digunakan dengan Vertex AI Pipelines, Anda tidak dapat menginstal dependensi PyPI dari registri Python Package Index (PyPI) publik. Sebagai gantinya, Anda harus melakukan salah satu hal berikut:

Menggunakan container kustom

Sebagai praktik terbaik software produksi, penulis komponen harus menggunakan komponen Python yang di-container dan mem-build dependensi ke dalam image container mereka, sehingga tidak diperlukan penginstalan langsung selama menjalankan pipeline. Salah satu cara untuk melakukannya adalah sebagai berikut:

  1. Bangun image container Anda sendiri dengan Kubeflow Pipelines SDK dan paket lain yang sudah diinstal sebelumnya. Misalnya, Anda dapat menggunakan us-docker.pkg.dev/vertex-ai/training/tf-cpu.2-17:latest sebagai lapisan dasar image dan menambahkan lapisan ekstra untuk menginstal paket saat build container.

  2. Perbarui kode definisi komponen Anda untuk menyetel jalur base_image dan tanda install_kfp_package ke False. Flag ini menginstruksikan compiler KFP untuk tidak menyuntikkan perintah pip install kfp ke command line container, karena paket Kubeflow Pipelines SDK sudah diinstal di image. Contoh:

    @component(
    base_image='gcr.io/deeplearning-platform-release/tf-cpu.2-17',
    install_kfp_package=False,
)
def my_component(...):
    ...

Menginstal paket dari repositori Artifact Registry

Atau, Anda dapat membuat repositori Artifact Registry di project, menyimpan paket Python di dalamnya, dan mengonfigurasi lingkungan Vertex AI untuk menginstal dari repositori tersebut seperti yang diuraikan di bagian ini. Untuk mengetahui informasi selengkapnya, lihat Mengelola paket Python.

Mengonfigurasi peran dan izin

  1. Akun layanan untuk lingkungan Vertex AI Anda harus memiliki peran iam.serviceAccountUser.

  2. Jika Anda menginstal paket PyPI kustom dari repositori di jaringan project Anda, dan repositori ini tidak memiliki alamat IP publik:

    1. Tetapkan izin untuk mengakses repositori ini ke akun layanan lingkungan.

    2. Pastikan konektivitas ke repositori ini dikonfigurasi di project Anda.

Membuat repositori

  1. Buat repositori Artifact Registry dalam mode VPC di project Anda.
  2. Simpan paket Python yang diperlukan di repositori.

Mengonfigurasi lingkungan Vertex AI untuk menginstal dari repositori

Untuk menginstal paket PyPI kustom dari satu atau beberapa repositori Artifact Registry, lakukan panggilan yang mirip dengan berikut ke @dsl.component:

@dsl.component(packages_to_install=["tensorflow"],
pip_index_urls=['http://myprivaterepo.com/simple', 'http://pypi.org/simple'],)
def hello_world(text: str) -> str:
    import my_package
    import tensorflow

    return my_package.hello_world(text)

Batasan

Batasan berikut berlaku saat Anda menggunakan Kontrol Layanan VPC:

  • Untuk pelabelan data, Anda harus menambahkan alamat IP pemberi label ke tingkat akses.
  • Untuk Komponen Pipeline Google Cloud , komponen meluncurkan container yang memeriksa semua persyaratan image dasarnya. Paket KFP, serta paket apa pun yang tercantum dalam argumen packages_to_install adalah persyaratan untuk container. Jika persyaratan yang ditentukan belum ada dalam image dasar (baik yang disediakan maupun kustom), komponen akan mencoba mendownloadnya dari Python Package Index (PyPI). Karena perimeter layanan memblokir akses dari Vertex AI ke API dan layanan pihak ketiga di internet, download gagal dengan Connection to pypi.org timed out. Untuk mengetahui cara menghindari error ini, lihat Menggunakan Kontrol Layanan VPC dengan Vertex AI Pipelines.
  • Saat menggunakan Kontrol Layanan VPC dengan kernel kustom di Vertex AI Workbench, Anda harus mengonfigurasi peering DNS untuk mengirim permintaan untuk *.notebooks.googleusercontent.com ke subnet 199.36.153.8/30 (private.googleapis.com) dan bukan 199.36.153.4/30 (restricted.googleapis.com).
  • Saat menggunakan Kontrol Layanan VPC dengan Inferensi Vertex AI, endpoint harus dibuat setelah project ditambahkan ke perimeter layanan. Jika endpoint dibuat dalam project yang bukan bagian dari perimeter layanan, dan setelah itu project tersebut ditambahkan ke perimeter layanan, upaya untuk men-deploy model ke endpoint tersebut akan gagal. Jika endpoint adalah endpoint publik bersama, maka pengiriman permintaan ke endpoint juga akan gagal. Demikian pula, upaya untuk men-deploy model ke endpoint akan gagal jika endpoint dibuat dalam project yang merupakan bagian dari perimeter layanan, dan setelah itu project dihapus.

Langkah berikutnya