Menetapkan konkurensi

Pelajari cara menetapkan jumlah maksimum permintaan yang dapat diproses secara bersamaan oleh instance container tertentu dalam inferensi Knative. Pelajari lebih lanjut permintaan serentak.

Setiap perubahan konfigurasi akan menghasilkan revisi baru. Revisi selanjutnya juga akan otomatis mendapatkan setelan konfigurasi ini, kecuali jika Anda melakukan pembaruan eksplisit untuk mengubahnya.

Anda dapat mengonfigurasi setelan konkurensi menggunakan Konsol Google Cloud, atau Google Cloud CLI saat Anda men-deploy service atau memperbarui layanan yang ada dan men-deploy revisi:

Konsol

  1. Buka penyaluran Knative di Konsol Google Cloud:

    Buka penayangan Knative

  2. Klik Buat Layanan jika Anda mengonfigurasi layanan baru yang akan di-deploy. Jika Anda mengonfigurasi layanan yang ada, klik layanan, lalu klik Edit & Deploy Revisi Baru.

  3. Di bagian Setelan lanjutan, klik Penampung.

  4. Tetapkan nilai serentak yang diinginkan di kotak teks Permintaan maksimum per container.

  5. Klik Berikutnya untuk melanjutkan ke bagian berikutnya.

  6. Di bagian Konfigurasi cara layanan ini dipicu, memilih konektivitas yang ingin Anda gunakan untuk memanggil layanan.

  7. Klik Create untuk men-deploy image ke inferensi Knative, lalu tunggu hingga deployment selesai.

Command line

  • Untuk layanan yang ada, tetapkan jumlah maksimum permintaan serentak dengan menjalankan perintah gcloud run services update dengan --concurrency :

    gcloud run services update SERVICE --concurrency CONCURRENCY

    Ganti:

    • SERVICE dengan nama layanan Anda.
    • CONCURRENCY dengan jumlah maksimum permintaan serentak per instance container. Tentukan default yang akan dihapus setelan serentak apa pun: --concurrency default.

  • Untuk layanan baru, tetapkan jumlah maksimum permintaan serentak dengan menjalankan perintah gcloud run deploy dengan --concurrency :

    gcloud run deploy SERVICE --image=IMAGE_URL --concurrency CONCURRENCY

    Ganti:

    • SERVICE dengan nama layanan Anda.
    • IMAGE_URL dengan referensi ke image container, misalnya, gcr.io/cloudrun/hello.
    • CONCURRENCY dengan jumlah maksimum permintaan serentak per instance container. Tentukan default yang akan dihapus setelan serentak apa pun: --concurrency default.

YAML

Anda dapat mendownload konfigurasi layanan yang ada ke YAML dengan perintah gcloud run services describe menggunakan Tanda --format=export. Anda kemudian dapat memodifikasi file YAML itu dan men-deploy perubahan tersebut dengan perintah gcloud run services replace. Anda harus memastikan bahwa Anda hanya mengubah atribut yang ditentukan.

  1. Download konfigurasi layanan Anda menjadi file bernama service.yaml pada ruang kerja lokal:

    gcloud run services describe SERVICE --format export > service.yaml

    Ganti SERVICE dengan nama Anda Layanan penyaluran Knative.

  2. Di file lokal Anda, perbarui atribut containerConcurrency:

    apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: SERVICE
spec:
  template:
    spec:
      containerConcurrency: CONCURRENCY

    Ganti:

    • SERVICE dengan nama layanan penayangan Knative Anda
    • CONCURRENCY dengan jumlah maksimum koneksi serentak jumlah permintaan per instance container. Tentukan default untuk menghapus setelan serentak: --concurrency default.

  3. Ganti layanan dengan konfigurasi barunya menggunakan perintah berikut:

    gcloud run services replace service.yaml