Menyetel waktu tunggu permintaan

Pelajari cara mengatur waktu kapan respons untuk permintaan harus ditampilkan oleh layanan inferensi Knative Anda. Jika respons tidak ditampilkan dalam waktu yang ditentukan, permintaan berakhir dan error 504 ditampilkan.

Batas waktu tunggu

Batas waktu tunggu maksimum berbeda-beda berdasarkan versi Cluster GKE.

Versi GKE Batas default Batas waktu tunggu maksimum
0.16.0-gke.1 dan yang lebih baru 300 detik 24 jam
0.15.0-gke.3 dan yang lebih lama 300 detik 900 detik

Selain mengubah waktu tunggu permintaan penayangan Knative, Anda harus memeriksa framework bahasa Anda untuk melihat apakah framework tersebut memiliki permintaan sendiri yang juga harus Anda perbarui.

Menyetel dan memperbarui waktu tunggu permintaan

Setiap perubahan konfigurasi akan menghasilkan revisi baru. Revisi selanjutnya juga akan otomatis mendapatkan setelan konfigurasi ini, kecuali jika Anda melakukan pembaruan eksplisit untuk mengubahnya.

Anda dapat mengatur waktu tunggu permintaan menggunakan Konsol Google Cloud, Google Cloud CLI, atau file YAML saat Anda men-deploy service atau memperbarui layanan yang ada dan men-deploy revisi:

Konsol

  1. Buka penyaluran Knative di Konsol Google Cloud:

    Buka penayangan Knative

  2. Klik Buat Layanan jika Anda mengonfigurasi layanan baru yang akan di-deploy. Jika Anda mengonfigurasi layanan yang ada, klik layanan, lalu klik Edit & Deploy Revisi Baru.

  3. Di bagian Setelan lanjutan, klik Penampung.

  4. Di kolom Waktu tunggu permintaan, masukkan yang ingin Anda gunakan. Nilai yang Anda tetapkan harus lebih kecil dari batas waktu tunggu untuk GKE cluster .

  5. Klik Berikutnya untuk melanjutkan ke bagian berikutnya.

  6. Di bagian Konfigurasi cara layanan ini dipicu, memilih konektivitas yang ingin Anda gunakan untuk memanggil layanan.

  7. Klik Create untuk men-deploy image ke inferensi Knative, lalu tunggu hingga deployment selesai.

Command line

  • Untuk layanan yang ada, atur batas waktu tunggu permintaan dengan menjalankan perintah gcloud run services update dengan --timeout :

    gcloud run services update SERVICE --timeout TIMEOUT

    Ganti:

    • SERVICE dengan nama layanan Anda.
    • TIMEOUT dengan waktu yang diinginkan, menggunakan bilangan bulat nilai dalam detik, atau nilai durasi absolut, misalnya 1m20s yaitu 1 menit, 20 detik. Nilai yang Anda harus lebih kecil dari batas waktu tunggu untuk versi GKE cluster. Tentukan 0 untuk menyetel waktu tunggu ke nilai default.

  • Untuk layanan baru, setel waktu tunggu permintaan dengan menjalankan perintah gcloud run deploy dengan --timeout :

    gcloud run deploy SERVICE --image=IMAGE_URL --timeout TIMEOUT

    Ganti:

    • SERVICE dengan nama layanan Anda.
    • IMAGE_URL dengan referensi ke image container, misalnya, gcr.io/cloudrun/hello.
    • TIMEOUT dengan waktu yang diinginkan, menggunakan bilangan bulat nilai dalam detik, atau nilai durasi absolut, misalnya 1m20s yaitu 1 menit, 20 detik. Nilai yang Anda harus lebih kecil dari batas waktu tunggu untuk versi GKE cluster. Tentukan 0 untuk menyetel waktu tunggu ke nilai default.

YAML

Anda dapat mendownload konfigurasi layanan yang ada ke YAML dengan perintah gcloud run services describe menggunakan Tanda --format=export. Anda kemudian dapat memodifikasi file YAML itu dan men-deploy perubahan tersebut dengan perintah gcloud run services replace. Anda harus memastikan bahwa Anda hanya mengubah atribut yang ditentukan.

  1. Download konfigurasi layanan Anda menjadi file bernama service.yaml pada ruang kerja lokal:

    gcloud run services describe SERVICE --format export > service.yaml

    Ganti SERVICE dengan nama Anda Layanan penyaluran Knative.

  2. Di file lokal Anda, perbarui atribut timeoutSeconds:

    apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: SERVICE
spec:
  template:
    spec:
      containers:
      - image: IMAGE
      timeoutSeconds: TIMEOUT

    Ganti:

    • SERVICE dengan nama layanan penayangan Knative Anda
    • IMAGE_URL dengan referensi ke image container, misalnya, gcr.io/cloudrun/hello.
    • TIMEOUT dengan waktu tunggu yang diinginkan, dalam satuan detik.

  3. Ganti layanan dengan konfigurasi barunya menggunakan perintah berikut:

    gcloud run services replace service.yaml