Mengevaluasi model

Gunakan fungsi tolok ukur Konsol Cloud Speech-to-Text untuk mengukur akurasi salah satu model transkripsi yang digunakan di Speech-to-Text V2 API.

Konsol Cloud Speech-to-Text menyediakan tolok ukur visual untuk model Speech-to-Text terlatih dan Kustom. Anda dapat memeriksa kualitas pengenalan dengan membandingkan metrik evaluasi Word-Error-Rate (WER) di beberapa model transkripsi untuk membantu Anda memutuskan model mana yang paling sesuai dengan aplikasi Anda.

Sebelum memulai

Pastikan Anda telah mendaftar ke Google Cloud akun, membuat project, melatih model ucapan kustom, dan men-deploy menggunakan endpoint.

Membuat set data kebenaran dasar

Untuk membuat set data tolok ukur kustom, kumpulkan sampel audio yang secara akurat mencerminkan jenis traffic yang akan dihadapi model transkripsi di lingkungan produksi. Durasi gabungan file audio ini idealnya minimal 30 menit dan tidak lebih dari 10 jam. Untuk menyusun set data, Anda perlu:

  1. Buat direktori di bucket Cloud Storage pilihan Anda untuk menyimpan file audio dan teks untuk set data.
  2. Untuk setiap file audio dalam set data, buat transkripsi yang cukup akurat. Untuk setiap file audio (seperti example_audio_1.wav), file teks kebenaran dasar (example_audio_1.txt) yang sesuai harus dibuat. Layanan ini menggunakan pasangan audio-teks ini dalam bucket Cloud Storage untuk menyusun set data.

Mengukur performa model

Dengan menggunakan model Speech-to-Text Kustom dan set data tolok ukur untuk menilai akurasi model, ikuti panduan Mengukur dan meningkatkan akurasi.