Avaliar modelos

Use a funcionalidade de comparativo de mercado do console da Cloud Speech-to-Text para medir a acurácia de qualquer um dos modelos de transcrição usados na API Speech-to-Text V2.

O console da Cloud Speech-to-Text oferece comparativos de mercado visuais para modelos pré-treinados e personalizados da Speech-to-Text. É possível analisar a qualidade do reconhecimento comparando as métricas de avaliação da taxa de erros de palavras (WER) entre vários modelos de transcrição para decidir qual deles se adequa melhor ao aplicativo.

Antes de começar

Verifique se você se inscreveu em uma conta do Google Cloud , criou um projeto, treinou um modelo de fala personalizado e o implantou usando um endpoint.

Criar conjunto de dados de informações empíricas

Para criar um conjunto de dados personalizado de comparativo de mercado, reúna amostras de áudio que reflitam com acurácia o tipo de tráfego que o modelo de transcrição encontrará em um ambiente de produção. O ideal é que a duração agregada desses arquivos de áudio seja de no mínimo 30 minutos e no máximo 10 horas. Para montar o conjunto de dados, será necessário:

1. Criar um diretório no bucket do Cloud Storage de sua preferência para armazenar os arquivos de áudio e texto do conjunto de dados.
2. Criar transcrições com acurácia razoável para cada arquivo de áudio no conjunto de dados. Para cada arquivo de áudio (como example_audio_1.wav), é necessário criar um arquivo de texto de informações empíricas correspondente (example_audio_1.txt). O serviço usa esses pareamentos de áudio e texto em um bucket do Cloud Storage para montar o conjunto de dados.

Fazer um comparativo de mercado do modelo

Usando o modelo personalizado da Speech-to-Text e seu conjunto de dados de comparativo de mercado para avaliar a acurácia do modelo, siga o guia Medir e melhorar a acurácia.