Miglioramento dei risultati della trascrizione con l'adattamento del modello

Panoramica

Puoi utilizzare la funzionalità di adattamento del modello per aiutare Speech-to-Text a riconoscere parole o frasi specifiche più spesso rispetto ad altre opzioni che altrimenti potrebbero essere suggerite. Ad esempio, supponiamo che i tuoi dati audio includano spesso la parola "meteo". Quando Speech-to-Text rileva la parola "meteo", vuoi che la trascriva come "meteo" più spesso che come "se". In questo caso, puoi utilizzare l'adattamento del modello per indirizzare Speech-to-Text a riconoscere "meteo".

L'adattamento del modello è particolarmente utile nei seguenti casi d'uso:

  • Migliorare l'accuratezza delle parole e delle frasi che si verificano frequentemente nei dati audio. Ad esempio, puoi segnalare al modello di riconoscimento i comandi vocali tipicamente pronunciati dai tuoi utenti.

  • Espansione del vocabolario delle parole riconosciute da Speech-to-Text. Speech-to-Text include un vocabolario molto ampio. Tuttavia, se i tuoi dati audio contengono spesso parole rare nell'uso generale della lingua (ad esempio nomi propri o parole specifiche del dominio), puoi aggiungerle utilizzando l'adattamento del modello.

  • Migliorare l'accuratezza della trascrizione vocale quando l'audio fornito contiene rumore o non è molto chiaro.

Facoltativamente, puoi ottimizzare il bias del modello di riconoscimento utilizzando la funzionalità di potenziamento dell'adattamento del modello.

Migliorare il riconoscimento di parole e frasi

Per aumentare la probabilità che Speech-to-Text riconosca la parola "meteo" quando trascrivi i dati audio, puoi passare la singola parola "meteo" nell'oggetto PhraseSet in una risorsa SpeechAdaptation.

Quando fornisci una frase di più parole, Speech-to-Text è più propenso a riconoscere le parole in sequenza. Fornire una frase aumenta anche la probabilità di riconoscere parti della frase, incluse singole parole. Consulta la pagina relativa ai limiti per i contenuti per informazioni sul numero e sulle dimensioni di queste frasi.

Migliorare il riconoscimento utilizzando i gruppi

Le classi rappresentano concetti comuni che si verificano nel linguaggio naturale, come unità monetarie e date di calendario. Una classe ti aiuta a migliorare l'accuratezza della trascrizione per grandi gruppi di parole che corrispondono a un concetto comune, ma che non includono sempre parole o frasi identiche.

Ad esempio, supponiamo che i tuoi dati audio includano registrazioni di persone che dicono il loro indirizzo. Potresti avere una registrazione audio di qualcuno che dice: "La mia casa è in via Principale 123, la quarta casa a sinistra". In questo caso, vuoi che la funzionalità di conversione di Speech-to-Text riconosca la prima sequenza di numeri ("123") come indirizzo anziché come numero ordinale ("centoventitreesimo"). Tuttavia, non tutte le persone vivono in "Via Principale 123". Non è pratico elencare ogni possibile indirizzo in una risorsa PhraseSet. In alternativa, puoi utilizzare una classe per indicare che un numero civico deve essere riconosciuto indipendentemente dal numero effettivo. In questo esempio, Speech-to-Text potrebbe trascrivere con maggiore precisione frasi come "123 Main Street" e "987 Grand Boulevard" perché entrambi sono riconosciuti come numeri civici.

Token di classe

Per utilizzare una classe nell'adattamento del modello, includi un token di classe nel campo phrases di una risorsa PhraseSet. Consulta l'elenco dei token di classe supportati per vedere quali token sono disponibili per la tua lingua. Ad esempio, per migliorare la trascrizione dei numeri civici dalla sorgente audio, fornisci il valore $ADDRESSNUM all'interno di una frase in un PhraseSet.

Puoi utilizzare le classi come elementi indipendenti nell'array phrases o incorporare uno o più token di classe in frasi più lunghe con più parole. Ad esempio, puoi indicare un numero civico in una frase più grande includendo il token di classe in una stringa: ["my address is $ADDRESSNUM"]. Tuttavia, questa frase non sarà utile nei casi in cui l'audio contenga una frase simile, ma non identica, come "Sono in via Principale 123". Per facilitare il riconoscimento di frasi simili, è importante includere anche il token di classe da solo:["my address is $ADDRESSNUM", "$ADDRESSNUM"]. Se utilizzi un token di classe non valido o con formato non corretto, Speech-to-Text lo ignora senza attivare un errore, ma utilizza comunque il resto della frase per il contesto.

Classi personalizzate

Puoi anche creare il tuo CustomClass, una classe composta dal tuo elenco personalizzato di elementi o valori correlati. Ad esempio, vuoi trascrivere i dati audio che probabilmente includono il nome di uno dei centinaia di ristoranti regionali. I nomi dei ristoranti sono relativamente rari nel linguaggio comune e quindi meno propensi a essere scelti come risposta "corretta" dal modello di riconoscimento. Puoi influenzare il modello di riconoscimento in modo da identificare correttamente questi nomi quando compaiono nell'audio utilizzando una classe personalizzata.

Per utilizzare una classe personalizzata, crea una risorsa CustomClass che includa il nome di ogni ristorante come ClassItem. Le classi personalizzate funzionano nello stesso modo dei token di classe predefiniti. Un phrase può includere sia token di classe predefiniti sia classi personalizzate.

Ottimizzare i risultati della trascrizione utilizzando il potenziamento

Per impostazione predefinita, l'adattamento del modello produce un effetto relativamente limitato, in particolare per le frasi di una sola parola. La funzionalità di boost per l'adattamento del modello consente di aumentare il bias del modello di riconoscimento assegnando un peso maggiore ad alcune frasi rispetto ad altre. Ti consigliamo di implementare il potenziamento se si verificano tutte le seguenti condizioni:

  1. Hai già implementato l'adattamento del modello.
  2. Vuoi modificare ulteriormente l'intensità degli effetti dell'adattamento del modello sui risultati della trascrizione. Per sapere se la funzionalità Boost è disponibile per la tua lingua, consulta la pagina relativa al supporto delle lingue.

Ad esempio, hai molte registrazioni di persone che fanno domande sulla "tariffa per entrare alla fiera della contea", con la parola "fiera" che compare più di frequente rispetto a "tariffa". In questo caso, puoi utilizzare l'adattamento del modello per aumentare la probabilità che il modello riconosca sia "fair" sia "fare" aggiungendoli come phrases in una risorsa PhraseSet. In questo modo, Speech-to-Text riconoscerà "fair" e "fare" più spesso di, ad esempio, "hare" o "lair".

Tuttavia, "fair" dovrebbe essere riconosciuto più spesso di "fare" a causa delle sue apparizioni più frequenti nell'audio. Potresti aver già trascritto l'audio utilizzando l'API Speech-to-Text e aver rilevato un numero elevato di errori nel riconoscimento della parola corretta ("giusto"). In questo caso, ti consigliamo di utilizzare la funzionalità di aumento per assegnare un valore di aumento più elevato a "giusto" rispetto a "tariffa". Il valore ponderato più elevato assegnato a "giusto" induce l'API Speech-to-Text a scegliere più spesso "giusto" rispetto a "prezzo". Senza valori di boost, il modello di riconoscimento riconoscerà "fair" e "fare" con uguale probabilità.

Nozioni di base su Boost

Quando utilizzi il boost, assegni un valore ponderato agli elementi phrase in una PhraseSet risorsa. Speech-to-Text fa riferimento a questo valore ponderato quando seleziona una possibile trascrizione per le parole nei dati audio. Maggiore è il valore, maggiore è la probabilità che Speech-to-Text scelga quella parola o frase tra le possibili alternative.

Se assegni un valore di boost a una frase composta da più parole, il boost viene applicato all'intera frase e solo a questa. Ad esempio, vuoi assegnare un valore di boost alla frase "La mia mostra preferita all'American Museum of Natural History è la balena blu". Se aggiungi la frase a un oggetto phrase e assegni un valore di boost, il modello di riconoscimento avrà maggiori probabilità di riconoscere la frase nella sua interezza, parola per parola.

Se non ottieni i risultati che cerchi aumentando una frase composta da più parole, ti consigliamo di aggiungere tutti i bigrammi (due parole in ordine) che compongono la frase come elementi phrase aggiuntivi e di assegnare valori di boost a ciascuno. Proseguendo con l'esempio precedente, potresti valutare la possibilità di aggiungere altri bigrammi e endgrammi (più di due parole), ad esempio "il mio preferito", "la mia mostra preferita", "mostra preferita", "la mia mostra preferita al Museo di storia naturale di New York", "Museo di storia naturale di New York" e "balena blu". Il modello di riconoscimento STT ha quindi maggiori probabilità di riconoscere nel tuo audio frasi correlate contenenti parti della frase potenziata originale, ma che non corrispondono alla frase parola per parola.

Impostare i valori di boost

I valori di boost devono essere un valore in virgola mobile maggiore di 0. Il limite massimo pratico per i valori di boost è 20. Per ottenere i migliori risultati, sperimenta i risultati della trascrizione modificando i valori di amplificazione verso l'alto o verso il basso finché non ottieni risultati accurati.

Valori di amplificazione più elevati possono comportare un numero inferiore di falsi negativi, ovvero casi in cui la parola o la frase è presente nell'audio, ma non è stata riconosciuta correttamente da Speech-to-Text. Tuttavia, l'aumento può anche aumentare la probabilità di falsi positivi, ovvero i casi in cui la parola o la frase compare nella trascrizione anche se non è presente nell'audio.

Esempio di caso d'uso che utilizza l'adattamento del modello

L'esempio riportato di seguito illustra la procedura di utilizzo dell'adattamento del modello per trascrivere una registrazione audio di una persona che dice "La parola è tariffa". In questo caso, senza adattamento vocale, Speech-to-Text identifica la parola "fair". Grazie all'adattamento vocale, Speech-to-Text può identificare la parola "fare".

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Speech-to-Text APIs.

    Enable the APIs

  5. Make sure that you have the following role or roles on the project: Cloud Speech Administrator

    Check for the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

    4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

    Grant the roles

    1. In the Google Cloud console, go to the IAM page.

      Vai a IAM
    2. Seleziona il progetto.
    3. Fai clic su Concedi accesso.
    4. Nel campo Nuove entità, inserisci il tuo identificatore utente. In genere si tratta dell'indirizzo email di un Account Google.

    5. Nell'elenco Seleziona un ruolo, seleziona un ruolo.
    6. Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni ruolo aggiuntivo.
    7. Fai clic su Salva.
    8. Install the Google Cloud CLI.
    9. To initialize the gcloud CLI, run the following command:

      gcloud init
    10. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    11. Make sure that billing is enabled for your Google Cloud project.

    12. Enable the Speech-to-Text APIs.

      Enable the APIs

    13. Make sure that you have the following role or roles on the project: Cloud Speech Administrator

      Check for the roles

      1. In the Google Cloud console, go to the IAM page.

        Go to IAM
      2. Select the project.
      3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

      4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

      Grant the roles

      1. In the Google Cloud console, go to the IAM page.

        Vai a IAM
      2. Seleziona il progetto.
      3. Fai clic su Concedi accesso.
      4. Nel campo Nuove entità, inserisci il tuo identificatore utente. In genere si tratta dell'indirizzo email di un Account Google.

      5. Nell'elenco Seleziona un ruolo, seleziona un ruolo.
      6. Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni ruolo aggiuntivo.
      7. Fai clic su Salva.
      8. Install the Google Cloud CLI.
      9. To initialize the gcloud CLI, run the following command:

        gcloud init
      10. Le librerie client possono utilizzare le credenziali predefinite dell'applicazione per autenticarsi facilmente con le API di Google e inviare richieste a queste API. Con le Credenziali predefinite dell'applicazione, puoi testare l'applicazione localmente e eseguirne il deployment senza modificare il codice sottostante. Per ulteriori informazioni, consulta Eseguire l'autenticazione per l'utilizzo delle librerie client.

      11. If you're using a local shell, then create local authentication credentials for your user account:

        gcloud auth application-default login

        You don't need to do this if you're using Cloud Shell.

      Assicurati inoltre di aver installato la libreria client.

      Migliorare la trascrizione utilizzando un PhraseSet

      1. Il seguente esempio crea un PhraseSet con la frase "tariffa" e lo aggiunge come inline_phrase_set in una richiesta di riconoscimento:

      Python

      import os
      
      from google.cloud.speech_v2 import SpeechClient
      from google.cloud.speech_v2.types import cloud_speech
      
      PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")
      
      
      def adaptation_v2_inline_phrase_set(audio_file: str) -> cloud_speech.RecognizeResponse:
          """Enhances speech recognition accuracy using an inline phrase set.
          The inline custom phrase set helps the recognizer produce more accurate transcriptions for specific terms.
          Phrases are given a boost to increase their chances of being recognized correctly.
          Args:
              audio_file (str): Path to the local audio file to be transcribed.
          Returns:
              cloud_speech.RecognizeResponse: The full response object which includes the transcription results.
          """
      
          # Instantiates a client
          client = SpeechClient()
      
          # Reads a file as bytes
          with open(audio_file, "rb") as f:
              audio_content = f.read()
      
          # Build inline phrase set to produce a more accurate transcript
          phrase_set = cloud_speech.PhraseSet(
              phrases=[{"value": "fare", "boost": 10}, {"value": "word", "boost": 20}]
          )
          adaptation = cloud_speech.SpeechAdaptation(
              phrase_sets=[
                  cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                      inline_phrase_set=phrase_set
                  )
              ]
          )
          config = cloud_speech.RecognitionConfig(
              auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
              adaptation=adaptation,
              language_codes=["en-US"],
              model="short",
          )
      
          # Prepare the request which includes specifying the recognizer, configuration, and the audio content
          request = cloud_speech.RecognizeRequest(
              recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
              config=config,
              content=audio_content,
          )
      
          # Transcribes the audio into text
          response = client.recognize(request=request)
      
          for result in response.results:
              print(f"Transcript: {result.alternatives[0].transcript}")
      
          return response
      
      
      1. Questo esempio crea una risorsa PhraseSet con la stessa frase e poi la fa riferimento in una richiesta di riconoscimento:

      Python

      import os
      
      from google.cloud.speech_v2 import SpeechClient
      from google.cloud.speech_v2.types import cloud_speech
      
      PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")
      
      
      def adaptation_v2_phrase_set_reference(
          audio_file: str,
          phrase_set_id: str,
      ) -> cloud_speech.RecognizeResponse:
          """Transcribe audio files using a PhraseSet.
          Args:
              audio_file (str): Path to the local audio file to be transcribed.
              phrase_set_id (str): The unique ID of the PhraseSet to use.
          Returns:
              cloud_speech.RecognizeResponse: The full response object which includes the transcription results.
          """
      
          # Instantiates a client
          client = SpeechClient()
      
          # Reads a file as bytes
          with open(audio_file, "rb") as f:
              audio_content = f.read()
      
          # Creating operation of creating the PhraseSet on the cloud.
          operation = client.create_phrase_set(
              parent=f"projects/{PROJECT_ID}/locations/global",
              phrase_set_id=phrase_set_id,
              phrase_set=cloud_speech.PhraseSet(phrases=[{"value": "fare", "boost": 10}]),
          )
          phrase_set = operation.result()
      
          # Add a reference of the PhraseSet into the recognition request
          adaptation = cloud_speech.SpeechAdaptation(
              phrase_sets=[
                  cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                      phrase_set=phrase_set.name
                  )
              ]
          )
      
          # Automatically detect audio encoding. Use "short" model for short utterances.
          config = cloud_speech.RecognitionConfig(
              auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
              adaptation=adaptation,
              language_codes=["en-US"],
              model="short",
          )
          #  Prepare the request which includes specifying the recognizer, configuration, and the audio content
          request = cloud_speech.RecognizeRequest(
              recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
              config=config,
              content=audio_content,
          )
          # Transcribes the audio into text
          response = client.recognize(request=request)
      
          for result in response.results:
              print(f"Transcript: {result.alternatives[0].transcript}")
      
          return response
      
      

      Migliorare i risultati della trascrizione utilizzando un CustomClass

      1. Il seguente esempio crea un CustomClass con un elemento "tariffa" e il nome "tariffa". Poi fa riferimento a CustomClass all'interno di un inline_phrase_set in una richiesta di riconoscimento:

      Python

      import os
      
      from google.cloud.speech_v2 import SpeechClient
      from google.cloud.speech_v2.types import cloud_speech
      
      PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")
      
      
      def adaptation_v2_inline_custom_class(
          audio_file: str,
      ) -> cloud_speech.RecognizeResponse:
          """Transcribe audio file using inline custom class.
          The inline custom class helps the recognizer produce more accurate transcriptions for specific terms.
          Args:
              audio_file (str): Path to the local audio file to be transcribed.
          Returns:
              cloud_speech.RecognizeResponse: The response object which includes the transcription results.
          """
          # Instantiates a client
          client = SpeechClient()
      
          # Reads a file as bytes
          with open(audio_file, "rb") as f:
              audio_content = f.read()
      
          # Define an inline custom class to enhance recognition accuracy with specific items like "fare" etc.
          custom_class_name = "your-class-name"
          custom_class = cloud_speech.CustomClass(
              name=custom_class_name,
              items=[{"value": "fare"}],
          )
      
          # Build inline phrase set to produce a more accurate transcript
          phrase_set = cloud_speech.PhraseSet(
              phrases=[{"value": custom_class_name, "boost": 20}]
          )
          adaptation = cloud_speech.SpeechAdaptation(
              phrase_sets=[
                  cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                      inline_phrase_set=phrase_set
                  )
              ],
              custom_classes=[custom_class],
          )
          config = cloud_speech.RecognitionConfig(
              auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
              adaptation=adaptation,
              language_codes=["en-US"],
              model="short",
          )
      
          # Prepare the request which includes specifying the recognizer, configuration, and the audio content
          request = cloud_speech.RecognizeRequest(
              recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
              config=config,
              content=audio_content,
          )
      
          # Transcribes the audio into text
          response = client.recognize(request=request)
      
          for result in response.results:
              print(f"Transcript: {result.alternatives[0].transcript}")
      
          return response
      
      
      1. Questo esempio crea una risorsa CustomClass con lo stesso elemento. Poi crea una risorsa PhraseSet con una frase che fa riferimento al nome della risorsa CustomClass. Poi fa riferimento alla risorsaPhraseSet in una richiesta di riconoscimento:

      Python

      import os
      
      from google.cloud.speech_v2 import SpeechClient
      from google.cloud.speech_v2.types import cloud_speech
      
      PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")
      
      
      def adaptation_v2_custom_class_reference(
          audio_file: str, phrase_set_id: str, custom_class_id: str
      ) -> cloud_speech.RecognizeResponse:
          """Transcribe audio file using a custom class.
          Args:
              audio_file (str): Path to the local audio file to be transcribed.
              phrase_set_id (str): The unique ID of the phrase set to use.
              custom_class_id (str): The unique ID of the custom class to use.
          Returns:
              cloud_speech.RecognizeResponse: The full response object which includes the transcription results.
          """
          # Instantiates a speech client
          client = SpeechClient()
      
          # Reads a file as bytes
          with open(audio_file, "rb") as f:
              audio_content = f.read()
      
          # Create a custom class to improve recognition accuracy for specific terms
          custom_class = cloud_speech.CustomClass(items=[{"value": "fare"}])
          operation = client.create_custom_class(
              parent=f"projects/{PROJECT_ID}/locations/global",
              custom_class_id=custom_class_id,
              custom_class=custom_class,
          )
          custom_class = operation.result()
      
          # Create a persistent PhraseSet to reference in a recognition request
          created_phrase_set = cloud_speech.PhraseSet(
              phrases=[
                  {
                      "value": f"${{{custom_class.name}}}",
                      "boost": 20,
                  },  # Using custom class reference
              ]
          )
          operation = client.create_phrase_set(
              parent=f"projects/{PROJECT_ID}/locations/global",
              phrase_set_id=phrase_set_id,
              phrase_set=created_phrase_set,
          )
          phrase_set = operation.result()
      
          # Add a reference of the PhraseSet into the recognition request
          adaptation = cloud_speech.SpeechAdaptation(
              phrase_sets=[
                  cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                      phrase_set=phrase_set.name
                  )
              ]
          )
          # Automatically detect the audio's encoding with short audio model
          config = cloud_speech.RecognitionConfig(
              auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
              adaptation=adaptation,
              language_codes=["en-US"],
              model="short",
          )
      
          # Create a custom class to reference in a PhraseSet
          request = cloud_speech.RecognizeRequest(
              recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
              config=config,
              content=audio_content,
          )
      
          # Transcribes the audio into text
          response = client.recognize(request=request)
      
          for result in response.results:
              print(f"Transcript: {result.alternatives[0].transcript}")
      
          return response
      
      

      Esegui la pulizia

      Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

      1. Optional: Revoke the authentication credentials that you created, and delete the local credential file.

        gcloud auth application-default revoke
      2. Optional: Revoke credentials from the gcloud CLI.

        gcloud auth revoke

      Console

    14. In the Google Cloud console, go to the Manage resources page.

      Go to Manage resources

    15. In the project list, select the project that you want to delete, and then click Delete.
    16. In the dialog, type the project ID, and then click Shut down to delete the project.
    17. gcloud

      Delete a Google Cloud project:

      gcloud projects delete PROJECT_ID

      Passaggi successivi