Streaming alargado

Pode usar a funcionalidade de streaming alargado para fazer streaming de conteúdo de áudio para o Dialogflow e fazer streaming de sugestões de agentes humanos de volta.

Normalmente, fecha parcialmente ou indica à API Dialogflow quando terminar a stream para gerar a transcrição final e as sugestões do Agent Assist. Isto acontece nas interações de conversa, em que a API recebe o parâmetro is_final=true do resultado do reconhecimento, StreamingAnalyzeContentResponse.recognition_result.

O streaming prolongado reduz a necessidade de fechar parcialmente as frases nas mudanças de conversa. Prolonga o limite de tempo da ligação para três minutos, durante os quais pode enviar streams de áudio sem fechar parcialmente. A API Dialogflow envia automaticamente as transcrições finais e as sugestões do Agent Assist de volta para o stream. Só reinicia a stream se esta expirar.

Noções básicas de streaming

A funcionalidade de streaming alargado do Agent Assist é semelhante ao streaming de áudio para a transcrição do CCAI. O seu sistema transmite dados de áudio para a API e o Dialogflow transmite de volta StreamingAnalyzeContentResponse dados. Os dados devolvidos incluem sugestões para os seus agentes humanos.

Para usar o streaming alargado, chame o método streamingAnalyzeContent.

O streaming alargado só suporta a fase do Assistente do agente. Veja a fase da conversa. Para usar esta funcionalidade:

  1. Chame o método streamingAnalyzeContent e defina os seguintes campos:
    • StreamingAnalyzeContentRequest.audio_config.audio_encoding: AUDIO_ENCODING_LINEAR_16 ou AUDIO_ENCODING_MULAW
    • enable_extended_streaming: true.
  2. O primeiro pedido streamingAnalyzeContent prepara a stream e define a sua configuração de áudio.
  3. Em pedidos subsequentes, envia bytes de áudio para a stream.
  4. Enquanto continuar a enviar áudio, continua a receber sugestões. Não precisa de fechar manualmente a stream. Fecha-se automaticamente assim que o Agent Assist deteta que as expressões foram interrompidas.
  5. Reinicie a stream (que inclui o reenvio da configuração de áudio inicial) nos seguintes casos:
    • A stream está danificada (a stream parou quando não devia).
    • Os seus dados de áudio estão a aproximar-se do limite de tempo automático de 3 minutos.
    • Recebeu um erro que pode ser repetido. Pode tentar até três vezes.