Streaming estendido

Você pode usar o recurso de streaming estendido para transmitir conteúdo de áudio para o Dialogflow e enviar sugestões de agentes humanos.

Normalmente, você fecha parcialmente ou informa à API Dialogflow quando encerrar a transmissão para gerar a transcrição final e as sugestões do Assistente do agente. Isso acontece nas rodadas de conversa, em que a API recebe o parâmetro is_final=true do resultado de reconhecimento, StreamingAnalyzeContentResponse.recognition_result.

O streaming estendido reduz a necessidade de fechar parcialmente as conversas. Ele estende o tempo limite de conexão para três minutos, durante os quais você pode enviar streams de áudio sem fechar parcialmente. A API Dialogflow envia automaticamente as transcrições finais e as sugestões do Assistente do agente de volta para o fluxo. Você só reinicia o stream se ele expirar.

Princípios básicos de streaming

O recurso de streaming estendido do Agent Assist é semelhante ao streaming de áudio para a transcrição da CCAI. Seu sistema transmite dados de áudio para a API, e o Dialogflow transmite dados de StreamingAnalyzeContentResponse de volta. Os dados retornados incluem sugestões para seus agentes humanos.

Para usar o streaming estendido, chame o método streamingAnalyzeContent.

O streaming estendido só oferece suporte à etapa de assistência do agente. Consulte fase da conversa. Para usar este recurso, siga estas etapas:

  1. Chame o método streamingAnalyzeContent e defina os seguintes campos:
    • StreamingAnalyzeContentRequest.audio_config.audio_encoding: AUDIO_ENCODING_LINEAR_16 ou AUDIO_ENCODING_MULAW
    • enable_extended_streaming: true.
  2. A primeira solicitação streamingAnalyzeContent prepara o stream e define a configuração de áudio.
  3. Em solicitações subsequentes, você envia bytes de áudio para o stream.
  4. Enquanto você continuar enviando áudio, vai continuar recebendo sugestões. Não é necessário fechar o stream manualmente. Ele será fechado automaticamente quando o Agente Assist detectar que as falas foram interrompidas.
  5. Reinicie o stream, o que inclui o reenvio da configuração inicial de áudio, nos seguintes casos:
    • O stream está corrompido (ele parou quando não deveria).
    • Seus dados de áudio estão se aproximando do tempo limite automático de 3 minutos.
    • Você recebeu um erro que permite uma nova tentativa. Você pode tentar até três vezes.