Streaming étendu

Vous pouvez utiliser la fonctionnalité de streaming étendu pour diffuser du contenu audio vers Dialogflow et renvoyer des suggestions d'agents humains en streaming.

Normalement, vous fermez à moitié ou indiquez à l'API Dialogflow quand mettre fin au flux pour générer la transcription finale et les suggestions d'Agent Assist. Cela se produit lors des tours de conversation, lorsque l'API reçoit le paramètre is_final=true du résultat de la reconnaissance, StreamingAnalyzeContentResponse.recognition_result.

Le streaming étendu réduit la nécessité de fermer à moitié la caméra lors des tours de conversation. Il prolonge le délai avant expiration de la connexion à trois minutes, pendant lesquelles vous pouvez envoyer des flux audio sans fermer la connexion à moitié. L'API Dialogflow renvoie automatiquement les transcriptions finales et les suggestions d'Agent Assist au flux. Vous ne redémarrez le flux que s'il expire.

Principes de base du streaming

La fonctionnalité de streaming étendu d'Agent Assist est semblable au streaming audio pour la transcription CCAI. Votre système transmet des données audio à l'API, et Dialogflow renvoie des données StreamingAnalyzeContentResponse. Les données renvoyées incluent des suggestions pour vos agents humains.

Pour utiliser le streaming étendu, appelez la méthode streamingAnalyzeContent.

Le streaming étendu n'est compatible qu'avec la phase d'assistance de l'agent. Voir Étape de la conversation. Pour utiliser cette fonction :

  1. Appelez la méthode streamingAnalyzeContent et définissez les champs suivants :
    • StreamingAnalyzeContentRequest.audio_config.audio_encoding : AUDIO_ENCODING_LINEAR_16 ou AUDIO_ENCODING_MULAW
    • enable_extended_streaming : true.
  2. La première requête streamingAnalyzeContent prépare le flux et définit votre configuration audio.
  3. Dans les requêtes suivantes, vous envoyez des octets audio au flux.
  4. Tant que vous continuerez à envoyer de l'audio, vous continuerez à recevoir des suggestions. Vous n'avez pas besoin de fermer manuellement le flux. Elle se fermera automatiquement une fois qu'Agent Assist détectera que les énoncés ont cessé.
  5. Redémarrez le flux (ce qui inclut le renvoi de la configuration audio initiale) dans les cas suivants :
    • Le flux est interrompu (il s'est arrêté alors qu'il n'aurait pas dû).
    • Vos données audio approchent du délai d'inactivité automatique de trois minutes.
    • Vous avez reçu une erreur récupérable. Vous pouvez réessayer jusqu'à trois fois.