Erweitertes Streaming

Mit der erweiterten Streamingfunktion können Sie Audioinhalte an Dialogflow streamen und Vorschläge von Kundenservicemitarbeitern zurückstreamen.

Normalerweise schließen Sie den Stream halb oder teilen der Dialogflow API mit, wann er beendet werden soll, um das endgültige Transkript und die Vorschläge von Agent Assist zu generieren. Das passiert bei Gesprächswechseln, wenn die API den Parameter is_final=true aus dem Erkennungsergebnis StreamingAnalyzeContentResponse.recognition_result empfängt.

Durch das erweiterte Streaming muss die Kamera bei Unterhaltungswechseln nicht mehr halb geschlossen werden. Dadurch wird die Zeitüberschreitung der Verbindung auf drei Minuten verlängert. Während dieser Zeit können Sie Audiostreams senden, ohne dass die Verbindung halb geschlossen wird. Die Dialogflow API sendet die endgültigen Transkripte und Agent Assist-Vorschläge automatisch an den Stream zurück. Starten Sie den Stream nur neu, wenn die Zeitüberschreitung eintritt.

Grundlagen zum Streaming

Die erweiterte Streamingfunktion von Agent Assist ähnelt dem Audiostreaming für die CCAI-Transkription. Ihr System streamt Audiodaten an die API und Dialogflow streamt StreamingAnalyzeContentResponse-Daten zurück. Die zurückgegebenen Daten enthalten Vorschläge für Ihre Kundenservicemitarbeiter.

Wenn du erweitertes Streaming verwenden möchtest, rufe die Methode streamingAnalyzeContent auf.

Für erweitertes Streaming wird nur die Stufe „Kundenservicemitarbeiter unterstützen“ unterstützt. Weitere Informationen finden Sie unter Phase der Unterhaltung. So verwenden Sie dieses Feature:

  1. Rufen Sie die Methode streamingAnalyzeContent auf und legen Sie die folgenden Felder fest:
    • StreamingAnalyzeContentRequest.audio_config.audio_encoding: AUDIO_ENCODING_LINEAR_16 oder AUDIO_ENCODING_MULAW
    • enable_extended_streaming: true.
  2. Mit der ersten streamingAnalyzeContent-Anfrage wird der Stream vorbereitet und die Audiokonfiguration festgelegt.
  3. In nachfolgenden Anfragen sendest du Audiobytes an den Stream.
  4. Solange Sie Audio senden, erhalten Sie weiterhin Vorschläge. Sie müssen den Stream nicht manuell schließen. Es wird automatisch geschlossen, sobald Agent Assist erkennt, dass keine Äußerungen mehr getätigt werden.
  5. Starten Sie den Stream in den folgenden Fällen neu (einschließlich des erneuten Sendens der ursprünglichen Audiokonfiguration):
    • Der Stream ist unterbrochen (der Stream wurde beendet, obwohl das nicht hätte passieren sollen).
    • Ihre Audiodaten nähern sich der automatischen Zeitüberschreitung von 3 Minuten.
    • Sie haben einen wiederholbaren Fehler erhalten. Sie können es bis zu dreimal versuchen.