實驗

實驗可用於比較多個資料流版本 (變化版本) 與控制組版本 (通常為正式版) 在處理即時流量時的成效。您可以將部分即時流量分配給每個動態路徑版本,並監控下列指標:

  • 包含:未觸發下方其他指標,但已達到 END_SESSION 的工作階段數量。僅適用於使用電話整合服務的服務專員。
  • 真人服務專員轉介率轉介給真人服務專員的工作階段數量。
  • 回呼率:使用者重新啟動的工作階段數。僅適用於使用電話整合服務的服務專員。
  • 放棄率:最終使用者放棄的工作階段數量。僅適用於使用電話整合服務的服務專員。
  • 工作階段結束率:達到 END_SESSION 的工作階段數。
  • 總不相符計數不相符事件發生的總次數。
  • 總回合次數:對話回合的總數 (一個使用者輸入內容和一個服務專員回應視為一個回合)。
  • 平均回合數:平均回合數。

準備作業

如何為實驗做好準備:

  1. 決定實驗要使用的流程。您無法在單一流程中執行多個實驗,因此請務必將操作員劃分為多個流程。
  2. 為流程建立多個版本。每個版本之間的差異可能大或小,視您要比較的項目而定。
  3. 決定要分配給實驗的流量量。如果您要測試的是較小的變更,可以先從較高的流量開始。如果變更可能造成中斷,建議您將少量流量分配給實驗。

建立實驗

如何建立實驗:

  1. 開啟 Dialogflow CX 控制台
  2. 選取專案即可開啟代理程式選取器。
  3. 選取代理程式即可開啟代理程式建構工具。
  4. 選取「管理」分頁標籤。
  5. 按一下「實驗」開啟「實驗」面板。
  6. 選取「狀態」分頁。
  7. 按一下 [建立]。
  8. 輸入說明。
  9. 選取要執行實驗的環境
  10. 選取實驗的流程。
  11. 您可以選擇輸入實驗自動停止的日期。
  12. 輸入控制流程版本,以及將流量導向控制版本的百分比。
  13. 輸入一到四個變數流程版本,以及流向變數版本的流量百分比。
  14. 您可以視需要按一下「啟用自動推出和步驟」,逐步將流量推出至變體流程。自動實驗會以步驟為依據,步驟是指將流量百分比增加至變體流量的時間長度。自動推播功能僅支援單一變化版本流程。
    1. 在「推出規則」下方,您可以設定一或多個條件規則,決定實驗應如何逐步進行。
      1. 如果您選取「至少符合一項規則」,則實驗會在符合至少一項規則和目前步驟的時間長度時,繼續進行下一個步驟。
      2. 如果您選取「符合所有規則」,則實驗會在符合所有規則和目前步驟的時間長度後,繼續進行下一個步驟。
      3. 如果您選取「僅限步驟」,實驗會依據各步驟的時間長度進行。
    2. 在「增加步驟」下方,定義要分配給變化版本流量的流量百分比,以及每個步驟的時間長度。每個步驟的預設時間長度為 6 小時。
    3. 選取「停止條件」,設定一或多個停止傳送流量至變化版本流程的條件。請注意,停止後無法重啟實驗。
  15. 按一下 [儲存]

開始及停止實驗

您隨時可以啟動已儲存的實驗,或手動停止執行中的實驗。停止實驗後,系統會取消流量分配,並將流量還原為原始狀態。

如要開始或停止實驗,請按照下列步驟操作:

  1. 開啟「實驗」面板。
  2. 選取「狀態」分頁。
  3. 按一下清單中的實驗,然後點選「開始」或「停止」

管理實驗

您隨時可以編輯或刪除實驗:

  1. 開啟「實驗」面板。
  2. 選取「狀態」分頁。
  3. 按一下清單中實驗的 選項選單。
  4. 按一下「編輯」或「刪除」

監控實驗狀態

您可以在「實驗」面板中查看所有實驗,無論狀態為何。實驗有四種狀態:

  • 草稿:已建立實驗,但從未執行。
  • 待處理:實驗最近已開始,但尚未有結果。
  • 執行中:實驗正在進行,可查看中期結果。
  • 已完成:實驗已因自動或手動停止而完成。

查看實驗結果

如何查看實驗結果:

  1. 開啟 Dialogflow CX 控制台
  2. 選取專案即可開啟代理程式選取器。
  3. 選取代理程式即可開啟代理程式建構工具。
  4. 選取「管理」分頁標籤。
  5. 按一下「實驗」開啟「實驗」面板。
  6. 選取「結果」分頁。
  7. 選取環境和實驗即可查看結果。

綠色結果表示結果良好,紅色結果表示結果不佳。請注意,在某些情況下,較高/較低的數字不一定較佳 (高放棄率 / 低放棄率)。

限制

限制如下:

  • 必須啟用「啟用互動記錄」服務代理設定。