測試案例

您可以使用內建測試功能找出錯誤,並防止回歸。如要測試您的代理程式,您可以使用模擬工具與代理程式互動,並將對話儲存為測試案例。

儲存測試案例時,系統會將對話期間發生的意圖比對、應對手冊動作、啟用的流程和啟用的頁面,儲存為測試案例預期結果。稍後更新服務機器人後,執行測試案例時,系統會驗證這些預期結果。您也可以在建立或編輯測試案例時編輯這些預期值。

建立測試案例

如要使用模擬器建立測試案例,請按照下列步驟操作:

  1. 開啟模擬器。
  2. 與服務專員對話。
  3. 按一下模擬器上方的「Create test case」按鈕。
  4. 測試案例編輯器面板隨即開啟。 提供測試案例顯示名稱,並視需要編輯任何預期值
  5. 按一下模擬器上方的「Save test case」按鈕。

執行測試案例

如要執行單一測試案例,請按照下列步驟操作:

  1. 按一下左側導覽面板中的「測試案例」
  2. 選取要執行的測試案例。
  3. 按一下「執行」按鈕。
  4. 系統會顯示測試案例記錄結果。

如要執行多個測試案例:

  1. 按一下左側導覽面板中的「測試案例」
  2. 使用左側的核取方塊選取要執行的測試案例。
  3. 按一下「執行所選項目」
  4. 每個測試案例都會顯示最新的測試執行結果。

編輯測試案例

編輯測試案例時,您無法編輯使用者訊息或服務專員回覆,但可以變更下列項目:

  • 新增期望
  • 刪除期望
  • 更新期望

如要編輯測試案例,請按照下列步驟操作:

  1. 按一下左側導覽面板中的「測試案例」
  2. 選取要編輯的測試案例。
  3. 按一下測試案例摘要上方的「編輯」按鈕。
  4. 您可以展開「對話層級預期」部分,編輯適用於整個對話的預期
  5. 每個對話回合都會顯示使用者訊息、代理程式回應,以及該回合的預期。您無法編輯訊息,但可以編輯轉換層級預期。

刪除測試案例

如要刪除測試案例,請按照下列步驟操作:

  1. 按一下左側導覽面板中的「測試案例」
  2. 使用左側的核取方塊選取要刪除的測試案例。
  3. 按一下「刪除所選測試案例」

期望

為測試案例提供預期結果時,您可以提供對話層級預期結果回合層級預期結果

對話層級預期適用於整個對話,您可以提供下列預期類型:

  • 使用工具
  • 流程叫用
  • 應對手冊叫用

輪次層級預期值僅適用於特定對話輪次,您可以提供下列預期值類型:

  • 服務專員回應
  • 目前流量
  • 目前意圖
  • 目前頁面
  • 使用工具
  • 流程叫用
  • 應對手冊叫用

舊版測試案例

您可以使用內建的測試功能找出錯誤,並防止發生迴歸問題。如要測試代理程式,您可以使用模擬器建立測試案例,藉此定義黃金測試案例,然後視需要執行測試案例。執行測試時,系統會驗證服務機器人回應是否未變更,以便處理測試案例中定義的使用者輸入內容。

下方操作說明會說明如何使用控制台,但您也可以在 API 中找到相同的功能。

模擬器設定

首次開啟模擬器時,您需要選取代理程式環境或流程版本,以及有效的流程。在大多數情況下,您都應使用草稿環境和預設啟動流程。

您也可以隨時使用 webhook 切換按鈕啟用或停用 webhook 呼叫。在定義測試案例時,停用 webhook 會很有幫助。

模擬器輸入

與模擬器互動時,您可以以文字形式提供使用者輸入內容,然後按下 Enter 鍵或點選「Send」按鈕。除了純文字外,您也可以使用輸入 選取器選擇其他輸入類型:

  • 參數:插入參數值。您可以提供新的參數,或為現有參數提供預設值。
  • 事件:叫用事件
  • DTMF:傳送雙音多頻信號 (Touch-Tone) 輸入內容,用於電話互動。

建立測試案例

如要建立對話,請按照下列步驟操作:

  1. 開啟 Dialogflow CX 控制台
  2. 選擇專案。
  3. 選取代理程式。
  4. 按一下「Test Agent」開啟模擬器。
  5. 與服務專員進行即時通訊,建立涵蓋您要測試的功能的對話。針對每個回合,請確認觸發意圖、介面回應、有效頁面和工作階段參數的正確值。

模擬工具螢幕截圖。

如何將對話儲存為測試案例:

  1. 按一下「儲存」 按鈕。
  2. 輸入測試案例顯示名稱。每個測試案例的顯示名稱皆不得重複。
  3. 您可以選擇提供標籤名稱。標記可協助您整理測試案例。所有標記的開頭都必須是「#」。
  4. 您可以視需要提供附註,說明測試案例的用途。
  5. 視需要選取要在測試案例中追蹤的參數。系統會提供建議的參數清單。您也可以輸入其他參數來追蹤。如果選取追蹤參數,系統會在執行測試案例時檢查參數斷言。如要進一步瞭解參數斷言,請參閱「執行測試案例」一節。
  6. 按一下「儲存」,儲存測試案例。

執行測試案例

如要查看服務專員的所有測試案例,請按一下「管理」分頁中的「測試案例」。測試案例表格會顯示測試名稱、標記、最近的測試時間和環境,以及最新的測試結果。

如何執行測試案例:

  1. 選取要執行的測試案例,然後按一下「執行」。或者,您也可以按一下「Run all test cases」
  2. 選取要執行測試案例的環境。
  3. 測試開始執行,您可以在工作佇列中查看狀態。測試完成後,系統會更新測試結果。

如要查看測試詳細結果,請按一下測試案例。黃金測試案例最新執行對話會並排顯示。

模擬工具螢幕截圖。

您可以按一下任何服務機器人的對話回合,查看該回合的詳細資料。測試引擎會逐次檢查下列類型的資料,以評估測試結果:

  • 服務專員對話

    針對每個對話回合,系統會比較服務專員對話的黃金版與最新執行結果。如果有任何差異,系統會顯示警告。這些差異不會導致測試失敗,因為相同的服務機器人狀態通常會有不同的服務機器人對話。

  • 比對成功的意圖

    每個回合都必須有相同的符合意圖,才能通過測試。

  • 目前頁面

    每個回合都必須使用相同的有效網頁,測試才能通過。

  • 工作階段參數

    如果您在建立測試案例時新增了追蹤參數,測試引擎會檢查對應的工作階段參數,並在缺少/意外的參數或參數值不相符時,使測試失敗。

在某些情況下,測試案例可能會因更新的代理程式而發生預期的失敗。如果最新執行的對話內容反映預期的變更,您可以按一下「Save as golden」來覆寫黃金測試案例

編輯測試案例

如要編輯測試案例,請從「測試案例」表格中選取測試案例,然後按一下測試案例名稱旁的編輯 圖示。系統隨即會顯示「Update Test Cases」對話方塊。

如要編輯測試案例的中繼資料和設定,請按一下「設定」分頁標籤。

  1. 您可以編輯「測試案例名稱」、「標記」和「附註」欄位,或新增追蹤參數。

  2. 按一下 [儲存]

如要編輯測試案例的使用者輸入內容,請按一下「使用者輸入內容」分頁標籤。

  1. 以 JSON 格式新增、移除或編輯使用者輸入內容。

  2. 按一下「Confirm」(確認)。系統會開始自動測試,並在測試完成後顯示更新後的對話。

  3. 按一下「儲存」即可覆寫原始的黃金測試案例,或按一下「儲存為」即可建立含有變更內容的新測試案例。

查看測試涵蓋範圍

如要查看所有測試案例的測試涵蓋率報告,請按一下「涵蓋率」

「涵蓋率」頁面包含下列分頁:

  • 系統會針對所有狀態處理常式 (不含路徑群組) 的轉場,判斷測試案例執行的轉場目標。表格中會列出來源流程/頁面和轉換目標流程/頁面。

  • 系統會針對測試案例比對的所有意圖,判斷意圖涵蓋率。

  • 系統會針對測試案例比對的所有路由群組,判斷路由群組涵蓋範圍。

匯入及匯出測試案例

如何匯出測試案例:

  1. 選取測試案例,然後按一下「匯出」或「匯出所有測試案例」
  2. 按一下「下載至本機檔案」,或提供 Cloud Storage 值區 URI,然後按一下「匯出至 Google Cloud Storage」

匯入測試案例時,Conversational Agents (Dialogflow CX) 一律會為目標對話方建立新的測試案例,且不會覆寫任何現有測試案例。如何匯入測試案例:

  1. 按一下「匯入」
  2. 選擇本機檔案或提供 Cloud Storage 值區 URI。