您可以使用內建測試功能找出錯誤,並防止回歸。如要測試您的代理程式,您可以使用模擬工具與代理程式互動,並將對話儲存為測試案例。
儲存測試案例時,系統會將對話期間發生的意圖比對、應對手冊動作、啟用的流程和啟用的頁面,儲存為測試案例預期結果。稍後更新服務機器人後,執行測試案例時,系統會驗證這些預期結果。您也可以在建立或編輯測試案例時編輯這些預期值。
建立測試案例
如要使用模擬器建立測試案例,請按照下列步驟操作:
- 開啟模擬器。
- 與服務專員對話。
- 按一下模擬器上方的「Create test case」按鈕。
- 測試案例編輯器面板隨即開啟。 提供測試案例顯示名稱,並視需要編輯任何預期值。
- 按一下模擬器上方的「Save test case」按鈕。
執行測試案例
如要執行單一測試案例,請按照下列步驟操作:
- 按一下左側導覽面板中的「測試案例」。
- 選取要執行的測試案例。
- 按一下「執行」按鈕。
- 系統會顯示測試案例記錄結果。
如要執行多個測試案例:
- 按一下左側導覽面板中的「測試案例」。
- 使用左側的核取方塊選取要執行的測試案例。
- 按一下「執行所選項目」。
- 每個測試案例都會顯示最新的測試執行結果。
編輯測試案例
編輯測試案例時,您無法編輯使用者訊息或服務專員回覆,但可以變更下列項目:
- 新增期望
- 刪除期望
- 更新期望
如要編輯測試案例,請按照下列步驟操作:
- 按一下左側導覽面板中的「測試案例」。
- 選取要編輯的測試案例。
- 按一下測試案例摘要上方的「編輯」按鈕。
- 您可以展開「對話層級預期」部分,編輯適用於整個對話的預期。
- 每個對話回合都會顯示使用者訊息、代理程式回應,以及該回合的預期。您無法編輯訊息,但可以編輯轉換層級預期。
刪除測試案例
如要刪除測試案例,請按照下列步驟操作:
- 按一下左側導覽面板中的「測試案例」。
- 使用左側的核取方塊選取要刪除的測試案例。
- 按一下「刪除所選測試案例」。
期望
為測試案例提供預期結果時,您可以提供對話層級預期結果或回合層級預期結果。
對話層級預期適用於整個對話,您可以提供下列預期類型:
- 使用工具
- 流程叫用
- 應對手冊叫用
輪次層級預期值僅適用於特定對話輪次,您可以提供下列預期值類型:
- 服務專員回應
- 目前流量
- 目前意圖
- 目前頁面
- 使用工具
- 流程叫用
- 應對手冊叫用
舊版測試案例
您可以使用內建的測試功能找出錯誤,並防止發生迴歸問題。如要測試代理程式,您可以使用模擬器建立測試案例,藉此定義黃金測試案例,然後視需要執行測試案例。執行測試時,系統會驗證服務機器人回應是否未變更,以便處理測試案例中定義的使用者輸入內容。
下方操作說明會說明如何使用控制台,但您也可以在 API 中找到相同的功能。
模擬器設定
首次開啟模擬器時,您需要選取代理程式環境或流程版本,以及有效的流程。在大多數情況下,您都應使用草稿環境和預設啟動流程。
您也可以隨時使用 webhook 切換按鈕啟用或停用 webhook 呼叫。在定義測試案例時,停用 webhook 會很有幫助。
模擬器輸入
與模擬器互動時,您可以以文字形式提供使用者輸入內容,然後按下 Enter 鍵或點選「Send」
按鈕。除了純文字外,您也可以使用輸入 選取器選擇其他輸入類型:建立測試案例
如要建立對話,請按照下列步驟操作:
- 開啟 Dialogflow CX 控制台。
- 選擇專案。
- 選取代理程式。
- 按一下「Test Agent」開啟模擬器。
- 與服務專員進行即時通訊,建立涵蓋您要測試的功能的對話。針對每個回合,請確認觸發意圖、介面回應、有效頁面和工作階段參數的正確值。
如何將對話儲存為測試案例:
- 按一下「儲存」 按鈕。
- 輸入測試案例顯示名稱。每個測試案例的顯示名稱皆不得重複。
- 您可以選擇提供標籤名稱。標記可協助您整理測試案例。所有標記的開頭都必須是「#」。
- 您可以視需要提供附註,說明測試案例的用途。
- 視需要選取要在測試案例中追蹤的參數。系統會提供建議的參數清單。您也可以輸入其他參數來追蹤。如果選取追蹤參數,系統會在執行測試案例時檢查參數斷言。如要進一步瞭解參數斷言,請參閱「執行測試案例」一節。
- 按一下「儲存」,儲存測試案例。
執行測試案例
如要查看服務專員的所有測試案例,請按一下「管理」分頁中的「測試案例」。測試案例表格會顯示測試名稱、標記、最近的測試時間和環境,以及最新的測試結果。
如何執行測試案例:
- 選取要執行的測試案例,然後按一下「執行」。或者,您也可以按一下「Run all test cases」。
- 選取要執行測試案例的環境。
- 測試開始執行,您可以在工作佇列中查看狀態。測試完成後,系統會更新測試結果。
如要查看測試詳細結果,請按一下測試案例。黃金測試案例和最新執行對話會並排顯示。
您可以按一下任何服務機器人的對話回合,查看該回合的詳細資料。測試引擎會逐次檢查下列類型的資料,以評估測試結果:
服務專員對話:
針對每個對話回合,系統會比較服務專員對話的黃金版與最新執行結果。如果有任何差異,系統會顯示警告。這些差異不會導致測試失敗,因為相同的服務機器人狀態通常會有不同的服務機器人對話。
比對成功的意圖:
每個回合都必須有相同的符合意圖,才能通過測試。
目前頁面:
每個回合都必須使用相同的有效網頁,測試才能通過。
工作階段參數:
如果您在建立測試案例時新增了追蹤參數,測試引擎會檢查對應的工作階段參數,並在缺少/意外的參數或參數值不相符時,使測試失敗。
在某些情況下,測試案例可能會因更新的代理程式而發生預期的失敗。如果最新執行的對話內容反映預期的變更,您可以按一下「Save as golden」來覆寫黃金測試案例。
編輯測試案例
如要編輯測試案例,請從「測試案例」表格中選取測試案例,然後按一下測試案例名稱旁的編輯
圖示。系統隨即會顯示「Update Test Cases」對話方塊。如要編輯測試案例的中繼資料和設定,請按一下「設定」分頁標籤。
您可以編輯「測試案例名稱」、「標記」和「附註」欄位,或新增追蹤參數。
按一下 [儲存]。
如要編輯測試案例的使用者輸入內容,請按一下「使用者輸入內容」分頁標籤。
以 JSON 格式新增、移除或編輯使用者輸入內容。
按一下「Confirm」(確認)。系統會開始自動測試,並在測試完成後顯示更新後的對話。
按一下「儲存」即可覆寫原始的黃金測試案例,或按一下「儲存為」即可建立含有變更內容的新測試案例。
查看測試涵蓋範圍
如要查看所有測試案例的測試涵蓋率報告,請按一下「涵蓋率」。
「涵蓋率」頁面包含下列分頁:
系統會針對所有狀態處理常式 (不含路徑群組) 的轉場,判斷測試案例執行的轉場目標。表格中會列出來源流程/頁面和轉換目標流程/頁面。
系統會針對測試案例比對的所有意圖,判斷意圖涵蓋率。
系統會針對測試案例比對的所有路由群組,判斷路由群組涵蓋範圍。
匯入及匯出測試案例
如何匯出測試案例:
- 選取測試案例,然後按一下「匯出」或「匯出所有測試案例」。
- 按一下「下載至本機檔案」,或提供 Cloud Storage 值區 URI,然後按一下「匯出至 Google Cloud Storage」。
匯入測試案例時,Conversational Agents (Dialogflow CX) 一律會為目標對話方建立新的測試案例,且不會覆寫任何現有測試案例。如何匯入測試案例:
- 按一下「匯入」。
- 選擇本機檔案或提供 Cloud Storage 值區 URI。