您可以使用工具將 Playbook 連結至外部系統。這些系統可擴充 Playbook 的知識,並讓 Playbook 更有效率地執行複雜工作。
您可以使用內建工具,也可以根據需求建立自訂工具。
工具測試
建立工具後,您可以使用工具測試功能驗證工具是否正常運作。查看工具時,請按一下工具窗格上方的「測試」按鈕。這會在模擬器中開啟輸入工具。提供工具輸入內容,然後按一下「View Output」,確認工具輸出內容是否正確。
您也可以在範例中新增工具時使用工具測試功能。
內建工具
內建工具由 Google 代管。您可以在代理程式中啟用這些工具,而無需手動設定。
支援的內建工具如下:
Code Interpreter
:Google 第一方工具,結合程式碼產生和執行功能,可讓使用者執行各種工作,包括資料分析、資料視覺化、文字處理、解方程式或最佳化問題。
您的服務項目已最佳化,可決定應如何及何時叫用這些工具,但您可以提供其他範例,以符合您的用途。
示例應具有以下結構定義:
{
"toolUse": {
"tool": "projects/PROJECT_ID/locations/LOCATION_ID/agents/AGENT_ID/tools/df-code-interpreter-tool",
"action": "generate_and_execute",
"inputParameters": [
{
"name": "generate_and_execute input",
"value": "4 + 4"
}
],
"outputParameters": [
{
"name": "generate_and_execute output",
"value": {
"output_files": [
{
"name": "",
"contents": ""
}
],
"execution_result": "8",
"execution_error": "",
"generated_code": "GENERATED_CODE"
}
}
]
}
}
OpenAPI 工具
代理程式可以透過提供 OpenAPI 結構定義,使用 OpenAPI 工具連線至外部 API。根據預設,代理程式會代您呼叫 API。
您可以使用工具頁面上的「測試工具」功能,測試工具是否正確設定。當您在範例中新增工具叫用時,這項功能也會在範例檢視畫面中提供。
或者,您也可以在用戶端上執行 OpenAPI 工具。
結構定義範例:
openapi: 3.0.0
info:
title: Simple Pets API
version: 1.0.0
servers:
- url: 'https://api.pet-service-example.com/v1'
paths:
/pets/{petId}:
get:
summary: Return a pet by ID.
operationId: getPet
parameters:
- in: path
name: petId
required: true
description: Pet id
schema:
type: integer
responses:
200:
description: OK
/pets:
get:
summary: List all pets
operationId: listPets
parameters:
- name: petName
in: query
required: false
description: Pet name
schema:
type: string
- name: label
in: query
description: Pet label
style: form
explode: true
required: false
schema:
type: array
items:
type: string
- name: X-OWNER
in: header
description: Optional pet owner provided in the HTTP header
required: false
schema:
type: string
- name: X-SESSION
in: header
description: Dialogflow session id
required: false
schema:
$ref: "@dialogflow/sessionId"
responses:
'200':
description: An array of pets
content:
application/json:
schema:
type: array
items:
$ref: '#/components/schemas/Pet'
post:
summary: Create a new pet
operationId: createPet
requestBody:
description: Pet to add to the store
required: true
content:
application/json:
schema:
$ref: '#/components/schemas/Pet'
responses:
'201':
description: Pet created
content:
application/json:
schema:
$ref: '#/components/schemas/Pet'
components:
schemas:
Pet:
type: object
required:
- id
- name
properties:
id:
type: integer
format: int64
name:
type: string
owner:
type: string
label:
type: array
items:
type: string
您可以選擇使用內部結構定義參照 @dialogflow/sessionId
做為參數結構定義類型。使用這個參數結構定義類型時,系統會將目前對話的 Dialogflow 工作階段 ID 做為參數值提供。例如:
- name: X-SESSION
in: header
description: Dialogflow session id
required: false
schema:
$ref: "@dialogflow/sessionId"
OpenAPI 工具限制
限制如下:
- 支援的參數類型為
path
、query
、header
。系統尚不支援cookie
參數類型。 - OpenAPI 結構定義的參數支援下列資料類型:
string
、number
、integer
、boolean
、array
。目前尚不支援object
類型。 - 您目前無法在主控台範例編輯器中指定查詢參數。
- 要求和回應主體必須為空白或 JSON。
OpenAPI 工具結構定義產生
提供結構定義時,您可以使用「使用 Gemini」按鈕,利用生成式 AI 建立結構定義。您可以提供下列資訊,引導系統產生內容:
- 要求的網址
- HTTP 方法 (GET、POST 等)
- 輸入內容範例
- 輸出內容範例
- 說明工具的文字提示
產生之後,您可以視需要編輯,並手動新增其他網址和方法。
OpenAPI 工具 API 驗證
呼叫外部 API 時,系統支援下列驗證選項:
Dialogflow 服務代理人驗證
Dialogflow 可以使用 Dialogflow 服務代理人產生ID 權杖。當 Dialogflow 呼叫外部 API 時,系統會在授權 HTTP 標頭中新增權杖。
將 roles/cloudfunctions.invoker 和 roles/run.invoker 角色授予 service-agent-project-number@gcp-sa-dialogflow.iam.gserviceaccount.com 後,即可使用 ID 權杖存取 Cloud Run 函式和 Cloud Run 服務。如果 Cloud Run 函式和 Cloud Run 服務位於同一個資源專案中,您就不需額外的 IAM 權限即可呼叫這些函式。
服務帳戶驗證
服務帳戶可用於驗證工具要求,對任何支援的 Google API 發出要求。
如果您尚未建立服務帳戶,請建立。
由於服務帳戶是使用者,因此只要授予服務帳戶角色,即可存取專案中的資源,就像為任何其他使用者授予角色一樣。服務帳戶電子郵件會用於產生存取權存證,並透過工具要求的 Authorization
標頭傳送。
設定工具使用服務帳戶的使用者必須具備下列權限:
roles/iam.serviceAccountUser
如要讓 Conversational Agents (Dialogflow CX) 產生權杖,Dialogflow 服務專員必須具備下列權限:
roles/iam.serviceAccountTokenCreator
服務帳戶也必須具備存取代管工具的服務權限。
API 金鑰
- 您可以提供金鑰名稱、要求位置 (標頭或查詢字串) 和 API 金鑰,藉此設定 API 金鑰驗證,讓 Dialogflow 在要求中傳遞 API 金鑰。
- 建議您使用 Secret Manager 提供 API 金鑰。2025 年 8 月 15 日之後,匯出的代理程式將不再包含原始值 API 金鑰。
OAuth
OAuth 用戶端憑證流程支援伺服器對伺服器驗證:
- 如果 AI 應用程式控制台是資源擁有者,且不需要使用者授權,就可以使用這個流程。
- 您必須在 Dialogflow 中設定 OAuth 供應商的用戶端 ID、用戶端密鑰和權杖端點。
- 建議您使用 Secret Manager 提供用戶端密鑰。自 2025 年 8 月 15 日起,匯出的代理程式將不再包含原始值用戶端密鑰。
- Dialogflow 會從 OAuth 供應器交換 OAuth 存取權杖,並在要求的授權標頭中傳遞該權杖。
對於需要使用者授權的其他 OAuth 流程 (例如授權碼流程和 PKCE 流程):
- 您必須實作自己的登入 UI,並在用戶端取得存取權權杖。
接著,您可以採取下列任一做法:
a. 使用「不記名權杖」驗證選項,將權杖傳遞至 OpenAPI 工具。在叫用工具時,Dialogflow 會在授權標頭中加入這個權杖。
b. 使用「函式」工具,自行在用戶端上叫用工具,並將工具呼叫結果傳遞至 Dialogflow。
不記名憑證
- 您可以設定 Bearer 驗證機制,讓系統動態傳遞來自用戶端的 Bearer 權杖。這個符記會包含在要求的授權標頭中。
- 設定工具驗證時,您可以指定工作階段參數,讓其充當 Bearer 權杖。例如,使用
$session.params.<parameter-name-for-token>
指定符記。 在執行階段將 Bearer 權杖指派給工作階段參數:
DetectIntentRequest { ... query_params { parameters { <parameter-name-for-token>: <the-auth-token> } } ... }
如果您需要設定靜態權杖,而非從工作階段參數擷取權杖,建議您使用 Secret Manager 提供權杖。2025 年 8 月 15 日之後,匯出的代理程式將不再包含原始值 Bearer 權杖。
雙向傳輸層安全標準 (TLS) 驗證
- 請參閱「雙向傳輸層安全標準 (TLS) 驗證」說明文件。
- 系統支援自訂用戶端憑證。您可以在代理程式設定的「安全性」分頁中,以代理程式層級設定用戶端憑證。憑證 (PEM 格式) 和私密金鑰 (PEM 格式) 是必要欄位。設定完成後,系統會在 mTLS 期間為所有工具和 webhook 使用此用戶端憑證。
自訂 CA 憑證
- 請參閱自訂 CA 憑證說明文件。
Secret Manager 驗證
如果您使用 OAuth、API 金鑰或 Bearer 權杖,可以使用 Secret Manager 將憑證儲存為密鑰。以下是使用密鑰驗證工具的必要步驟:
- 如果尚未建立機密金鑰,請建立機密金鑰。
- 為新密鑰授予 Dialogflow 服務代理 Secret Manager 密鑰存取者 (
roles/secretmanager.secretAccessor
) 角色。 - 將憑證複製到剪貼簿。
- 新增密鑰版本。將憑證貼上做為 Secret 值。
- 請省略結尾的任何換行字元。
- 複製剛新增的密鑰版本名稱。名稱格式為
projects/{project_id}/secrets/{secret_id}/versions/{version_id}"
。 - 開啟工具編輯畫面,然後執行以下操作:
- 如果您使用 OAuth,請選取「OAuth」做為「驗證類型」,然後點選「用戶端密鑰」下方的「密鑰版本」,並將密鑰版本名稱貼到「密鑰版本」輸入框。
- 如果您使用 API 金鑰,請選取「API 金鑰」做為「驗證類型」,然後點選「API 金鑰」下方的「Secret version」。將密鑰版本名稱貼到「密鑰版本」輸入框。
- 如果您使用權杖,請選取「Bearer token」做為「Authentication type」,然後點選「Bearer token」下方的「Secret version」。將密鑰版本名稱貼到「密鑰版本」輸入框。
- 按一下 [儲存]。
OpenAPI 工具私人網路存取權
OpenAPI 工具會整合 Service Directory 私人網路存取權,因此可連線至虛擬私有雲網路中的 API 目標。這麼做可確保流量保留在 Google Cloud 網路中,並強制執行 IAM 和 VPC Service Controls。
如要設定指定私人網路的 OpenAPI 工具,請按照下列步驟操作:
請按照Service Directory 私人網路設定設定虛擬私有雲網路和 Service Directory 端點。
代理程式專案必須有以下地址的 Dialogflow 服務代理程式 服務帳戶:
將下列 IAM 角色授予 Dialogflow 服務代理服務帳戶:service-agent-project-number@gcp-sa-dialogflow.iam.gserviceaccount.com
- Service Directory 專案的
servicedirectory.viewer
- 網路專案的
servicedirectory.pscAuthorizedService
- Service Directory 專案的
建立工具時,請一併提供服務目錄服務、OpenAPI 結構定義和選用的驗證資訊。
OpenAPI 工具工作階段參數存取權
Open API 工具的輸入內容,是根據使用者與 LLM 的對話內容,並以結構定義做為指南。在某些情況下,您可能需要從工作流程期間收集到的工作階段參數衍生輸入內容,或是將輸入內容做為查詢參數輸入內容,並與使用者輸入內容一併提供。
需要以輸入內容傳遞的工作階段參數,可以指定為
parameters:
- in: query
name: petId
required: true
description: Pet id
schema:
type: integer
x-agent-input-parameter: petId # Reads from the $session.params.petId
- in: header
name: X-other
schema:
type: string
x-agent-input-parameter: $request.payload.header # Reads from the header specified in the request payload input
requestBody:
required: false
content:
application/json:
schema:
type: object
properties:
name:
type: string
x-agent-input-parameter: petName # Reads from the $session.params.petName
description: Name of the person to greet (optional).
breed:
type: string
description: Bread of the pet.
如果沒有這類工作階段參數,系統會將 LLM 產生的輸入內容傳遞給工具。
OpenAPI 工具的預設值
您可以使用公開 API 結構定義指定預設值。只有在該參數或屬性沒有 LLM 產生的輸入值或工作階段參數輸入值時,系統才會使用預設值。
您可以將預設值指定為結構定義的一部分,如下所示:
parameters:
- in: query
name: zipcode
required: true
description: Zip code to search for
schema:
type: integer
default: 94043
requestBody:
content:
application/json:
schema:
type: object
properties:
breed:
type: string
description: Bread of the pet.
page_size:
type: integer
description: Number of pets to return.
default: 10
如果沒有 LLM 產生的值、工作階段參數值或預設值,則輸入內容會是未指定。
資料儲存庫工具
如要瞭解如何搭配 Playbook 使用資料儲存庫工具,請參閱 資料儲存庫工具說明文件。
連接器工具
代理人可以使用連接器工具,透過在整合連接器中設定的連線執行動作。每個連接器工具都會設定單一連線和一或多個動作。如有需要,您可以為單一連線建立多個工具,將不同動作分組,供您的代理程式使用。
連接器工具支援下列連接器類型:
- BigQuery
- CloudSQL - SQL Server
- Jira Service Management
- Oracle 資料庫
- PayPal
- Salesforce
- Salesforce Marketing Cloud
- ServiceNow
- SharePoint
- Stripe
- Zendesk
您應使用範例,展示服務專員應如何呼叫工具及使用回應,以便提升服務專員對連接器工具的使用技巧。
建立連線
如要建立連線並連結至代理程式,請依序前往「Tools」 >「Create」,選取「Connector」工具類型,以及您選擇的連結器類型,然後使用「Create Connection」按鈕。系統會將您導向至 Integration Connectors 建立頁面,並預先填入多個欄位。
或者,您也可以前往「整合連接器」,然後按照操作說明建立連線。
連接器動作
每個連接器工具都有兩種可供服務機器人使用的動作 (詳情請參閱「實體、作業和動作」):
實體 CRUD 作業
每個連線都有「實體」,對應至該資料來源的物件 (對於 BigQuery,這些是資料表;對於 Salesforce,這些是物件,例如「Order」或「Case」)。
您可以對每個實體執行 CRUD 作業:- Create:建立具有指定欄位值的實體
- 清單:以篩選器為依據搜尋實體例項
- 更新:以篩選器為基礎的方法,用於變更實體欄位值
- 刪除:刪除實體
- Get 會使用 entityId
擷取單一實體
如要進一步瞭解實體的 CRUD 作業詳細資料,請參閱 連接器說明文件。
- Create:建立具有指定欄位值的實體
連接器專屬動作
許多連接器都支援 「ExecuteCustomQuery」 動作,可對資料來源執行 SQL 查詢,其中每個資料來源實體可做為資料表參照。請參閱支援的連接器清單。
其他動作會因連接器類型而異,例如請參閱 BigQuery 連接器動作或 Salesforce 連接器動作。
設定 CRUD 作業的輸入 / 輸出欄位
只要為連接器工具動作選取特定輸入或輸出欄位,就能限制這些動作對服務機器人的複雜度。
舉例來說,如果您只需要使用實體的子集欄位建立實體,在動作中設定這組欄位,就能簡化代理程式的動作。
指定一組輸出欄位可縮減工具回應大小 (如果您擔心符記限制,這項做法就很有幫助),並且只公開相關欄位,簡化服務專員處理輸出內容的方式。
驗證
如果您使用的連線已設定為允許驗證覆寫,則可將工具設為透過指定的工作階段參數傳遞憑證。
您身為代理程式建構工具,必須負責決定如何將這些憑證填入工作階段參數,而工具會在呼叫工具動作時,自動將這些憑證傳遞至用於驗證的資料來源。
函式工具
如果您有可透過用戶端程式碼存取的功能,但無法透過 OpenAPI 工具存取,則可以使用函式工具。函式工具一律會在用戶端執行,而非由代理程式執行。
程序如下:
- 用戶端程式碼會傳送偵測意圖要求。
- 代理程式會偵測到需要函式工具,而偵測意圖回應會包含工具名稱和輸入引數。在收到另一個含有工具結果的偵測意圖要求前,這個工作階段會處於暫停狀態。
- 您的用戶端程式碼會呼叫這項工具。
- 您的用戶端程式碼會傳送另一個偵測意圖要求,以輸出引數的形式提供工具結果。
以下範例顯示函式工具的輸入和輸出結構定義:
{
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "The city and state, for example, San Francisco, CA"
}
},
"required": [
"location"
]
}
{
"type": "object",
"properties": {
"temperature": {
"type": "number",
"description": "The temperature"
}
}
}
以下範例說明使用 REST 的初始意圖偵測要求和回應:
HTTP method and URL:
POST https://REGION_ID-dialogflow.googleapis.com/v3/projects/PROJECT_ID/locations/LOCATION_ID/agents/AGENT_ID/sessions/SESSION_ID:detectIntent
{
"queryInput": {
"text": {
"text": "what is the weather in Mountain View"
},
"languageCode": "en"
}
}
{
"queryResult": {
"text": "what is the weather in Mountain View",
"languageCode": "en",
"responseMessages": [
{
"source": "VIRTUAL_AGENT",
"toolCall": {
"tool": "<tool-resource-name>",
"action": "get-weather-tool",
"inputParameters": {
"location": "Mountain View"
}
}
}
]
}
}
以下範例顯示第二個偵測意圖要求,該要求會提供工具結果:
{
"queryInput": {
"toolCallResult": {
"tool": "<tool-resource-name>",
"action": "get-weather-tool",
"outputParameters": {
"temperature": 28.0
}
},
"languageCode": "en"
}
}
用戶端執行
如同函式工具,OpenAPI 和資料儲存庫工具可以在與工作階段互動時,透過套用 API 覆寫值在用戶端執行。
例如:
DetectIntentRequest {
...
query_params {
playbook_state_override {
playbook_execution_mode: ALWAYS_CLIENT_EXECUTION
}
}
...
}
程序如下:
- 您的用戶端程式碼會傳送指定用戶端執行作業的偵測意圖要求。
- 代理程式會偵測到需要工具,而「偵測意圖」回應會包含工具名稱和輸入引數。在收到另一個含有工具結果的偵測意圖要求前,這個工作階段會處於暫停狀態。
- 您的用戶端程式碼會呼叫這項工具。
- 您的用戶端程式碼會傳送另一個偵測意圖要求,以輸出引數的形式提供工具結果。