應對手冊工具

您可以使用工具將 Playbook 連結至外部系統。這些系統可擴充 Playbook 的知識,並讓 Playbook 更有效率地執行複雜工作。

您可以使用內建工具,也可以根據需求建立自訂工具。

工具測試

建立工具後,您可以使用工具測試功能驗證工具是否正常運作。查看工具時,請按一下工具窗格上方的「測試」按鈕。這會在模擬器中開啟輸入工具。提供工具輸入內容,然後按一下「View Output」,確認工具輸出內容是否正確。

您也可以在範例中新增工具時使用工具測試功能。

內建工具

內建工具由 Google 代管。您可以在代理程式中啟用這些工具,而無需手動設定。

支援的內建工具如下:

  • Code Interpreter:Google 第一方工具,結合程式碼產生和執行功能,可讓使用者執行各種工作,包括資料分析、資料視覺化、文字處理、解方程式或最佳化問題。

您的服務項目已最佳化,可決定應如何及何時叫用這些工具,但您可以提供其他範例,以符合您的用途。

示例應具有以下結構定義:

{
  "toolUse": {
    "tool": "projects/PROJECT_ID/locations/LOCATION_ID/agents/AGENT_ID/tools/df-code-interpreter-tool",
    "action": "generate_and_execute",
    "inputParameters": [
      {
        "name": "generate_and_execute input",
        "value": "4 + 4"
      }
    ],
    "outputParameters": [
      {
        "name": "generate_and_execute output",
        "value": {
          "output_files": [
            {
              "name": "",
              "contents": ""
            }
          ],
          "execution_result": "8",
          "execution_error": "",
          "generated_code": "GENERATED_CODE"
        }
      }
    ]
  }
}

OpenAPI 工具

代理程式可以透過提供 OpenAPI 結構定義,使用 OpenAPI 工具連線至外部 API。根據預設,代理程式會代您呼叫 API。

您可以使用工具頁面上的「測試工具」功能,測試工具是否正確設定。當您在範例中新增工具叫用時,這項功能也會在範例檢視畫面中提供。

或者,您也可以在用戶端上執行 OpenAPI 工具。

結構定義範例:

openapi: 3.0.0
info:
  title: Simple Pets API
  version: 1.0.0
servers:
  - url: 'https://api.pet-service-example.com/v1'
paths:
  /pets/{petId}:
    get:
      summary: Return a pet by ID.
      operationId: getPet
      parameters:
        - in: path
          name: petId
          required: true
          description: Pet id
          schema:
            type: integer
      responses:
        200:
          description: OK
  /pets:
    get:
      summary: List all pets
      operationId: listPets
      parameters:
        - name: petName
          in: query
          required: false
          description: Pet name
          schema:
            type: string
        - name: label
          in: query
          description: Pet label
          style: form
          explode: true
          required: false
          schema:
            type: array
            items:
              type: string
        - name: X-OWNER
          in: header
          description: Optional pet owner provided in the HTTP header
          required: false
          schema:
            type: string
        - name: X-SESSION
          in: header
          description: Dialogflow session id
          required: false
          schema:
            $ref: "@dialogflow/sessionId"
      responses:
        '200':
          description: An array of pets
          content:
            application/json:
              schema:
                type: array
                items:
                  $ref: '#/components/schemas/Pet'
    post:
      summary: Create a new pet
      operationId: createPet
      requestBody:
        description: Pet to add to the store
        required: true
        content:
          application/json:
            schema:
              $ref: '#/components/schemas/Pet'
      responses:
        '201':
          description: Pet created
          content:
            application/json:
              schema:
                $ref: '#/components/schemas/Pet'
components:
  schemas:
    Pet:
      type: object
      required:
        - id
        - name
      properties:
        id:
          type: integer
          format: int64
        name:
          type: string
        owner:
          type: string
        label:
          type: array
          items:
            type: string

您可以選擇使用內部結構定義參照 @dialogflow/sessionId 做為參數結構定義類型。使用這個參數結構定義類型時,系統會將目前對話的 Dialogflow 工作階段 ID 做為參數值提供。例如:

- name: X-SESSION
   in: header
   description: Dialogflow session id
   required: false
   schema:
     $ref: "@dialogflow/sessionId"

OpenAPI 工具限制

限制如下:

  • 支援的參數類型為 pathqueryheader。系統尚不支援 cookie 參數類型。
  • OpenAPI 結構定義的參數支援下列資料類型:stringnumberintegerbooleanarray。目前尚不支援 object 類型。
  • 您目前無法在主控台範例編輯器中指定查詢參數。
  • 要求和回應主體必須為空白或 JSON。

OpenAPI 工具結構定義產生

提供結構定義時,您可以使用「使用 Gemini」按鈕,利用生成式 AI 建立結構定義。您可以提供下列資訊,引導系統產生內容:

  • 要求的網址
  • HTTP 方法 (GET、POST 等)
  • 輸入內容範例
  • 輸出內容範例
  • 說明工具的文字提示

產生之後,您可以視需要編輯,並手動新增其他網址和方法。

OpenAPI 工具 API 驗證

呼叫外部 API 時,系統支援下列驗證選項:

Dialogflow 服務代理人驗證

Dialogflow 可以使用 Dialogflow 服務代理人產生ID 權杖。當 Dialogflow 呼叫外部 API 時,系統會在授權 HTTP 標頭中新增權杖。

roles/cloudfunctions.invokerroles/run.invoker 角色授予 service-agent-project-number@gcp-sa-dialogflow.iam.gserviceaccount.com 後,即可使用 ID 權杖存取 Cloud Run 函式和 Cloud Run 服務。如果 Cloud Run 函式和 Cloud Run 服務位於同一個資源專案中,您就不需額外的 IAM 權限即可呼叫這些函式。

服務帳戶驗證

服務帳戶可用於驗證工具要求,對任何支援的 Google API 發出要求。

如果您尚未建立服務帳戶,請建立

由於服務帳戶是使用者,因此只要授予服務帳戶角色,即可存取專案中的資源,就像為任何其他使用者授予角色一樣。服務帳戶電子郵件會用於產生存取權存證,並透過工具要求的 Authorization 標頭傳送。

設定工具使用服務帳戶的使用者必須具備下列權限:

  • roles/iam.serviceAccountUser

如要讓 Conversational Agents (Dialogflow CX) 產生權杖,Dialogflow 服務專員必須具備下列權限:

  • roles/iam.serviceAccountTokenCreator

服務帳戶也必須具備存取代管工具的服務權限。

API 金鑰

  • 您可以提供金鑰名稱、要求位置 (標頭或查詢字串) 和 API 金鑰,藉此設定 API 金鑰驗證,讓 Dialogflow 在要求中傳遞 API 金鑰。
  • 建議您使用 Secret Manager 提供 API 金鑰。2025 年 8 月 15 日之後,匯出的代理程式將不再包含原始值 API 金鑰。

OAuth

  • OAuth 用戶端憑證流程支援伺服器對伺服器驗證:

    • 如果 AI 應用程式控制台是資源擁有者,且不需要使用者授權,就可以使用這個流程。
    • 您必須在 Dialogflow 中設定 OAuth 供應商的用戶端 ID、用戶端密鑰和權杖端點。
      • 建議您使用 Secret Manager 提供用戶端密鑰。自 2025 年 8 月 15 日起,匯出的代理程式將不再包含原始值用戶端密鑰。
    • Dialogflow 會從 OAuth 供應器交換 OAuth 存取權杖,並在要求的授權標頭中傳遞該權杖。
  • 對於需要使用者授權的其他 OAuth 流程 (例如授權碼流程和 PKCE 流程):

    1. 您必須實作自己的登入 UI,並在用戶端取得存取權權杖。
    2. 接著,您可以採取下列任一做法:

      a. 使用「不記名權杖」驗證選項,將權杖傳遞至 OpenAPI 工具。在叫用工具時,Dialogflow 會在授權標頭中加入這個權杖。

      b. 使用「函式」工具,自行在用戶端上叫用工具,並將工具呼叫結果傳遞至 Dialogflow。

不記名憑證

  • 您可以設定 Bearer 驗證機制,讓系統動態傳遞來自用戶端的 Bearer 權杖。這個符記會包含在要求的授權標頭中。
  • 設定工具驗證時,您可以指定工作階段參數,讓其充當 Bearer 權杖。例如,使用 $session.params.<parameter-name-for-token> 指定符記。
  • 在執行階段將 Bearer 權杖指派給工作階段參數:

    DetectIntentRequest {
      ...
      query_params {
        parameters {
          <parameter-name-for-token>: <the-auth-token>
        }
      }
      ...
    }
    
  • 如果您需要設定靜態權杖,而非從工作階段參數擷取權杖,建議您使用 Secret Manager 提供權杖。2025 年 8 月 15 日之後,匯出的代理程式將不再包含原始值 Bearer 權杖。

雙向傳輸層安全標準 (TLS) 驗證

  • 請參閱「雙向傳輸層安全標準 (TLS) 驗證」說明文件。
  • 系統支援自訂用戶端憑證。您可以在代理程式設定的「安全性」分頁中,以代理程式層級設定用戶端憑證。憑證 (PEM 格式) 和私密金鑰 (PEM 格式) 是必要欄位。設定完成後,系統會在 mTLS 期間為所有工具和 webhook 使用此用戶端憑證。

自訂 CA 憑證

Secret Manager 驗證

如果您使用 OAuth、API 金鑰或 Bearer 權杖,可以使用 Secret Manager 將憑證儲存為密鑰。以下是使用密鑰驗證工具的必要步驟:

  1. 如果尚未建立機密金鑰,請建立機密金鑰
  2. 為新密鑰授予 Dialogflow 服務代理 Secret Manager 密鑰存取者 (roles/secretmanager.secretAccessor) 角色。
  3. 將憑證複製到剪貼簿。
  4. 新增密鑰版本。將憑證貼上做為 Secret 值。
    • 請省略結尾的任何換行字元。
  5. 複製剛新增的密鑰版本名稱。名稱格式為 projects/{project_id}/secrets/{secret_id}/versions/{version_id}"
  6. 開啟工具編輯畫面,然後執行以下操作:
    • 如果您使用 OAuth,請選取「OAuth」做為「驗證類型」,然後點選「用戶端密鑰」下方的「密鑰版本」,並將密鑰版本名稱貼到「密鑰版本」輸入框。
    • 如果您使用 API 金鑰,請選取「API 金鑰」做為「驗證類型」,然後點選「API 金鑰」下方的「Secret version」。將密鑰版本名稱貼到「密鑰版本」輸入框。
    • 如果您使用權杖,請選取「Bearer token」做為「Authentication type」,然後點選「Bearer token」下方的「Secret version」。將密鑰版本名稱貼到「密鑰版本」輸入框。
  7. 按一下 [儲存]

OpenAPI 工具私人網路存取權

OpenAPI 工具會整合 Service Directory 私人網路存取權,因此可連線至虛擬私有雲網路中的 API 目標。這麼做可確保流量保留在 Google Cloud 網路中,並強制執行 IAMVPC Service Controls

如要設定指定私人網路的 OpenAPI 工具,請按照下列步驟操作:

  1. 請按照Service Directory 私人網路設定設定虛擬私有雲網路和 Service Directory 端點。

  2. 代理程式專案必須有以下地址的 Dialogflow 服務代理程式 服務帳戶

    service-agent-project-number@gcp-sa-dialogflow.iam.gserviceaccount.com
    將下列 IAM 角色授予 Dialogflow 服務代理服務帳戶:

    • Service Directory 專案的 servicedirectory.viewer
    • 網路專案的 servicedirectory.pscAuthorizedService
  3. 建立工具時,請一併提供服務目錄服務、OpenAPI 結構定義和選用的驗證資訊。

OpenAPI 工具工作階段參數存取權

Open API 工具的輸入內容,是根據使用者與 LLM 的對話內容,並以結構定義做為指南。在某些情況下,您可能需要從工作流程期間收集到的工作階段參數衍生輸入內容,或是將輸入內容做為查詢參數輸入內容,並與使用者輸入內容一併提供。

需要以輸入內容傳遞的工作階段參數,可以指定為

     parameters:
       - in: query
         name: petId
         required: true
         description: Pet id
         schema:
           type: integer
           x-agent-input-parameter: petId # Reads from the $session.params.petId
       - in: header
         name: X-other
         schema:
           type: string
           x-agent-input-parameter: $request.payload.header # Reads from the header specified in the request payload input
     requestBody:
       required: false
       content:
         application/json:
           schema:
             type: object
             properties:
               name:
                 type: string
                 x-agent-input-parameter: petName # Reads from the $session.params.petName
                 description: Name of the person to greet (optional).
               breed:
                 type: string
                 description: Bread of the pet.

如果沒有這類工作階段參數,系統會將 LLM 產生的輸入內容傳遞給工具。

OpenAPI 工具的預設值

您可以使用公開 API 結構定義指定預設值。只有在該參數或屬性沒有 LLM 產生的輸入值或工作階段參數輸入值時,系統才會使用預設值。

您可以將預設值指定為結構定義的一部分,如下所示:

     parameters:
       - in: query
         name: zipcode
         required: true
         description: Zip code to search for
         schema:
           type: integer
           default: 94043
     requestBody:
       content:
         application/json:
           schema:
             type: object
             properties:
               breed:
                 type: string
                 description: Bread of the pet.
               page_size:
                 type: integer
                 description: Number of pets to return.
                 default: 10

如果沒有 LLM 產生的值、工作階段參數值或預設值,則輸入內容會是未指定。

資料儲存庫工具

如要瞭解如何搭配 Playbook 使用資料儲存庫工具,請參閱 資料儲存庫工具說明文件。

連接器工具

代理人可以使用連接器工具,透過在整合連接器中設定的連線執行動作。每個連接器工具都會設定單一連線和一或多個動作。如有需要,您可以為單一連線建立多個工具,將不同動作分組,供您的代理程式使用。

連接器工具支援下列連接器類型

您應使用範例,展示服務專員應如何呼叫工具及使用回應,以便提升服務專員對連接器工具的使用技巧。

建立連線

如要建立連線並連結至代理程式,請依序前往「Tools」 >「Create」,選取「Connector」工具類型,以及您選擇的連結器類型,然後使用「Create Connection」按鈕。系統會將您導向至 Integration Connectors 建立頁面,並預先填入多個欄位。

或者,您也可以前往「整合連接器」,然後按照操作說明建立連線

連接器動作

每個連接器工具都有兩種可供服務機器人使用的動作 (詳情請參閱「實體、作業和動作」):

  1. 實體 CRUD 作業

    每個連線都有「實體」,對應至該資料來源的物件 (對於 BigQuery,這些是資料表;對於 Salesforce,這些是物件,例如「Order」或「Case」)。

    您可以對每個實體執行 CRUD 作業:

    • Create:建立具有指定欄位值的實體
    • 清單:以篩選器為依據搜尋實體例項
    • 更新:以篩選器為基礎的方法,用於變更實體欄位值
    • 刪除:刪除實體
    • Get 會使用 entityId
      擷取單一實體

    如要進一步瞭解實體的 CRUD 作業詳細資料,請參閱 連接器說明文件

  2. 連接器專屬動作

    許多連接器都支援 「ExecuteCustomQuery」 動作,可對資料來源執行 SQL 查詢,其中每個資料來源實體可做為資料表參照。請參閱支援的連接器清單。

    其他動作會因連接器類型而異,例如請參閱 BigQuery 連接器動作Salesforce 連接器動作

設定 CRUD 作業的輸入 / 輸出欄位

只要為連接器工具動作選取特定輸入或輸出欄位,就能限制這些動作對服務機器人的複雜度。

舉例來說,如果您只需要使用實體的子集欄位建立實體,在動作中設定這組欄位,就能簡化代理程式的動作。

指定一組輸出欄位可縮減工具回應大小 (如果您擔心符記限制,這項做法就很有幫助),並且只公開相關欄位,簡化服務專員處理輸出內容的方式。

驗證

如果您使用的連線已設定為允許驗證覆寫,則可將工具設為透過指定的工作階段參數傳遞憑證。

您身為代理程式建構工具,必須負責決定如何將這些憑證填入工作階段參數,而工具會在呼叫工具動作時,自動將這些憑證傳遞至用於驗證的資料來源。

函式工具

如果您有可透過用戶端程式碼存取的功能,但無法透過 OpenAPI 工具存取,則可以使用函式工具。函式工具一律會在用戶端執行,而非由代理程式執行。

程序如下:

  1. 用戶端程式碼會傳送偵測意圖要求。
  2. 代理程式會偵測到需要函式工具,而偵測意圖回應會包含工具名稱和輸入引數。在收到另一個含有工具結果的偵測意圖要求前,這個工作階段會處於暫停狀態。
  3. 您的用戶端程式碼會呼叫這項工具。
  4. 您的用戶端程式碼會傳送另一個偵測意圖要求,以輸出引數的形式提供工具結果。

以下範例顯示函式工具的輸入和輸出結構定義:

{
  "type": "object",
  "properties": {
    "location": {
      "type": "string",
      "description": "The city and state, for example, San Francisco, CA"
    }
  },
  "required": [
    "location"
  ]
}
{
  "type": "object",
  "properties": {
    "temperature": {
      "type": "number",
      "description": "The temperature"
    }
  }
}

以下範例說明使用 REST 的初始意圖偵測要求和回應:

HTTP method and URL:
POST https://REGION_ID-dialogflow.googleapis.com/v3/projects/PROJECT_ID/locations/LOCATION_ID/agents/AGENT_ID/sessions/SESSION_ID:detectIntent
{
  "queryInput": {
    "text": {
      "text": "what is the weather in Mountain View"
    },
    "languageCode": "en"
  }
}
{
  "queryResult": {
    "text": "what is the weather in Mountain View",
    "languageCode": "en",
    "responseMessages": [
      {
        "source": "VIRTUAL_AGENT",
        "toolCall": {
          "tool": "<tool-resource-name>",
          "action": "get-weather-tool",
          "inputParameters": {
            "location": "Mountain View"
          }
        }
      }
    ]
  }
}

以下範例顯示第二個偵測意圖要求,該要求會提供工具結果:

{
  "queryInput": {
    "toolCallResult": {
      "tool": "<tool-resource-name>",
      "action": "get-weather-tool",
      "outputParameters": {
        "temperature": 28.0
      }
    },
    "languageCode": "en"
  }
}

用戶端執行

如同函式工具,OpenAPI 和資料儲存庫工具可以在與工作階段互動時,透過套用 API 覆寫值在用戶端執行。

例如:

DetectIntentRequest {
  ...
  query_params {
    playbook_state_override {
      playbook_execution_mode: ALWAYS_CLIENT_EXECUTION
    }
  }
  ...
}

程序如下:

  1. 您的用戶端程式碼會傳送指定用戶端執行作業的偵測意圖要求。
  2. 代理程式會偵測到需要工具,而「偵測意圖」回應會包含工具名稱和輸入引數。在收到另一個含有工具結果的偵測意圖要求前,這個工作階段會處於暫停狀態。
  3. 您的用戶端程式碼會呼叫這項工具。
  4. 您的用戶端程式碼會傳送另一個偵測意圖要求,以輸出引數的形式提供工具結果。