Elasticsearch

您可以使用 Elasticsearch 連接器連結至 Elasticsearch 搜尋引擎，並執行支援的搜尋引擎作業。

事前準備

使用 Elasticsearch 連接器前，請先完成下列工作：

• 在 Google Cloud 專案中：
  • 確認已設定網路連線。如要瞭解網路模式，請參閱「網路連線」。
  • 將 roles/connectors.admin IAM 角色授予設定連線器的使用者。
  • 將下列 IAM 角色授予要用於連接器的服務帳戶：
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    服務帳戶是特殊的 Google 帳戶類型，主要用於代表需要驗證且必須取得授權才能存取 Google API 資料的非人類使用者。如果您沒有服務帳戶，請建立服務帳戶。詳情請參閱「建立服務帳戶」。

  • 啟用下列服務：
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    如要瞭解如何啟用服務，請參閱「啟用服務」。

  如果專案先前未啟用這些服務或權限，系統會在設定連結器時提示您啟用。

• 如要瞭解如何在 Linux 上安裝 Elasticsearch，請參閱「安裝 Elasticsearch」。
• 如要瞭解如何設定 SSL 來保護 Elasticsearch，請參閱「設定 SSL」。

設定連接器

連線專屬於資料來源。也就是說，如果您有多個資料來源，則必須為每個資料來源建立個別的連線。如要建立連線，請按照下列步驟操作：

1. 在 Cloud 控制台中，前往「Integration Connectors」>「Connections」頁面，然後選取或建立 Google Cloud 專案。

   前往「連線」頁面

2. 按一下「+ 建立新連線」，開啟「建立連線」頁面。
3. 在「位置」部分中，選擇連線位置。
   1. 區域：從下拉式清單中選取位置。

      如需所有支援的地區清單，請參閱「位置」一文。

   2. 點按「下一步」。
4. 在「連線詳細資料」部分，完成下列步驟：
   1. 連接器：從可用連接器的下拉式清單中選取「Elasticsearch」。
   2. 連接器版本：從可用版本的下拉式清單中選取連接器版本。
   3. 在「連線名稱」欄位中，輸入連線執行個體的名稱。

      連線名稱必須符合下列條件：

      • 連線名稱可使用英文字母、數字或連字號。
      • 字母必須為小寫。
      • 連線名稱開頭須為英文字母，結尾則須為英文字母或數字。
      • 連結名稱不得超過 49 個字元。
   4. 視需要輸入連線執行個體的「Description」(說明)。
   5. 或者，可啟用 Cloud Logging，然後選取記錄層級。記錄層級預設為 Error。
   6. 服務帳戶：選取具備必要角色的服務帳戶。
   7. 視需要設定「連線節點設定」：
      • 節點數量下限：輸入連線節點數量下限。
      • 節點數量上限：輸入連線節點數量上限。

      節點是用來處理交易的連線單位 (或備用資源)。連線處理的交易量越多，就需要越多節點；反之，處理的交易量越少，需要的節點就越少。如要瞭解節點對連接器定價的影響，請參閱「 連線節點定價」。如未輸入任何值，系統預設會將節點下限設為 2 (提高可用性)，節點上限則設為 50。

   8. 用戶端評估：將 ClientSideEvaluation 設為 true，即可在巢狀物件上執行用戶端評估。
   9. 資料模型：指定剖析 Elasticsearch 文件及產生資料庫中繼資料時要使用的資料模型。
   10. 結果數上限：使用預設的 Search API 時，要從 Elasticsearch 傳回的結果總數上限。
   11. (選用) 在「進階設定」部分，選取「使用 Proxy」核取方塊，為連線設定 Proxy 伺服器，並設定下列值：
   • Proxy 驗證機制：選取與 Proxy 伺服器進行驗證的驗證類型。系統支援下列驗證類型：
     • 基本：基本 HTTP 驗證。
     • 摘要：摘要 HTTP 驗證。
   • Proxy 使用者：用於向 Proxy 伺服器驗證的使用者名稱。
   • Proxy Password：使用者的密碼 Secret Manager 密鑰。
   • Proxy SSL Type：連線至 Proxy 伺服器時要使用的 SSL 類型。系統支援下列驗證類型：
     • 自動：預設設定。如果網址是 HTTPS 網址，則會使用「通道」選項。如果網址是 HTTP 網址，系統會使用「永不」選項。
     • 一律：連線一律啟用 SSL。
     • 從未：連線未啟用 SSL。
     • 通道：連線是透過通道 Proxy 建立。Proxy 伺服器會開啟與遠端主機的連線，流量則會透過 Proxy 來回傳輸。
   • 在「Proxy 伺服器」部分中，輸入 Proxy 伺服器的詳細資料。
     1. 按一下「+ 新增目的地」。
     2. 選取「目的地類型」。
        • 主機位址：指定目的地的主機名稱或 IP 位址。

          如要與後端系統建立私人連線，請按照下列步驟操作：

          • 建立 PSC 服務連結。
          • 建立端點連結，然後在「主機地址」欄位中輸入端點連結的詳細資料。
   12. 選用：按一下「+ 新增標籤」，以鍵/值組合的形式為連線新增標籤。
   13. 點按「下一步」。
5. 在「目的地」部分，輸入要連線的遠端主機 (後端系統) 詳細資料。
   1. 目的地類型：選取目的地類型。
      • 如要指定目的地主機名稱或 IP 位址，請選取「主機地址」，然後在「主機 1」欄位中輸入地址。
      • 如要建立私人連線，請選取「Endpoint attachment」(端點連結)，然後從「Endpoint Attachment」(端點連結) 清單中選擇所需連結。

      如要建立與後端系統的公開連線，並加強安全性，建議為連線設定靜態輸出 IP 位址，然後設定防火牆規則，只允許特定靜態 IP 位址。

      如要輸入其他目的地，請按一下「+新增目的地」。

   2. 點按「下一步」。
6. 在「Authentication」(驗證) 部分中，輸入驗證詳細資料。
   1. 選取「驗證類型」並輸入相關詳細資料。

      Elasticsearch 連線支援下列驗證類型：

      • 匿名
      • 使用者名稱和密碼

   如要瞭解如何設定這些驗證類型，請參閱「設定驗證」。

   2. 點按「下一步」。
7. 檢查：檢查連線和驗證詳細資料。
8. 點選「建立」。

設定驗證機制

根據要使用的驗證方式輸入詳細資料。

• 匿名

  如要使用匿名登入，請選取「不適用」。

• 使用者名稱和密碼
  • 使用者名稱：連接器的使用者名稱
  • 密碼：Secret Manager 密鑰，內含與連接器相關聯的密碼。

連線設定範例

本節列出建立 Elasticsearch 連線時設定的各個欄位範例值。

SSL 連線類型

欄位名稱	詳細資料
位置	us-central1
連接器	Elasticsearch
連接器版本	1
連線名稱	elastic-search-service-conn
啟用 Cloud Logging	是
服務帳戶	SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
資料模型	關聯式
節點數量下限	2
節點數量上限	50
啟用 SSL	是
信任存放區不安全連線	是
鑰匙店	是
用戶端憑證	CLIENT_CERTIFICATE
密鑰版本	1
用戶端私密金鑰	CLIENT_PRIVATE_KEY
密鑰版本	1
目的地類型(伺服器)	主機位址
主機位址	https://192.0.2.0
通訊埠	9200
驗證	是
使用者密碼	是
使用者名稱	使用者名稱
密碼	密碼
密鑰版本	4

Private Service Connect 連線類型

欄位名稱	詳細資料
位置	us-central1
連接器	Elasticsearch
連接器版本	1
連線名稱	elasticsearch-psc-conn
啟用 Cloud Logging	是
服務帳戶	SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
資料模型	關聯式
節點數量下限	2
節點數量上限	50
目的地類型(伺服器)	主機位址
主機位址	192.0.2.0
通訊埠	PORT
驗證	是
使用者密碼	是
使用者名稱	USERNAME/td>
密碼	密碼
密鑰版本	1

實體、作業和動作

所有整合連接器都會為所連應用程式的物件提供抽象層。您只能透過這個抽象化程序存取應用程式的物件。抽象化會以實體、作業和動作的形式呈現。

• 實體： 實體可以視為已連結應用程式或服務中的物件，或是屬性集合。實體的定義因連接器而異。舉例來說，在資料庫連接器中，資料表是實體；在檔案伺服器連接器中，資料夾是實體；在訊息系統連接器中，佇列是實體。

  不過，連接器可能不支援或沒有任何實體，在這種情況下，Entities 清單會是空白。

• 作業： 作業是指您可以在實體上執行的活動。您可以對實體執行下列任一操作：
  • 列出
  • 取得
  • 建立
  • 更新
  • 刪除

  從可用清單中選取實體，系統會產生該實體可用的作業清單。如需作業的詳細說明，請參閱 Connectors 工作的實體作業。 不過，如果連接器不支援任何實體作業，系統就不會在 Operations 清單中列出這些不支援的作業。

• 動作： 動作是透過連接器介面提供給整合的第一類函式。動作可讓您變更一或多個實體，且因連接器而異。一般來說，動作會有一些輸入參數和輸出參數。不過，連接器可能不支援任何動作，此時 Actions 清單會是空白。

系統限制

每個節點的 Elasticsearch 連接器每秒可處理 10 筆交易，超出此限制的交易都會遭到節流。根據預設，Integration Connectors 會為連線分配 2 個節點 (以提高可用性)。

如要瞭解 Integration Connectors 適用的限制，請參閱「限制」一文。

動作

本節列出連接器支援的操作。如要瞭解如何設定動作，請參閱「動作範例」。

CreateIndex 動作

這項動作會建立索引。

CreateIndex 動作的輸入參數

參數名稱	資料類型	必填	說明
AliasFilter	字串	否	查詢 DSL 物件，用於限制別名可存取的文件。
NumberOfShards	字串	否	建立的索引應有的主要分片數量。
AliasIsWriteIndex	布林值	否	指定別名索引是否可寫入。
別名	字串	否	索引的別名。
AliasIndexRouting	字串	否	別名值，用於將索引作業的路徑導向特定分片。如已指定，這會覆寫建立索引作業的路由值。
索引	字串	是	索引的名稱。
NumberOfRoutingShards	字串	否	Elasticsearch 內部使用的數字，會搭配 NumberOfShards 的值，將文件路由至主要分片。
OtherSettings	字串	否	設定的 JSON 物件。這項設定無法與 NumberOfRoutingShards 或 NumberOfShards 搭配使用。
對應	字串	否	指定索引對應的 JSON 物件。
AliasIsHidden	布林值	否	指定別名是否隱藏。別名的所有索引都必須具有相同的 is_hidden 值。
AliasRouting	字串	否	用於別名的值，可將索引和搜尋作業路徑導向特定分片。對於特定作業，可能會由 AliasIndexRouting 或 AliasSearchRouting 覆寫。

CreateIndex 動作的輸出參數

如果動作成功，這項操作會傳回狀態 200 (OK)。

如要瞭解如何設定 CreateIndex 動作，請參閱動作範例。

ModifyIndexAliases 動作

這項動作會修改索引別名。

ModifyIndexAliases 動作的輸入參數

參數名稱	資料類型	必填	說明
別名	字串	否	別名名稱。多個別名以半形分號分隔。
篩選器	字串	否	建立別名時要使用的篩選器。這會使用 Query DSL 取得原始 JSON 篩選器。多個篩選條件以半形分號分隔。
轉送	字串	否	要與別名建立關聯的路由值。多個路由值以半形分號分隔。
SearchRouting	字串	否	要與別名建立關聯的路由值，用於搜尋作業。多個搜尋路徑值以半形分號分隔。
IndexRouting	字串	否	要與別名建立關聯的路由值，用於建立索引作業。多個索引 路由值以半形分號分隔。
動作	字串	是	要執行的動作，例如 add、remove 或 remove_index。 多個動作以半形分號分隔。
索引	字串	是	索引的名稱。多個索引以半形分號分隔。

ModifyIndexAliases 動作的輸出參數

如果動作成功，這項操作會傳回狀態 200 (OK)。

如要瞭解如何設定 ModifyIndexAliases 動作，請參閱動作範例。

ExecuteCustomQuery 動作

這項操作可讓您執行自訂查詢。

如要建立自訂查詢，請按照下列步驟操作：

1. 請按照詳細說明 新增連接器工作。
2. 設定連接器工作時，請在要執行的動作類型中選取「動作」。
3. 在「動作」清單中，選取「執行自訂查詢」，然後按一下「完成」。

   

4. 展開「Task input」(工作輸入) 區段，然後執行下列操作：
   1. 在「Timeout after」(逾時時間) 欄位中，輸入查詢執行前的等待秒數。

      預設值：180 秒。

   2. 在「資料列數量上限」欄位中，輸入要從資料庫傳回的資料列數量上限。

      預設值為 25。

   3. 如要更新自訂查詢，請按一下「編輯自訂指令碼」。「指令碼編輯器」對話方塊隨即開啟。

      

   4. 在「指令碼編輯器」對話方塊中輸入 SQL 查詢，然後按一下「儲存」。

      您可以在 SQL 陳述式中使用問號 (?) 代表單一參數，該參數必須在查詢參數清單中指定。舉例來說，下列 SQL 查詢會從 Employees 資料表選取與 LastName 資料欄指定值相符的所有資料列：

      SELECT * FROM Employees where LastName=?

   5. 如果您在 SQL 查詢中使用問號，請為每個問號點按「+ 新增參數名稱」，加入參數。執行整合時，這些參數會依序取代 SQL 查詢中的問號 (?)。舉例來說，如果您新增了三個問號 (?)，就必須依序新增三個參數。

      

      如要新增查詢參數，請按照下列步驟操作：

      1. 在「類型」清單中，選取參數的資料類型。
      2. 在「值」欄位中輸入參數值。
      3. 如要新增多個參數，請按一下「+ 新增查詢參數」。

執行成功後，這項動作會傳回狀態 200 (OK)，以及含有查詢結果的回應內容。

動作範例

本節說明如何在這個連接器中執行部分動作。

範例 - 建立索引

這個範例會建立索引。

1. 在「Configure connector task」對話方塊中，按一下 Actions。
2. 選取 CreateIndex 動作，然後按一下「完成」。
3. 在「Connectors」(連結器) 任務的「Task Input」(任務輸入內容) 區段中，按一下 connectorInputPayload，然後在 Default Value 欄位中輸入類似下列的值：

   {
   "Index": "new_index_1"
   }

如果動作成功，CreateIndex 工作項目的 connectorOutputPayload 回應參數會包含類似下列內容的值：

[{
"CompletedBeforeTimeout": "true",
"ShardsAcknowledged": "true",
"IndexName": "new_index_1"
}]

範例 - 修改索引別名

這個範例說明如何修改索引別名。

1. 在「Configure connector task」對話方塊中，按一下 Actions。
2. 選取 ModifyIndexAliases 動作，然後按一下「完成」。
3. 在「Connectors」(連結器) 任務的「Task Input」(任務輸入內容) 區段中，按一下 connectorInputPayload，然後在 Default Value 欄位中輸入類似下列的值：

   {
   "Action": "remove_index",
   "Index": "postmanindex"
   }

如果動作成功，ModifyIndexAliases 工作項目的 connectorOutputPayload 回應參數會包含類似下列內容的值：

[{
}]

實體作業範例

本節說明如何使用這個連接器執行部分實體作業。

範例 - 列出所有記錄

這個範例會列出 Demoindex 實體中的所有記錄。

1. 在「Configure connector task」對話方塊中，按一下 Entities。
2. 從 Entity 清單中選取 Demoindex。
3. 選取「List」作業，然後按一下「完成」。
4. (選用) 在「連結器」工作的「工作輸入」部分，您可以指定篩選子句，篩選結果集。請一律在單引號 (') 內指定篩選子句值。

範例 - 從實體取得記錄

這個範例會從 Demoindex 實體取得具有指定 ID 的記錄。

1. 在「Configure connector task」對話方塊中，按一下 Entities。
2. 從 Entity 清單中選取 Demoindex。
3. 選取「Get」作業，然後按一下「完成」。
4. 在「Connectors」(連結器) 任務的「Task Input」(任務輸入) 區段中，按一下「EntityId」，然後在「Default Value」(預設值) 欄位中輸入 23。

   其中 23 是 Demoindex 實體中的專屬記錄 ID。

範例 - 在實體中建立記錄

這個範例會在 Demoindex 實體中建立記錄。

1. 在「Configure connector task」對話方塊中，按一下 Entities。
2. 從 Entity 清單中選取 Demoindex。
3. 選取「Create」作業，然後按一下「完成」。
4. 在「Connectors」(連結器) 任務的「Task Input」(任務輸入內容) 區段中，按一下 connectorInputPayload，然後在 Default Value 欄位中輸入類似下列的值：

   {
   "message": "GET /search HTTP/1.1 200 1070000",
   "@timestamp": "2099-11-15 13:12:00.0"
   }

   如果整合成功，連接器工作的 connectorOutputPayload 欄位會包含類似下列內容的值：

   [{
   "_id": "23"
   }]

範例 - 更新記錄

這個範例會更新 Demoindex 實體中具有指定 ID 的記錄。

1. 在「Configure connector task」對話方塊中，按一下 Entities。
2. 從 Entity 清單中選取 Demoindex。
3. 選取「Update」作業，然後按一下「完成」。
4. 在「Connectors」(連結器) 任務的「Task Input」(任務輸入內容) 區段中，按一下 connectorInputPayload，然後在 Default Value 欄位中輸入類似下列的值：

   {
   "message": "GET /search HTTP/1.1 200 1070000",
   "@timestamp": "2099-11-15 13:12:00.0",
   "name": "GoogleCloud_Update_docs",
   "price": 10.0}

5. 按一下「entityId」，然後在「Default Value」欄位中輸入 23。

   如果整合成功，連接器工作的 connectorOutputPayload 欄位會顯示類似下列的值：

   [{
   "_id": "23"
   }]

範例 - 從實體刪除記錄

這個範例會刪除 Demoindex 實體中具有指定 ID 的記錄。

1. 在「Configure connector task」對話方塊中，按一下 Entities。
2. 從 Entity 清單中選取 Demoindex。
3. 選取「Delete」作業，然後按一下「完成」。
4. 在「Connectors」(連結器) 任務的「Task Input」(任務輸入內容) 區段中，按一下「entityId」，然後在「Default Value」(預設值) 欄位中輸入 pcqT4wB4uQNUCuamh4N。

使用 Terraform 建立連線

您可以使用 Terraform 資源建立新連線。

如要瞭解如何套用或移除 Terraform 設定，請參閱「基本 Terraform 指令」。

如要查看用於建立連線的 Terraform 範本範例，請參閱範本範例。

使用 Terraform 建立這項連線時，您必須在 Terraform 設定檔中設定下列變數：

參數名稱	資料類型	必填	說明
client_side_evaluation	BOOLEAN	否	將 ClientSideEvaluation 設為 true，即可在巢狀物件上執行用戶端評估。
data_model	ENUM	否	指定剖析 Elasticsearch 文件及產生資料庫中繼資料時所用的資料模型。支援的值包括：Document、FlattenedDocuments、Relational
max_results	STRING	否	使用預設的 Search API 時，要從 Elasticsearch 傳回的結果總數上限。
詳細程度	STRING	否	連線的詳細程度，範圍為 1 到 5。詳細程度越高，記錄的通訊詳細資料就越多 (要求、回應和 SSL 憑證)。
proxy_enabled	BOOLEAN	否	選取這個核取方塊，即可為連線設定 Proxy 伺服器。
proxy_auth_scheme	ENUM	否	用於向 ProxyServer Proxy 驗證的驗證類型。支援的值包括：BASIC、DIGEST、NONE
proxy_user	STRING	否	用於向 ProxyServer Proxy 驗證的使用者名稱。
proxy_password	SECRET	否	用於向 ProxyServer 代理程式驗證的密碼。
proxy_ssltype	ENUM	否	連線至 ProxyServer Proxy 時要使用的 SSL 類型，支援的值包括：AUTO、ALWAYS、NEVER、TUNNEL

在整合服務中使用 Elasticsearch 連線

建立連線後，Apigee Integration 和 Application Integration 都會提供該連線。您可以在整合中透過「連接器」工作使用連線。

• 如要瞭解如何在 Apigee Integration 中建立及使用「連線器」工作，請參閱「連線器工作」。
• 如要瞭解如何在 Application Integration 中建立及使用「連線器」工作，請參閱「連線器工作」。

向 Google Cloud 社群尋求協助

如要發布問題及討論這個連接器，請前往 Cloud 論壇的 Google Cloud 社群。

後續步驟

• 瞭解如何暫停及恢復連線。
• 瞭解如何監控連結器用量。
• 瞭解如何查看連接器記錄。