Elasticsearch

El conector de Elasticsearch te permite conectarte a un buscador Elasticsearch y realizar las operaciones admitidas.

Antes de empezar

Antes de usar el conector de Elasticsearch, realiza las siguientes tareas:

  • En tu proyecto de Google Cloud:
    • Asegúrate de que la conectividad de red esté configurada. Para obtener información sobre los patrones de red, consulta Conectividad de red.
    • Concede el rol de gestión de identidades y accesos roles/connectors.admin al usuario que configure el conector.
    • Concede los siguientes roles de gestión de identidades y accesos a la cuenta de servicio que quieras usar para el conector:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Una cuenta de servicio es un tipo especial de cuenta de Google diseñada para representar a un usuario no humano que necesita autenticarse y disponer de autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crearla. El conector y la cuenta de servicio deben pertenecer al mismo proyecto. Para obtener más información, consulta el artículo Crear una cuenta de servicio.

    • Habilita los siguientes servicios:
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Para saber cómo habilitar servicios, consulta Habilitar servicios.

    Si estos servicios o permisos no se han habilitado en tu proyecto anteriormente, se te pedirá que los habilites al configurar el conector.

  • Para obtener información sobre cómo instalar Elasticsearch en Linux, consulta Instalar Elasticsearch.
  • Para obtener información sobre cómo configurar SSL para proteger Elasticsearch, consulta Configurar SSL.

Configurar el conector

Una conexión es específica de una fuente de datos. Esto significa que, si tiene muchas fuentes de datos, debe crear una conexión independiente para cada una de ellas. Para crear una conexión, sigue estos pasos:

  1. En la consola de Cloud, ve a la página Integration Connectors > Connections (Conectores de integración > Conexiones) y, a continuación, selecciona o crea un proyecto de Google Cloud.

    Ve a la página Conexiones.

  2. Haz clic en + CREAR NUEVA para abrir la página Crear conexión.
  3. En la sección Ubicación, elige la ubicación de la conexión.
    1. Región: selecciona una ubicación de la lista desplegable.

      Para ver la lista de todas las regiones admitidas, consulta Ubicaciones.

    2. Haz clic en SIGUIENTE.
  4. En la sección Detalles de la conexión, haz lo siguiente:
    1. Conector: selecciona Elasticsearch en la lista desplegable de conectores disponibles.
    2. Versión del conector: seleccione la versión del conector en la lista desplegable de versiones disponibles.
    3. En el campo Connection Name (Nombre de conexión), introduce un nombre para la instancia de conexión.

      Los nombres de las conexiones deben cumplir los siguientes criterios:

      • Los nombres de conexión pueden contener letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de conexión deben empezar por una letra y terminar por una letra o un número.
      • Los nombres de conexión no pueden tener más de 49 caracteres.
    4. Si quiere, puede introducir una Descripción para la instancia de conexión.
    5. También puedes habilitar Registro en la nube y, a continuación, seleccionar un nivel de registro. De forma predeterminada, el nivel de registro es Error.
    6. Cuenta de servicio: selecciona una cuenta de servicio que tenga los roles necesarios.
    7. Si quieres, configura los ajustes del nodo de conexión:

      • Número mínimo de nodos: introduce el número mínimo de nodos de conexión.
      • Número máximo de nodos: introduce el número máximo de nodos de conexión.

      Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se necesitan más nodos para procesar más transacciones en una conexión y, a la inversa, se necesitan menos nodos para procesar menos transacciones. Para saber cómo influyen los nodos en el precio de tu conector, consulta la sección Precios de los nodos de conexión. Si no introduces ningún valor, de forma predeterminada, el número mínimo de nodos se establece en 2 (para mejorar la disponibilidad) y el máximo en 50.

    8. Evaluación del lado del cliente: asigna el valor "true" a ClientSideEvaluation para realizar la evaluación del lado del cliente en objetos anidados.
    9. Modelo de datos: especifica el modelo de datos que se va a usar al analizar documentos de Elasticsearch y generar los metadatos de la base de datos.
    10. Número máximo de resultados: número máximo de resultados totales que se devolverán de Elasticsearch al usar la API Search predeterminada.
    11. (Opcional) En la sección Configuración avanzada, marca la casilla Usar proxy para configurar un servidor proxy para la conexión y define los siguientes valores:
      • Esquema de autenticación de proxy: selecciona el tipo de autenticación para autenticarte con el servidor proxy. Se admiten los siguientes tipos de autenticación:
        • Básica: autenticación HTTP básica.
        • Digest: autenticación HTTP Digest.
      • Usuario proxy: nombre de usuario que se usará para autenticar el servidor proxy.
      • Contraseña de proxy: el secreto de Secret Manager de la contraseña del usuario.
      • Tipo de SSL de proxy: el tipo de SSL que se debe usar al conectarse al servidor proxy. Se admiten los siguientes tipos de autenticación:
        • Automático: es el ajuste predeterminado. Si la URL es una URL HTTPS, se usa la opción Tunnel. Si la URL es una URL HTTP, se usa la opción NUNCA.
        • Siempre: la conexión siempre tiene habilitado SSL.
        • Nunca: la conexión no tiene habilitado el protocolo SSL.
        • Túnel: la conexión se realiza a través de un proxy de tunelización. El servidor proxy abre una conexión con el host remoto y el tráfico fluye de un lado a otro a través del proxy.
      • En la sección Servidor proxy, introduce los detalles del servidor proxy.
        1. Haga clic en + Añadir destino.
        2. Selecciona un Tipo de destino.
          • Dirección de host: especifica el nombre de host o la dirección IP del destino.

            Si quieres establecer una conexión privada con tu sistema backend, haz lo siguiente:

    12. También puedes hacer clic en + AÑADIR ETIQUETA para añadir una etiqueta a la conexión en forma de par clave-valor.
    13. Haz clic en SIGUIENTE.
  5. En la sección Destinations (Destinos), introduce los detalles del host remoto (sistema backend) al que quieras conectarte.
    1. Tipo de destino: selecciona un Tipo de destino.
      • Para especificar el nombre de host o la dirección IP de destino, selecciona Dirección de host y introduce la dirección en el campo Host 1.
      • Para establecer una conexión privada, selecciona Endpoint attachment (Endpoint adjunto) y elige el adjunto que quieras de la lista Endpoint Attachment (Endpoint adjunto).

      Si quieres establecer una conexión pública con tus sistemas backend con seguridad adicional, puedes configurar direcciones IP de salida estáticas para tus conexiones y, a continuación, configurar las reglas de tu cortafuegos para que solo se permitan las direcciones IP estáticas específicas.

      Para introducir más destinos, haga clic en +AÑADIR DESTINO.

    2. Haz clic en SIGUIENTE.
  6. En la sección Autenticación, introduce los detalles de autenticación.
    1. Seleccione un Tipo de autenticación e introduzca los detalles pertinentes.

      La conexión de Elasticsearch admite los siguientes tipos de autenticación:

      • Anónimo
      • Nombre de usuario y contraseña

      2. Para saber cómo configurar estos tipos de autenticación, consulta Configurar la autenticación.

    2. Haz clic en SIGUIENTE.
  7. Revisar: revisa los detalles de la conexión y la autenticación.
  8. Haz clic en Crear.

Configurar la autenticación

Introduce los detalles en función de la autenticación que quieras usar.

  • Anónimo

    Si quieres usar el inicio de sesión anónimo, selecciona No disponible.

  • Nombre de usuario y contraseña
    • Nombre de usuario: nombre de usuario del conector.
    • Contraseña: secreto de Secret Manager que contiene la contraseña asociada al conector.

Ejemplos de configuración de conexiones

En esta sección se indican los valores de ejemplo de los distintos campos que se configuran al crear la conexión de Elasticsearch.

Tipo de conexión SSL

Nombre del campo Detalles
Ubicación us-central1
Conector Elasticsearch
Versión del conector 1
Nombre de la conexión elastic-search-service-conn
Habilitar Cloud Logging Sí
Cuenta de servicio SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Modelo de datos Relacional
Número mínimo de nodos 2
Número máximo de nodos 50
Habilitar SSL Sí
Almacén de confianza Conexión no segura Sí
Key Store Sí
Certificado de cliente CLIENT_CERTIFICATE
Versión de secreto 1
Clave privada de cliente CLIENT_PRIVATE_KEY
Versión de secreto 1
Tipo de destino(servidor) Dirección del host
Dirección del host https://192.0.2.0
Puerto 9200
Autenticación Sí
Contraseña de usuario Sí
Nombre de usuario NOMBRE DE USUARIO
Contraseña CONTRASEÑA
Versión de secreto 4

Tipo de conexión PSC

Nombre del campo Detalles
Ubicación us-central1
Conector Elasticsearch
Versión del conector 1
Nombre de la conexión elasticsearch-psc-conn
Habilitar Cloud Logging Sí
Cuenta de servicio SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Modelo de datos Relacional
Número mínimo de nodos 2
Número máximo de nodos 50
Tipo de destino(servidor) Dirección del host
Dirección del host 192.0.2.0
Puerto PORT
Autenticación Sí
Contraseña de usuario Sí
Nombre de usuario NOMBRE DE USUARIO/td>
Contraseña CONTRASEÑA
Versión de secreto 1

Entidades, operaciones y acciones

Todos los conectores de integración proporcionan una capa de abstracción para los objetos de la aplicación conectada. Solo puedes acceder a los objetos de una aplicación a través de esta abstracción. La abstracción se te muestra como entidades, operaciones y acciones.

  • Entidad: una entidad se puede considerar como un objeto o un conjunto de propiedades en la aplicación o el servicio conectados. La definición de una entidad varía de un conector a otro. Por ejemplo, en un conector de base de datos, las tablas son las entidades; en un conector de servidor de archivos, las carpetas son las entidades; y en un conector de sistema de mensajería, las colas son las entidades.

    Sin embargo, es posible que un conector no admita o no tenga ninguna entidad. En ese caso, la lista Entities estará vacía.

  • Operación: una operación es la actividad que puedes realizar en una entidad. Puedes realizar cualquiera de las siguientes operaciones en una entidad:

    Al seleccionar una entidad de la lista disponible, se genera una lista de operaciones disponibles para la entidad. Para ver una descripción detallada de las operaciones, consulta las operaciones de entidades de la tarea Connectors. Sin embargo, si un conector no admite ninguna de las operaciones de entidad, esas operaciones no admitidas no se mostrarán en la lista Operations.

  • Acción: una acción es una función de primera clase que se pone a disposición de la integración a través de la interfaz del conector. Una acción te permite hacer cambios en una o varias entidades y varía de un conector a otro. Normalmente, una acción tendrá algunos parámetros de entrada y un parámetro de salida. Sin embargo, es posible que un conector no admita ninguna acción, en cuyo caso la lista Actions estará vacía.

Limitaciones del sistema

El conector de Elasticsearch puede procesar 10 transacciones por segundo por nodo y limita las transacciones que superen este límite. De forma predeterminada, Integration Connectors asigna 2 nodos (para mejorar la disponibilidad) a una conexión.

Para obtener información sobre los límites aplicables a Integration Connectors, consulta Límites.

Acciones

En esta sección se enumeran las acciones que admite el conector. Para saber cómo configurar las acciones, consulta los ejemplos de acciones.

Acción CreateIndex

Esta acción crea un índice.

Parámetros de entrada de la acción CreateIndex

Nombre del parámetro Tipo de datos Obligatorio Descripción
AliasFilter Cadena No Objeto DSL de consulta que se usa para limitar los documentos a los que puede acceder el alias.
NumberOfShards Cadena No Número de particiones primarias que debe tener el índice creado.
AliasIsWriteIndex Booleano No Especifica si el índice de alias se puede escribir.
Alias Cadena No Un alias del índice.
AliasIndexRouting Cadena No Valor usado para el alias con el fin de enrutar las operaciones de indexación a un fragmento específico. Si se especifica, se sobrescribe el valor de enrutamiento de las operaciones de indexación.
Índice Cadena Sí Nombre del índice.
NumberOfRoutingShards Cadena No Número que usa Elasticsearch internamente con el valor de NumberOfShards para enrutar documentos a un fragmento principal.
OtherSettings Cadena No Un objeto JSON de ajustes. Este ajuste no se puede usar junto con NumberOfRoutingShards o NumberOfShards.
Asignaciones Cadena No Un objeto JSON que especifica la asignación del índice.
AliasIsHidden Booleano No Especifica si el alias está oculto. Todos los índices del alias deben tener el mismo valor de is_hidden.
AliasRouting Cadena No Valor utilizado para el alias con el fin de enrutar las operaciones de indexación y búsqueda a un fragmento específico. Puede sobrescribirse con AliasIndexRouting o AliasSearchRouting en determinadas operaciones.

Parámetros de salida de la acción CreateIndex

Esta acción devuelve el estado 200 (OK) si se realiza correctamente.

Para saber cómo configurar la acción CreateIndex, consulta los ejemplos de acciones.

Acción ModifyIndexAliases

Esta acción modifica un alias de índice.

Parámetros de entrada de la acción ModifyIndexAliases

Nombre del parámetro Tipo de datos Obligatorio Descripción
Alias Cadena No Nombre del alias. Los distintos alias se separan con punto y coma.
Filtro Cadena No Filtro que se usará al crear el alias. Usa el filtro JSON sin procesar mediante Query DSL. Los filtros se separan con punto y coma.
Enrutamiento Cadena No Valor de enrutamiento que se va a asociar al alias. Los valores de enrutamiento múltiples están separados por punto y coma.
SearchRouting Cadena No Valor de enrutamiento que se va a asociar al alias para buscar operaciones. Los valores de enrutamiento de búsqueda se separan con punto y coma.
IndexRouting Cadena No Valor de enrutamiento que se va a asociar al alias para las operaciones de indexación. Los distintos valores de index routing se separan con un punto y coma.
Acción Cadena Sí La acción que se va a realizar, como add, remove o remove_index. Las acciones se separan con punto y coma.
Índice Cadena Sí Nombre del índice. Los diferentes índices están separados por punto y coma.

Parámetros de salida de la acción ModifyIndexAliases

Esta acción devuelve el estado 200 (OK) si se realiza correctamente.

Para saber cómo configurar la acción ModifyIndexAliases, consulta los ejemplos de acciones.

Acción ExecuteCustomQuery

Esta acción te permite ejecutar una consulta personalizada.

Para crear una consulta personalizada, sigue estos pasos:

  1. Sigue las instrucciones detalladas para añadir una tarea de conectores.
  2. Cuando configure la tarea del conector, en el tipo de acción que quiera realizar, seleccione Acciones.
  3. En la lista Acción, selecciona Ejecutar consulta personalizada y, a continuación, haz clic en Hecho.

    Imagen que muestra la acción execute-custom-query Imagen que muestra la acción execute-custom-query

  4. Despliega la sección Entrada de la tarea y, a continuación, haz lo siguiente:
    1. En el campo Tiempo de espera tras, introduce el número de segundos que deben transcurrir hasta que se ejecute la consulta.

      Valor predeterminado: 180 segundos.

    2. En el campo Número máximo de filas, introduzca el número máximo de filas que se devolverán de la base de datos.

      Valor predeterminado: 25.

    3. Para actualizar la consulta personalizada, haz clic en Editar secuencia de comandos personalizada. Se abrirá el cuadro de diálogo Editor de secuencias de comandos.

      Imagen que muestra custom-sql-query Imagen que muestra custom-sql-query

    4. En el cuadro de diálogo Editor de secuencias de comandos, introduce la consulta de SQL y haz clic en Guardar.

      Puedes usar un signo de interrogación (?) en una instrucción SQL para representar un único parámetro que debe especificarse en la lista de parámetros de la consulta. Por ejemplo, la siguiente consulta SQL selecciona todas las filas de la tabla Employees que coinciden con los valores especificados en la columna LastName: 

      SELECT * FROM Employees where LastName=?

    5. Si has usado signos de interrogación en tu consulta SQL, debes añadir el parámetro haciendo clic en + Añadir nombre de parámetro por cada signo de interrogación. Durante la ejecución de la integración, estos parámetros sustituyen secuencialmente los signos de interrogación (?) de la consulta de SQL. Por ejemplo, si has añadido tres signos de interrogación (?), debes añadir tres parámetros en orden de secuencia.

      Imagen que muestra la opción para añadir un parámetro de consulta Imagen que muestra la opción para añadir un parámetro de consulta

      Para añadir parámetros de consulta, siga estos pasos:

      1. En la lista Tipo, seleccione el tipo de datos del parámetro.
      2. En el campo Valor, introduzca el valor del parámetro.
      3. Para añadir varios parámetros, haga clic en + Añadir parámetro de consulta.

      6. La acción Ejecutar consulta personalizada no admite variables de matriz.

Si se ejecuta correctamente, esta acción devuelve el estado 200 (OK) con un cuerpo de respuesta que contiene los resultados de la consulta.

Ejemplos de acciones

En esta sección se describe cómo realizar algunas de las acciones de este conector.

Ejemplo: crear un índice

En este ejemplo se crea un índice.

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Seleccione la acción CreateIndex y, a continuación, haga clic en Hecho.
  3. En la sección Entrada de tarea de la tarea Conectores, haz clic en connectorInputPayload y, a continuación, introduce un valor similar al siguiente en el campo Default Value: 
    {
"Index": "new_index_1"
}

    4. Si la acción se realiza correctamente, el parámetro connectorOutputPayload response de la tarea CreateIndex tendrá un valor similar al siguiente:

    [{
"CompletedBeforeTimeout": "true",
"ShardsAcknowledged": "true",
"IndexName": "new_index_1"
}]

Ejemplo: modificar un alias de índice

En este ejemplo se muestra cómo modificar un alias de índice.

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Seleccione la acción ModifyIndexAliases y, a continuación, haga clic en Hecho.
  3. En la sección Entrada de tarea de la tarea Conectores, haz clic en connectorInputPayload y, a continuación, introduce un valor similar al siguiente en el campo Default Value: 
    {
"Action": "remove_index",
"Index": "postmanindex"
}

    4. Si la acción se realiza correctamente, el parámetro connectorOutputPayload response de la tarea ModifyIndexAliases tendrá un valor similar al siguiente:

    [{
}]

Ejemplos de operaciones de entidades

En esta sección se muestra cómo realizar algunas de las operaciones de entidad en este conector.

Ejemplo: listar todos los registros

En este ejemplo se enumeran todos los registros de la entidad Demoindex.

  1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
  2. Selecciona Demoindex en la lista Entity.
  3. Selecciona la operación List y, a continuación, haz clic en Hecho.
  4. Opcionalmente, en la sección Entrada de tarea de la tarea Conectores, puedes filtrar el conjunto de resultados especificando una cláusula de filtro. Especifica siempre el valor de la cláusula de filtro entre comillas simples (').

Ejemplo: obtener un registro de una entidad

En este ejemplo se obtiene un registro con el ID especificado de la entidad Demoindex.

  1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
  2. Selecciona Demoindex en la lista Entity.
  3. Selecciona la operación Get y, a continuación, haz clic en Hecho.
  4. En la sección Entrada de tarea de la tarea Conectores, haga clic en EntityId y, a continuación, introduzca 23 en el campo Valor predeterminado.

    En este caso, 23 es un ID de registro único de la entidad Demoindex.

Ejemplo: Crear un registro en una entidad

En este ejemplo, se crea un registro en la entidad Demoindex.

  1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
  2. Selecciona Demoindex en la lista Entity.
  3. Selecciona la operación Create y, a continuación, haz clic en Hecho.
  4. En la sección Entrada de tarea de la tarea Conectores, haz clic en connectorInputPayload y, a continuación, introduce un valor similar al siguiente en el campo Default Value: 
    {
"message": "GET /search HTTP/1.1 200 1070000",
"@timestamp": "2099-11-15 13:12:00.0"
}

    Si la integración se realiza correctamente, el campo connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
"_id": "23"
}]

Ejemplo: actualizar un registro

En este ejemplo se actualiza el registro con el ID especificado en la entidad Demoindex.

  1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
  2. Selecciona Demoindex en la lista Entity.
  3. Selecciona la operación Update y, a continuación, haz clic en Hecho.
  4. En la sección Entrada de tarea de la tarea Conectores, haz clic en connectorInputPayload y, a continuación, introduce un valor similar al siguiente en el campo Default Value: 
    {
"message": "GET /search HTTP/1.1 200 1070000",
"@timestamp": "2099-11-15 13:12:00.0",
"name": "GoogleCloud_Update_docs",
"price": 10.0}
  5. Haga clic en entityId y, a continuación, introduzca 23 en el campo Valor predeterminado.

    Si la integración se realiza correctamente, el campo connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
"_id": "23"
}]

Ejemplo: eliminar un registro de una entidad

En este ejemplo se elimina el registro con el ID especificado de la entidad Demoindex.

  1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
  2. Selecciona Demoindex en la lista Entity.
  3. Selecciona la operación Delete y, a continuación, haz clic en Hecho.
  4. En la sección Entrada de tarea de la tarea Conectores, haga clic en entityId y, a continuación, introduzca pcqT4wB4uQNUCuamh4N en el campo Valor predeterminado.

Crear conexiones con Terraform

Puedes usar el recurso de Terraform para crear una conexión.

Para saber cómo aplicar o quitar una configuración de Terraform, consulta Comandos básicos de Terraform.

Para ver una plantilla de Terraform de ejemplo para crear una conexión, consulta la plantilla de ejemplo.

Cuando crees esta conexión con Terraform, debes definir las siguientes variables en el archivo de configuración de Terraform:

Nombre del parámetro Tipo de datos Obligatorio Descripción
client_side_evaluation BOOLEAN Falso Asigna el valor true a ClientSideEvaluation para realizar la evaluación del lado del cliente en objetos anidados.
data_model ENUM Falso Especifica el modelo de datos que se usará al analizar documentos de Elasticsearch y generar los metadatos de la base de datos. Los valores admitidos son: Document, FlattenedDocuments y Relational.
max_results STRING Falso Número máximo de resultados totales que se devolverán de Elasticsearch al usar la API Search predeterminada.
verbosidad STRING Falso Nivel de detalle de la conexión, que varía de 1 a 5. Si el nivel de verbosidad es más alto, se registrarán todos los detalles de la comunicación (solicitud, respuesta y certificados SSL).
proxy_enabled BOOLEAN Falso Seleccione esta casilla para configurar un servidor proxy para la conexión.
proxy_auth_scheme ENUM Falso Tipo de autenticación que se usará para autenticar el proxy ProxyServer. Los valores posibles son: BASIC, DIGEST y NONE.
proxy_user STRING Falso Nombre de usuario que se usará para autenticar el proxy ProxyServer.
proxy_password SECRET Falso Contraseña que se usará para autenticarse en el proxy ProxyServer.
proxy_ssltype ENUM Falso El tipo de SSL que se debe usar al conectarse al proxy ProxyServer. Los valores admitidos son AUTO, ALWAYS, NEVER y TUNNEL.

Usar la conexión de Elasticsearch en una integración

Una vez que hayas creado la conexión, estará disponible tanto en Apigee Integration como en Application Integration. Puedes usar la conexión en una integración a través de la tarea Conectores.

  • Para saber cómo crear y usar la tarea Conectores en la integración de Apigee, consulta Tarea Conectores.
  • Para saber cómo crear y usar la tarea Conectores en Application Integration, consulta Tarea Conectores.

Obtener ayuda de la comunidad de Google Cloud

Puedes publicar tus preguntas y hablar sobre este conector en la comunidad de Google Cloud, en los foros de Cloud.

Siguientes pasos