Azure Data Lake Storage
El conector de Azure Data Lake Storage te permite conectarte a Azure Data Lake Storage y usar SQL para recuperar y actualizar los datos de Azure Data Lake Storage.
Antes de comenzar
Antes de usar el conector de Azure Data Lake Storage, realiza las siguientes tareas:
- En tu proyecto de Google Cloud, haz lo siguiente:
- Asegúrate de que la conectividad de red esté configurada. Para obtener información sobre los patrones de red, consulta Conectividad de red.
- Otorga el rol de IAM roles/connectors.admin al usuario que configura el conector.
- Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el conector:
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
Una cuenta de servicio es un tipo de Cuenta de Google especial que representa a un usuario no humano que debe autenticarse y tener autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crear una. El conector y la cuenta de servicio deben pertenecer al mismo proyecto. Para obtener más información, consulta Crea una cuenta de servicio.
- Habilita los siguientes servicios:
secretmanager.googleapis.com
(API de Secret Manager)connectors.googleapis.com
(API de conectores)
Para comprender cómo habilitar servicios, consulta Habilita servicios.
Si estos servicios o permisos no se habilitaron antes para tu proyecto, se te solicitará que los habilites cuando configures el conector.
- Para obtener información sobre cómo crear una cuenta de almacenamiento de Azure, consulta Crea una cuenta de almacenamiento. Para obtener información sobre cómo crear un contenedor en Azure, consulta Crea un contenedor. Para obtener información sobre cómo crear un directorio en Azure, consulta Crea un directorio.
Configura el conector
Una conexión es específica de una fuente de datos. Significa que, si tienes muchas fuentes de datos, debes crear una conexión independiente para cada fuente. Para crear una conexión, haz lo siguiente:
- En la consola de Cloud, ve a la página Conectores de Integration > Conexiones y, luego, selecciona o crea un proyecto de Google Cloud.
- Haz clic en + Crear nuevo para abrir la página Crear conexión.
- En la sección Ubicación, elige la ubicación para la conexión.
- Región: selecciona una ubicación de la lista desplegable.
Entre las regiones admitidas para los conectores, se incluyen las siguientes:
Para obtener la lista de todas las regiones compatibles, consulta Ubicaciones.
- Haz clic en Siguiente.
- Región: selecciona una ubicación de la lista desplegable.
- En la sección Detalles de la conexión, completa lo siguiente:
- Conector: Selecciona Azure Data Lake Storage en la lista desplegable de conectores disponibles.
- Versión del conector: selecciona la versión del conector de la lista desplegable de versiones disponibles.
- En el campo Nombre de la conexión, ingresa un nombre para la instancia de conexión.
Los nombres de las conexiones deben cumplir con los siguientes criterios:
- Los nombres de las conexiones pueden usar letras, números o guiones.
- Las letras deben estar en minúsculas.
- Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
- Los nombres de las conexiones no pueden superar los 49 caracteres.
- De manera opcional, ingresa una Descripción para la instancia de conexión.
- De manera opcional, habilita Cloud Logging y, luego, selecciona un nivel de registro. De forma predeterminada, el nivel de registro se establece en
Error
. - Cuenta de servicio: Selecciona una cuenta de servicio que tenga los roles necesarios.
- De manera opcional, configura los parámetros de nodo de conexión:
- Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
- Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.
Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.
- Cuenta: Esta propiedad especifica el nombre de la cuenta de Azure Data Lake Storage.
- Directorio: Esta propiedad especifica la ruta de acceso raíz para enumerar archivos y carpetas.
- File System: Esta propiedad especifica el nombre del sistema de archivos que se usará en una cuenta de almacenamiento de Gen 2. Por ejemplo, el nombre de tu contenedor de blobs de Azure.
- Tamaño del fragmento: Es el tamaño de los fragmentos (en Mb) que se usarán cuando se suban archivos grandes.
- Include Sub Directories: Elige si las rutas de acceso de los subdirectorios deben aparecer en la vista Resources del esquema de ADLS Gen2.
- De forma opcional, haz clic en + Agregar etiqueta para agregar una etiqueta a la conexión en forma de un par clave-valor.
- Haz clic en Siguiente.
-
En la sección Autenticación, ingresa los detalles de autenticación.
- Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.
La conexión de Azure Data Lake Storage admite los siguientes tipos de autenticación:
- Firma de acceso compartido
- Clave de acceso a la cuenta
- Autenticación de JWT
- Haz clic en Siguiente.
Para comprender cómo configurar estos tipos de autenticación, consulta Configura la autenticación.
- Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.
- Revisa: Revisa tus detalles de conexión y autenticación.
- Haz clic en Crear.
Configura la autenticación
Ingresa los detalles según la autenticación que desees usar.
-
Firma de acceso compartido
- Firma de acceso compartido: Es el Secret de Secret Manager que contiene la firma de acceso compartido.
-
Clave de acceso a la cuenta
- Clave de acceso a la cuenta: Secret de Secret Manager que contiene la clave de acceso a la cuenta.
-
Autenticación de JWT
- ID de cliente: el ID de cliente que se usa para solicitar tokens de acceso.
- Clave privada: Secret de Secret Manager que contiene el contenido del archivo de clave privada en formato PEM. La clave privada debe coincidir con la clave o el certificado públicos.
- Contraseña de la clave privada: Secret de Secret Manager que contiene la contraseña del archivo de clave privada.
Muestras de configuración de conexión
En esta sección, se enumeran los valores de muestra para los distintos campos que configuras cuando creas la conexión de Azure Data Lake Storage.
Tipo de conexión de firma de acceso compartido
Nombre del campo | Detalles |
---|---|
Ubicación | us-central1 |
Conector | azuredatalakestorage |
Versión del conector | 1 |
Nombre de la conexión | adls-gen2-conn-public |
Habilita Cloud Logging | Sí |
Cuenta de servicio | cuenta@mi-proyecto.iam.gserviceaccount.com |
Cuenta | google-cloud-dslgen3 |
Directorio | directorio |
Sistema de archivos | contenedor |
Incluir subdirectorios | No |
Cantidad mínima de nodos | 2 |
Cantidad máxima de nodos | 50 |
Firma de acceso compartido | SHARED_ACCESS_SIGNATURE |
Versión del Secret | 1 |
Tipo de conexión de clave de acceso a la cuenta
Nombre del campo | Detalles |
---|---|
Ubicación | us-central1 |
Conector | azuredatalakestorage |
Versión del conector | 1 |
Nombre de la conexión | azure-data-lake-conn |
Habilita Cloud Logging | Sí |
Cuenta de servicio | cuenta@mi-proyecto.iam.gserviceaccount.com |
Cuenta | google-cloud-dslgen3 |
Directorio | norteamerica |
Sistema de archivos | contenedor |
Incluir subdirectorios | No |
Cantidad mínima de nodos | 2 |
Cantidad máxima de nodos | 50 |
Clave de acceso a la cuenta | ACCOUNT_ACCESS_KEY |
Versión del Secret | 1 |
Tipo de conexión de autenticación de JWT
Nombre del campo | Detalles |
---|---|
Ubicación | us-central1 |
Conector | azuredatalakestorage |
Versión del conector | 1 |
Nombre de la conexión | adls-gen2-jwt-conn |
Habilita Cloud Logging | Sí |
Cuenta de servicio | cuenta@mi-proyecto.iam.gserviceaccount.com |
Cuenta | your-adls-account-name |
Directorio | norteamerica |
Sistema de archivos | data-lake-container |
Incluir subdirectorios | Sí |
Cantidad mínima de nodos | 2 |
Cantidad máxima de nodos | 50 |
Tipo de autenticación | Autenticación de JWT |
ID de cliente | CLIENT_ID |
Clave privada | PRIVATE_KEY_SECRET |
Contraseña de clave privada | PRIVATE_KEY_PASSWORD_SECRET |
Versión del secreto (para la clave privada) | 1 |
Versión del secreto (para la contraseña de la clave privada) | 1 |
Entidades, operaciones y acciones
Todos los Integration Connectors proporcionan una capa de abstracción para los objetos de la aplicación conectada. Solo puedes acceder a los objetos de una aplicación a través de esta abstracción. La abstracción se expone como entidades, operaciones y acciones.
- Entidades: Una entidad puede considerarse como un objeto o una colección de propiedades en la aplicación o servicio conectados. La definición de una entidad difiere de conector a conector. Por ejemplo, en un conector de bases de datos, las tablas son las entidades; en un conector de servidor de archivos, las carpetas son las entidades; en un conector de sistema de mensajería, las colas son las entidades.
Sin embargo, es posible que un conector no admita o tenga ninguna entidad, en cuyo caso la lista
Entities
estará vacía. - Operaciones: Una operación es la actividad que puedes realizar en una entidad. Puedes realizar cualquiera de las siguientes operaciones en una entidad:
Cuando se selecciona una entidad de la lista disponible, se genera una lista de operaciones disponibles para esa entidad. Para obtener una descripción detallada de las operaciones, consulta las operaciones de entidades de la tarea de conectores. Sin embargo, si un conector no admite ninguna de las operaciones de entidad, esas operaciones no admitidas no se incluirán en la lista
Operations
. - Acción: Una acción es una función de primera clase que está disponible para la integración mediante la interfaz de Conectores. Una acción te permite realizar cambios en una entidad o entidades y variar de un conector a otro. Por lo general, una acción tendrá algunos parámetros de entrada y un parámetro de salida. Sin embargo, es posible que un conector no admita ninguna acción, en cuyo caso la lista
Actions
estará vacía.
Limitaciones del sistema
El conector de Azure Data Lake Storage puede procesar 5 transacciones por segundo, por nodo, y limita las transacciones que superen este límite. De forma predeterminada, Integration Connectors asigna 2 nodos (para una mejor disponibilidad) a una conexión.
Para obtener información sobre los límites aplicables a Integration Connectors, consulta Límites.
Acciones
En esta sección, se enumeran las acciones que admite el conector. Para comprender cómo configurar las acciones, consulta Ejemplos de acciones.
Acción DownloadFile
Esta acción te permite descargar el contenido de un blob específico de un directorio o un contenedor.
Parámetros de entrada de la acción DownloadFile
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Ruta | String | Sí | Es la ruta del archivo (incluido el nombre del archivo) que se descargará. Por ejemplo:
|
HasBytes | Booleano | No | Indica si se debe descargar contenido como bytes (formato Base64).
false .
|
Parámetros de salida de la acción DownloadFile
Si la acción se realiza correctamente, devuelve el contenido del archivo o el blob.
Para ver ejemplos sobre cómo configurar la acción DownloadFile
,
consulta Ejemplos de acciones.
Acción CreateFile
Esta acción te permite crear un blob o un archivo en un contenedor o directorio.
Parámetros de entrada de la acción CreateFile
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Ruta | String | Sí | Es la ruta del archivo que se creará. |
Para ver ejemplos sobre cómo configurar la acción CreateFile
, consulta Ejemplos de acciones.
Acción CopyFile
Esta acción te permite copiar el contenido de un archivo o un blob a otro archivo o blob en el mismo contenedor o directorio.
Parámetros de entrada de la acción CopyFile
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Ruta de acceso del origen | String | Sí | Es la ruta del archivo que se copiará. |
DestinationPath | String | Sí | Ruta del archivo en el que se copiará. |
Para ver ejemplos sobre cómo configurar la acción CopyFile
, consulta Ejemplos de acciones.
Acción DeleteObject
Esta acción te permite borrar un archivo o un BLOB.
Parámetros de entrada de la acción DeleteObject
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Recurrente | String | No | Establece este valor en true para borrar todo el contenido de la carpeta, incluidas las subcarpetas. |
Ruta | String | Sí | Es la ruta de acceso del archivo o la carpeta que se borrará. |
DeleteType | String | Sí |
|
Para ver ejemplos sobre cómo configurar la acción DeleteObject
,
consulta Ejemplos de acciones.
Acción LeaseBlob
Esta acción te permite crear y administrar un bloqueo en un BLOB.
Parámetros de entrada de la acción LeaseBlob
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Ruta | String | Sí | Es la ruta del archivo. |
LeaseAction | String | Sí | Especifica la acción de arrendamiento que se ejecutará. |
LeaseDuration | Número entero | Sí | Especifica la duración del alquiler. |
Para ver ejemplos sobre cómo configurar la acción LeaseBlob
, consulta Ejemplos de acciones.
Acción UploadFile
Esta acción permite a los usuarios subir el contenido a un blob o contenedor en particular.
Parámetros de entrada de la acción UploadFile
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Ruta | String | Sí | Es la ruta del archivo que se subirá. |
HasBytes | Booleano | No | Indica si se debe subir contenido como bytes. |
Contenido | String | Sí | Contenido que se subirá. |
Para ver ejemplos sobre cómo configurar la acción UploadFile
, consulta Ejemplos de acciones.
Acción RenameObject
Esta acción te permite cambiar el nombre de un archivo o una carpeta.
Parámetros de entrada de la acción RenameObject
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Ruta | String | Sí | Es la ruta de acceso a la que se le cambiará el nombre. |
RenameTo | String | Sí | Es el nuevo nombre del archivo o la carpeta. |
Para ver ejemplos sobre cómo configurar la acción RenameObject
, consulta Ejemplos de acciones.
Ejemplos de acciones
Ejemplo: Descarga un archivo
En este ejemplo, se descarga un archivo binario.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
DownloadFile
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "Path": "testdirectory1/test1.pdf", "HasBytes": true }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea DownloadFile
tendrá un valor similar al siguiente:
[{ "Success": "True", "ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA" }]
Ejemplo: Sube un archivo
En este ejemplo, se sube contenido como un BLOB.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
UploadFile
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "Path": "testblob4", "HasBytes": true, "Content": "abcdef\nabcdef" }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea UploadFile
tendrá un valor similar al siguiente:
[{ "Success": "true" }]
Ejemplo: Crea un archivo
En este ejemplo, se crea un archivo en el directorio especificado.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
CreateFile
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "path": "testdirectory1/testblob" }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea CreateFile
tendrá un valor similar al siguiente:
[{ "Success": "true" }]
Ejemplo: Cómo copiar un archivo
En este ejemplo, se copia un archivo de una ubicación a otra.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
CopyFile
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "SourcePath": "testdirectory1/testblob", "DestinationPath": "testblob" }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea CopyFile
tendrá un valor similar al siguiente:
[{ "Success": "true" }]
Ejemplo: Borra un blob
En este ejemplo, se borra el blob especificado.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
DeleteObject
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "path": "testdirectory1/testblob" }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea DeleteObject
tendrá un valor similar al siguiente:
[{ "Success": "true" }]
Ejemplo: Arrendar un BLOB
En este ejemplo, se otorga un arrendamiento para el BLOB especificado.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
LeaseBlob
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "Path": "testblob2", "LeaseAction": "Acquire", "LeaseDuration": 60.0 }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea LeaseBlob
tendrá un valor similar al siguiente:
[{ "LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493", "Success": "true" }]
Ejemplo: Cambia el nombre de un blob
En este ejemplo, se cambia el nombre de un blob.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
RenameObject
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "Path": "testblob", "RenameTo": "testblob6" }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea RenameObject
tendrá un valor similar al siguiente:
[{ "Success": true }]
Ejemplos de operaciones de entidades
En esta sección, se muestra cómo realizar algunas de las operaciones de la entidad en este conector.
Ejemplo: Enumera todos los registros
En este ejemplo, se enumeran todos los registros de la entidad Resource
.
- En el cuadro de diálogo
Configure connector task
, haz clic enEntities
. - Selecciona
Resource
en la listaEntity
. - Selecciona la operación
List
y haz clic en Listo. - De forma opcional, en la sección Entrada de tarea de la tarea Conectores, puedes filtrar tu conjunto de resultados especificando una cláusula de filtro. Siempre especifica el valor de la cláusula de filtro entre comillas simples (').
Ejemplo: Obtén un registro
En este ejemplo, se obtiene un registro con el ID especificado de la entidad Resource
.
- En el cuadro de diálogo
Configure connector task
, haz clic enEntities
. - Selecciona
Resource
en la listaEntity
. - Selecciona la operación
Get
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en EntityId y, luego, ingresa
testdirectory1/testblob1
en el campo Valor predeterminado.Aquí,
testdirectory1/testblob1
es un ID de registro único en la entidadResource
.
Usa la conexión de Azure Data Lake Storage en una integración
Después de crear la conexión, estará disponible en la integración de Apigee y en Application Integration. Puedes usar la conexión en una integración a través de la tarea Connectors.
- Para comprender cómo crear y usar la tarea Connectors en Apigee Integration, consulta Tarea Connectors.
- Para comprender cómo crear y usar la tarea Connectors en Application Integration, consulta Tarea Connectors.
Obtén ayuda de la Comunidad de Google Cloud
Puedes publicar tus preguntas y debatir sobre este conector en la comunidad de Google Cloud en Cloud Forums.¿Qué sigue?
- Obtén información para suspender y reanudar una conexión.
- Obtén información para supervisar el uso del conector.
- Comprende cómo ver los registros del conector.