HDFS

El conector de HDFS te permite realizar acciones de inserción, eliminación, actualización y lectura en los datos de HDFS.

Versiones compatibles

Este conector es compatible con la versión 3.4.0 de HDFS Hadoop.

Antes de comenzar

Antes de usar el conector de HDFS, realiza las siguientes tareas:

  • En tu proyecto de Google Cloud, haz lo siguiente:
    • Otorga el rol de IAM roles/connectors.admin al usuario que configura el conector.
    • Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el conector:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Una cuenta de servicio es un tipo de Cuenta de Google especial que representa a un usuario no humano que debe autenticarse y tener autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crear una. Para obtener más información, consulta Crea una cuenta de servicio.

    • Habilita los siguientes servicios:
      • secretmanager.googleapis.com (API de Secret Manager)
      • connectors.googleapis.com (API de conectores)

      Para comprender cómo habilitar servicios, consulta Habilita servicios.

    Si estos servicios o permisos no se habilitaron antes para tu proyecto, se te solicitará que los habilites cuando configures el conector.

Configura el conector

Una conexión es específica de una fuente de datos. Significa que, si tienes muchas fuentes de datos, debes crear una conexión independiente para cada fuente. Para crear una conexión, haz lo siguiente:

  1. En la consola de Cloud, ve a la página Conectores de Integration > Conexiones y, luego, selecciona o crea un proyecto de Google Cloud.

    Ir a la página Conexiones

  2. Haz clic en + CREAR NUEVO para abrir la página Crear conexión.
  3. En la sección Ubicación, elige la ubicación para la conexión.
    1. Región: selecciona una ubicación de la lista desplegable.

      Para obtener la lista de todas las regiones compatibles, consulta Ubicaciones.

    2. Haz clic en SIGUIENTE.
  4. En la sección Detalles de la conexión, completa lo siguiente:
    1. Conector: Selecciona HDFS en la lista desplegable de conectores disponibles.
    2. Versión del conector: selecciona la versión del conector de la lista desplegable de versiones disponibles.
    3. En el campo Nombre de la conexión, ingresa un nombre para la instancia de conexión.

      Los nombres de las conexiones deben cumplir con los siguientes criterios:

      • Los nombres de las conexiones pueden usar letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
      • Los nombres de las conexiones no pueden superar los 49 caracteres.
    4. De manera opcional, ingresa una Descripción para la instancia de conexión.
    5. De manera opcional, habilita Cloud Logging y, luego, selecciona un nivel de registro. De forma predeterminada, el nivel de registro se establece en Error.
    6. Cuenta de servicio: Selecciona una cuenta de servicio que tenga los roles necesarios.
    7. Ruta de acceso: Especifica la ruta de acceso de HDFS que se usará como directorio de trabajo.
    8. De manera opcional, configura los parámetros de nodo de conexión:

      • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
      • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

      Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

    9. De forma opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de un par clave-valor.
    10. Haga clic en SIGUIENTE.
  5. En la sección Destinos, ingresa los detalles del host remoto (sistema de backend) al que deseas conectarte.
    1. Tipo de destino: Selecciona un Tipo de destino.
      • Para especificar el nombre de host o la dirección IP de destino, selecciona Dirección de host y, luego, ingresa la dirección en el campo Host 1.
      • Para establecer una conexión privada, selecciona Adjunto de extremo y elige el adjunto requerido de la lista Adjunto de extremo.

      Si deseas establecer una conexión pública con tus sistemas de backend con seguridad adicional, puedes configurar direcciones IP salientes estáticas para tus conexiones y, luego, configurar tus reglas de firewall para permitir solo las direcciones IP estáticas específicas.

      Para ingresar destinos adicionales, haz clic en +AGREGAR DESTINO.

    2. Haga clic en SIGUIENTE.
  6. En la sección Autenticación, ingresa los detalles de autenticación.
    1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.

      La conexión HDFS admite los siguientes tipos de autenticación:

      • Nombre de usuario y contraseña

      Para comprender cómo configurar estos tipos de autenticación, consulta Configura la autenticación.

    2. Haga clic en SIGUIENTE.
  7. Revisa: Revisa tus detalles de conexión y autenticación.
  8. Haz clic en Crear.

Configura la autenticación

Ingresa los detalles según la autenticación que desees usar.

  • Nombre de usuario y contraseña
    • Nombre de usuario: Ingresa el nombre de usuario que se usará para la conexión de HDFS.
    • Contraseña : Ingresa el secreto de Secret Manager que contiene la contraseña asociada con el nombre de usuario.
    • Versión del secreto: Selecciona la versión del secreto que se seleccionó anteriormente.

Muestras de configuración de conexión

En esta sección, se enumeran los valores de muestra para los distintos campos que configuras cuando creas la conexión.

Tipo de conexión con nombre de usuario y contraseña

Nombre del campo Detalles
Ubicación europe-west1
Conector HDFS
Versión del conector 1
Nombre de la conexión hdfs-v24-new
Cuenta de servicio my-service-account@my-project.iam.gserviceaccount.com
Cantidad mínima de nodos 2
Cantidad máxima de nodos 2
Tipo de destino Dirección del host
Host 10.128.0.
port1 10000
Nombre de usuario usuario1
Contraseña CONTRASEÑA
Versión del Secret 1

Limitaciones del sistema

El conector HDFS puede procesar un máximo de 20 transacciones por segundo, por nodo, y limita las transacciones que superen este límite. De forma predeterminada, Integration Connectors asigna 2 nodos (para una mejor disponibilidad) a una conexión.

Para obtener información sobre los límites aplicables a Integration Connectors, consulta Límites.

Usa la conexión de HDFS en una integración

Después de crear la conexión, estará disponible en la integración de Apigee y en Application Integration. Puedes usar la conexión en una integración a través de la tarea Connectors.

  • Para comprender cómo crear y usar la tarea Connectors en Apigee Integration, consulta Tarea Connectors.
  • Para comprender cómo crear y usar la tarea Connectors en Application Integration, consulta Tarea Connectors.

Acciones

En esta sección, se muestra cómo realizar algunas de las acciones en este conector.

Acción MakeDirectory

Esta acción crea un directorio en la ruta de acceso especificada.

Parámetros de entrada de la acción MakeDirectory

Nombre del parámetro Tipo de datos Obligatorio Descripción
Permiso String Falso Son los permisos para crear un directorio nuevo.
Ruta String Verdadero Es la ruta de acceso del directorio nuevo.

Para ver un ejemplo sobre cómo configurar la acción MakeDirectory, consulta Ejemplos.

Acción de ListStatus

Esta acción enumera el contenido de la ruta de acceso proporcionada.

Parámetros de entrada de la acción ListStatus

Nombre del parámetro Tipo de datos Obligatorio Descripción
Ruta String Verdadero Es la ruta del archivo.

Para ver un ejemplo sobre cómo configurar la acción ListStatus, consulta Ejemplos.

Acción GetHomeDirectory

Esta acción obtiene el directorio principal del usuario actual.

Parámetros de entrada de la acción GetHomeDirectory

Nombre del parámetro Tipo de datos Obligatorio Descripción
connectorInputPayload JSON Verdadero Es la carga útil de entrada del conector.

Para ver un ejemplo sobre cómo configurar la acción GetHomeDirectory, consulta Ejemplos.

Acción DeleteFile

Esta acción borra un archivo o un directorio.

Parámetros de entrada de la acción DeleteFile

Nombre del parámetro Tipo de datos Obligatorio Descripción
Ruta String Verdadero Es la ruta del archivo.
Recurrente Booleano Falso Especifica si se deben borrar las subcarpetas de una carpeta.

Para ver un ejemplo sobre cómo configurar la acción DeleteFile, consulta Ejemplos.

Acción GetContentSummary

Esta acción obtiene el resumen del contenido de un archivo o una carpeta.

Parámetros de entrada de la acción GetContentSummary

Nombre del parámetro Tipo de datos Obligatorio Descripción
Ruta String Verdadero Es la ruta de acceso del archivo o la carpeta.

Para ver un ejemplo sobre cómo configurar la acción GetContentSummary, consulta Ejemplos.

Acción RenameFile

Esta acción cambia el nombre de un archivo o directorio.

Parámetros de entrada de la acción RenameFile

Nombre del parámetro Tipo de datos Obligatorio Descripción
path String Verdadero Es la ruta del archivo.
destination String Verdadero Especifica el nuevo nombre y la ruta de acceso del archivo.

Para ver un ejemplo sobre cómo configurar la acción RenameFile, consulta Ejemplos.

Acción SetPermission

Esta acción establece el permiso de una ruta de acceso.

Parámetros de entrada de la acción SetPermission

Nombre del parámetro Tipo de datos Obligatorio Descripción
Ruta String Verdadero Es la ruta del archivo.
Permiso String Verdadero Especifica los permisos de Unix en una notación octal (base 8).

Para ver un ejemplo sobre cómo configurar la acción SetPermission, consulta Ejemplos.

Acción SetPermission

Esta acción establece el permiso de una ruta de acceso.

Parámetros de entrada de la acción SetPermission

Nombre del parámetro Tipo de datos Obligatorio Descripción
Ruta String Verdadero Es la ruta del archivo.
Permiso String Verdadero Especifica los permisos de Unix en notación octal (base 8).

Para ver un ejemplo sobre cómo configurar la acción SetPermission, consulta Ejemplos.

Acción SetOwner

Esta acción establece un propietario y un grupo de una ruta de acceso.

Parámetros de entrada de la acción SetOwner

Nombre del parámetro Tipo de datos Obligatorio Descripción
Ruta String Verdadero Es la ruta del archivo.
Propietario String Verdadero Es el nuevo propietario de la ruta de acceso.
grupo String Falso Es el nombre del grupo nuevo.

Para ver un ejemplo sobre cómo configurar la acción SetOwner, consulta Ejemplos.

Acción UploadFile

Esta acción sube un archivo.

Parámetros de entrada de la acción UploadFile

Nombre del parámetro Tipo de datos Obligatorio Descripción
path String Verdadero Es la ruta del archivo.
Contenido String Verdadero Es el contenido del archivo subido.

Para ver un ejemplo sobre cómo configurar la acción UploadFile, consulta Ejemplos.

Acción DownloadFile

Esta acción descarga un archivo.

Parámetros de entrada de la acción DownloadFile

Nombre del parámetro Tipo de datos Obligatorio Descripción
path String Verdadero Es la ruta del archivo.
WriteToFile String Falso Ubicación local del archivo en el que se escribe el resultado.

Para ver un ejemplo sobre cómo configurar la acción DownloadFile, consulta Ejemplos.

Acción AppendToFile

Esta acción agrega un archivo.

Parámetros de entrada de la acción AppendToFile

Nombre del parámetro Tipo de datos Obligatorio Descripción
path String Verdadero Es la ruta del archivo.
Contenido String Verdadero Es el contenido que se agregará al archivo.

Para ver un ejemplo sobre cómo configurar la acción AppendToFile, consulta Ejemplos.

Acción GetFileChecksum

Esta acción obtiene la suma de verificación de un archivo.

Parámetros de entrada de la acción GetFileChecksum

Nombre del parámetro Tipo de datos Obligatorio Descripción
path String Verdadero Es la ruta del archivo.

Para ver un ejemplo sobre cómo configurar la acción GetFileChecksum, consulta Ejemplos.

Ejemplos de acciones

En esta sección, se muestra cómo realizar algunos de los ejemplos de acciones en este conector.

Ejemplo: Cómo crear un directorio

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción MakeDirectory y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    {
  "Path": "/user/hduser"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
  "Success": true
}]

Ejemplo: Obtén el directorio principal

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción GetHomeDirectory y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
      {}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
  "Path": "/user/hduser"
}]

Ejemplo: Borra un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción DeleteFile y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    {
  "Path": "/user/hduser/testFile"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
  "Success": true
}]

Ejemplo: Cómo enumerar el estado de un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción ListStatus y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    {
  "path": "/user/hduser/deletefile"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
  "fileId": 16471.0,
  "PathSuffix": "data.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 38.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.921",
  "accessTime": "2024-08-16 16:12:01.888",
  "type": "FILE"
}, {
  "fileId": 16469.0,
  "PathSuffix": "file2.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 53.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.762",
  "accessTime": "2024-08-16 16:12:01.447",
  "type": "FILE"
}]

Ejemplo: Obtén el resumen del contenido de un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción GetContentSummary y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    {
  "Path": "/user/hduser/appendtofile"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

      [{
  "DirectoryCount": "1",
  "FileCount": "1",
  "Length": 52.0,
  "Quota": -1.0,
  "SpaceConsumed": 52.0,
  "SpaceQuota": -1.0,
  "ecpolicy": "",
  "snapshotdirectorycount": "0",
  "snapshotfilecount": "0",
  "snapshotlength": "0",
  "snapshotspaceconsumed": "0"
}]

Ejemplo: Cambiar el nombre de un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción hdfs_RenameFile_action y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    {
  "Path": "/user/hduser/renamefile_second/file1.txt",
  "Destination": "/user/hduser/renamefile_second/file1rename"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
  "Success": true
}]

Ejemplo: Establece el permiso de un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción SetPermission y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    {
  "Path": "/user/hduser/gcpdirectory",
  "Permission": "777"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
  "Success": true
}]

Ejemplo: Establece el propietario de un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción SetOwner y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    {
  "Path": "/user/hduser/gcpdirectory",
  "Owner": "newowner"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
  "Success": true
}]

Ejemplo: Sube un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción UploadFile y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
       { "Path": "/user/newfile9087.txt", "Content": "string" }

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [{
  "Success": true
}]

Ejemplo: Descarga un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción DownloadFile y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    { "Path": "/user/sampleFile/file1.txt" }

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [ { "Output": "This is sample File\nfor this testing\ncontent" } ]

Ejemplo: Cómo agregar un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción AppendToFile y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    { "Path": "/user/sampleFile/file1.txt", "Content": "content" }

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [ { "Success": true } ]

Ejemplo: Obtén la suma de verificación de un archivo

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción GetFileChecksum y haz clic en Listo.
  3. En la sección Asignación de datos, haz clic en Open Data Mapping Editor y, luego, ingresa un valor similar al siguiente en el campo Input: 
    { "Path": "/user/sampleFile/file1.txt" }

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea del conector tendrá un valor similar al siguiente:

    [ { "Algorithm": "MD5-of-0MD5-of-512CRC32C", "Bytes": "00000200000000000000000080f5b53ae8c165ae56e86109b8bb2a1700000000", "Length": 28 } ]

Ejemplos de operaciones de entidades

En esta sección, se muestra cómo realizar algunas de las operaciones de la entidad en este conector.

Ejemplo: Enumera los datos de todos los archivos

En este ejemplo, se recuperan los datos de todos los archivos de la entidad Files.

  1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
  2. Selecciona Object en la lista Entity.
  3. Selecciona la operación List y haz clic en Listo.

Ejemplo: Obtén datos de un permiso

En este ejemplo, se obtienen los datos del permiso con el ID especificado de la entidad Permission.

  1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
  2. Selecciona Permission en la lista Entity.
  3. Selecciona la operación Get y haz clic en Listo.
  4. En la sección Task Input de la tarea Connectors, haz clic en EntityId y, luego, ingresa /user/hduser/appendfile en el campo Valor predeterminado.

    Aquí, /user/hduser/appendfile es un ID único en la entidad Permission.

Obtén ayuda de la Comunidad de Google Cloud

Puedes publicar tus preguntas y debatir sobre este conector en la comunidad de Google Cloud en Cloud Forums.

¿Qué sigue?