Transferencias de HDFS a Cloud Storage

Consola de Google Cloud

1. En la consola de Google Cloud, ve a la página Grupos de agentes.

   Ir a los grupos de agentes

2. Selecciona el grupo de agentes al que deseas agregar el agente nuevo.

3. Haz clic en Instalar agente.

4. Sigue las instrucciones que se muestran para instalar y ejecutar el agente.

   Para obtener más información sobre las opciones de línea de comandos del agente, consulta Opciones de línea de comandos del agente.

CLI de gcloud

Para instalar uno o más agentes mediante la CLI de gcloud, ejecuta gcloud transfer agents install:

gcloud transfer agents install --pool=POOL_NAME \
  --count=NUM_AGENTS \
  --mount-directories=MOUNT_DIRECTORIES \
  --hdfs-namenode-uri=HDFS_NAMENODE_URI \
  --hdfs-username=HDFS_USERNAME \
  --hdfs-data-transfer-protection=HDFS_DATA_TRANSFER_PROTECTION \
  --kerberos-config-file=KERBEROS_CONFIG_FILE \
  --kerberos-keytab-file=KERBEROS_KEYTAB_FILE \
  --kerberos-user-principal=KERBEROS_USER_PRINCIPAL \
  --kerberos-service-principal=KERBEROS_SERVICE_PRINCIPAL \

Aquí:

• --hdfs-namenode-uri especifica un clúster de HDFS que incluye un esquema, un nombre de nodo y un puerto en formato URI. Por ejemplo:

  • rpc://my-namenode:8020
  • http://my-namenode:9870

  Usa HTTP o HTTPS para WebHDFS. Si no se proporciona un esquema, se asume que es RPC. Si no se proporciona ningún puerto, el valor predeterminado es 8020 para RPC, 9870 para HTTP y 9871 para HTTPS. Por ejemplo, la entrada my-namenode se convierte en rpc://my-namenode:8020

  Si tu clúster está configurado con varios namenodes, especifica el nodo principal actual. Consulta Clústeres con varios namenodes para obtener más información.

• --hdfs-username es el nombre de usuario para conectarse a un clúster HDFS con autenticación simple. Omite esta marca si te autenticas con Kerberos o si te conectas sin ninguna autenticación.

• --hdfs-data-transfer-protection (opcional) es la calidad del cliente de (QOP) para clústeres con kerber. El valor no puede ser mayor restrictivo que el valor de QOP del servidor. Los valores válidos son authentication, integrity y privacy.

Si autenticas con Kerberos, incluye también las siguientes marcas:

• --kerberos-config-file es la ruta de acceso a un archivo de configuración de Kerberos. Por ejemplo, --kerberos-config-file=/etc/krb5.conf.

• --kerberos-user-principal es el usuario principal de Kerberos que se debe usar. Por ejemplo, --kerberos-user-principal=user1.

• --kerberos-keytab-file es la ruta de acceso a un archivo Keytab que contiene el principal del usuario especificado con la marca --kerberos-user-principal. Por ejemplo, --kerberos-keytab-file=/home/me/kerberos/user1.keytab.

• --kerberos-service-principal es el principal del servicio de Kerberos que se usará, del formulario <primary>/<instance>. El dominio está asignado desde tu cuenta de Kerberos de configuración de Terraform; se ignora cualquier dominio proporcionado. Si esta marca no es especificado, el valor predeterminado es hdfs/<namenode_fqdn>, donde <namenode_fqdn> es el nombre de dominio completamente calificado especificado en el archivo de configuración.

  Por ejemplo, --kerberos-service-principal=hdfs/my-namenode.a.example.com.

La herramienta te guía a través de los pasos necesarios para instalar los agentes. Con este comando, se instalan NUM_AGENTS agentes en tu máquina, asignados al nombre del grupo especificado como POOL_NAME, y autentica al agente con tus credenciales gcloud. El nombre del grupo debe existir o se mostrará un error.

La marca --mount-directories es opcional, pero se recomienda. Es es una lista separada por comas de directorios en el sistema de archivos al que para otorgar acceso al agente. Si se omite esta marca, se activa todo el sistema de archivos en el contenedor del agente. Consulta el Referencia de gcloud para obtener más información.

docker run

Antes de usar docker run para instalar agentes, sigue las instrucciones para instalar Docker.

El comando docker run instala un agente. Aumentar la cantidad de agentes en tu grupo, vuelve a ejecutar este comando tantas veces como sea necesario.

Las marcas de comando necesarias dependen del tipo de autenticación que usan.

sudo docker run -d --ulimit memlock=64000000 --rm \
  --network=host \
  -v /:/transfer_root \
  gcr.io/cloud-ingest/tsop-agent:latest \
  --enable-mount-directory \
  --project-id=${PROJECT_ID} \
  --hostname=$(hostname) \
  --creds-file="service_account.json" \
  --agent-pool=${AGENT_POOL_NAME} \
  --hdfs-namenode-uri=cluster-namenode \
  --kerberos-config-file=/etc/krb5.conf \
  --kerberos-user-principal=user \
  --kerberos-keytab-file=/path/to/folder.keytab

sudo docker run -d --ulimit memlock=64000000 --rm \
  --network=host \
  -v /:/transfer_root \
  gcr.io/cloud-ingest/tsop-agent:latest \
  --enable-mount-directory \
  --project-id=${PROJECT_ID} \
  --hostname=$(hostname) \
  --creds-file="${CREDS_FILE}" \
  --agent-pool="${AGENT_POOL_NAME}" \
  --hdfs-namenode-uri=cluster-namenode \
  --hdfs-username="${USERNAME}"

sudo docker run -d --ulimit memlock=64000000 --rm \
  --network=host \
  -v /:/transfer_root \
  gcr.io/cloud-ingest/tsop-agent:latest \
  --enable-mount-directory \
  --project-id=${PROJECT_ID} \
  --hostname=$(hostname) \
  --creds-file="${CREDS_FILE}" \
  --agent-pool="${AGENT_POOL_NAME}" \
  --hdfs-namenode-uri=cluster-namenode \

Consola de Google Cloud

1. Ve a la página Servicio de transferencia de almacenamiento en la consola de Google Cloud.

   Ir al Servicio de transferencia de almacenamiento

2. Haz clic en Crear trabajo de transferencia. Se muestra la página Crea un trabajo de transferencia.

3. Selecciona Sistema de archivos distribuidos de Hadoop como el Tipo de fuente. El el destino debe ser Google Cloud Storage.

   Haz clic en Próximo paso.

Configura la fuente

1. Especifica la información necesaria para esta transferencia:

   1. Selecciona el grupo de agentes que configuraste para esta transferencia.

   2. Ingresa la ruta de acceso desde la que deseas transferir, en relación con el directorio raíz.

2. Si lo deseas, puedes especificar filtros para se aplican a los datos de origen.

3. Haz clic en Próximo paso.

Configura tu receptor

1. En el campo Bucket o carpeta, ingresa el bucket de destino y el nombre de la carpeta (opcional) o haz clic en Explorar para seleccionar un bucket de una lista de buckets existentes en tu proyecto actual. Para crear un bucket nuevo, haz clic en Crear un bucket nuevo.

2. Haz clic en Próximo paso.

Programar la transferencia

Puedes programar tu transferencia para que se ejecute una sola vez o configurar una de datos entre sitios.

Haz clic en Próximo paso.

Elige la configuración de transferencia

1. En el campo Descripción, ingresa una descripción de la transferencia. Como práctica recomendada, ingresa una descripción que sea significativa y única para que puedas distinguir los trabajos.

2. En Opciones de metadatos, selecciona tu clase de almacenamiento de Cloud Storage. y si guardar cada uno de los objetos hora de creación. Consulta Conservación de metadatos para conocer los detalles.

3. En Cuándo reemplazar, selecciona una de las siguientes opciones:

   • Nunca: No reemplaces los archivos de destino. Si existe un archivo con con el mismo nombre, no se transferirá.

   • Si es diferente: Reemplaza los archivos de destino si el archivo de origen con el mismo nombre tiene diferentes ETags o valores de suma de verificación.

   • Siempre: Siempre escribe archivos de destino cuando el archivo de origen tiene el mismo nombre, incluso si son idénticos.

4. En Cuándo borrar, selecciona una de las siguientes opciones:

   • Nunca: Nunca borres archivos de origen o de destino.

   • Borra los archivos del destino si no están también en el origen: Si los archivos en el bucket de Cloud Storage de destino no están también en el origen, borra los archivos del bucket de Cloud Storage.

     Esta opción garantiza que el bucket de destino de Cloud Storage coincida exactamente con tu fuente.

5. Selecciona si deseas habilitar esta opción registro de transferencia y/o Notificaciones de Pub/Sub.

Haz clic en Crear para crear el trabajo de transferencia.

gcloud CLI

Para crear un nuevo trabajo de transferencia, usa el comando gcloud transfer jobs create. La creación de un trabajo nuevo inicia la transferencia especificada, a menos que se especifique un programa o --do-not-run.

gcloud transfer jobs create \
  hdfs:///PATH/ gs://BUCKET_NAME/PATH/
  --source-agent-pool=AGENT_POOL_NAME

Aquí:

• PATH es una ruta de acceso absoluta desde la raíz del clúster de HDFS. El clúster namenode y el puerto se configuran a nivel del agente, por lo que la creación de trabajos solo necesita especificar la ruta de acceso (opcional) y el grupo de agentes.

• --source-agent-pool especifica el grupo de agentes de origen que se usará para esta transferencia.

Las opciones adicionales incluyen:

• --do-not-run evita que el Servicio de transferencia de almacenamiento ejecute el trabajo cuando se envía el comando. Si deseas ejecutar el trabajo, actualízalo para agregar una programación o usa jobs run a fin de iniciarlo de forma manual.

• --manifest-file especifica la ruta a un archivo CSV en Cloud Storage, que contiene una lista de archivos para transferir de tu fuente. Para formatear archivos de manifiesto, consulta Transfiere archivos o objetos específicos con un manifiesto.

• Información del trabajo: puedes especificar --name y --description.

• Programa: Especifica --schedule-starts, --schedule-repeats-every, y --schedule-repeats-until o --do-not-run.

• Condiciones de objetos: Usa condiciones para determinar qué objetos se transfieren. Estos incluyen --include-prefixes y --exclude-prefixes, y las condiciones basadas en el tiempo en --include-modified-[before | after]-[absolute | relative]. Si especificaste una carpeta con tu origen, los filtros de prefijo están relacionados con esa carpeta. Consulta Filtra objetos de origen por prefijo para obtener más información. información.

• Opciones de transferencia: Especifica si deseas reemplazar los archivos de destino (--overwrite-when=different o always) y si deseas borrar ciertos archivos durante o después de la transferencia (--delete-from=destination-if-unique o source-after-transfer). De manera opcional, puedes configurar una clase de almacenamiento en los objetos transferidos (--custom-storage-class).

• Notificaciones: Configura las notificaciones de Pub/Sub para transferencias con --notification-pubsub-topic, --notification-event-types y --notification-payload-format.

Para ver todas las opciones, ejecuta gcloud transfer jobs create --help o consulta la documentación de referencia de gcloud.

API de REST

Para crear una transferencia desde una fuente HDFS con la API de REST, crea un objeto JSON similar al siguiente ejemplo.

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  ...
  "transferSpec": {
    "source_agent_pool_name":"POOL_NAME",
    "hdfsDataSource": {
      "path": "/mount"
    },
    "gcsDataSink": {
      "bucketName": "SINK_NAME"
    },
    "transferOptions": {
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

Consulta la referencia de transferJobs.create para obtener detalles sobre campos admitidos adicionales.