El Servicio de transferencia de almacenamiento admite transferencias desde el almacenamiento de objetos local o en la nube que son compatibles con la API de Amazon S3.
El Servicio de transferencia de almacenamiento accede a tus datos en el almacenamiento compatible con S3 mediante agentes de transferencia que se implementan en VMs cercanas a la fuente de datos. Estos agentes se ejecutan en un entorno y pertenecen a un grupo de agentes, que es un conjunto de agentes que usan la misma configuración y que, colectivamente, transfieran tus datos en paralelo.
Esta función te permite hacer lo siguiente: migrar del almacenamiento local o de objetos en la nube a Cloud Storage, archivar datos para liberar capacidad de almacenamiento local, replicar datos para Google Cloud para la continuidad empresarial o transferir datos a en Google Cloud para su análisis y procesamiento. Para los clientes que migran desde AWS S3 hasta Cloud Storage, esta función ofrece la opción de controlar rutas de red a Google Cloud, lo que genera una reducción cargos de transferencia de datos salientes.
Antes de comenzar
Antes de configurar las transferencias, completa los siguientes pasos:
- Instala la CLI de gcloud.
- Satisfacer las requisitos para las transferencias del sistema de archivos incluida la instalación de Docker en la máquina del agente de transferencia.
Obtén credenciales de origen
Para transferir datos desde almacenamiento compatible con S3, se requiere un ID de clave de acceso y una clave de acceso secreta.
Los pasos para obtener estos datos dependen de tu proveedor de almacenamiento.
La cuenta desde la que se generan el ID y la clave requiere uno de los siguientes permisos:
- Permiso de solo lectura en los objetos de origen si no deseas borrar objetos en la fuente.
- Acceso total a los objetos de origen, si eliges borrar objetos en la fuente como parte de la transferencia.
Una vez que hayas creado la cuenta, agregado permisos y descargado la ID de clave de acceso y clave de acceso secreta, almacena el ID y la clave en una en un lugar específico.
Configura los permisos de Google Cloud
Antes de crear una transferencia, debes configurar permisos para lo siguiente entidades:
La cuenta de usuario que se usa para crear la transferencia. Este es el con la que accediste a la consola de Google Cloud que se especifica cuando se realiza la autenticación en la CLI de “gcloud”. La cuenta de usuario puede ser una cuenta de usuario normal o una cuenta de servicio administrada por el usuario. | |
La cuenta de servicio administrada por Google, también conocida como agente de servicio, que usa el Servicio de transferencia de almacenamiento. Generalmente, esta cuenta se identifica por
su dirección de correo electrónico, que usa el formato
project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com
|
|
La cuenta del agente de transferencia que proporciona Google Cloud para los agentes de transferencia. Las cuentas del agente de transferencia usan credenciales del usuario que las instala o las credenciales de un de servicio administrada por el usuario, para autenticar. |
Consulta Permisos de transferencia basada en agentes para obtener instrucciones.
Opciones de transferencia
Las siguientes funciones del Servicio de transferencia de almacenamiento están disponibles para transferencias De almacenamiento compatible con S3 a Cloud Storage:
- Cómo transferir archivos específicos con un manifiesto
- Puedes pasar una lista de archivos para que actúe el Servicio de transferencia de almacenamiento. Consulta Transfiere archivos específicos con un manifiesto para obtener más información.
- Especifica la clase de almacenamiento
- Puedes especificar la
clase de almacenamiento de Cloud Storage que deseas usar para tus datos en el
bucket de destino. Consulta la
StorageClass
para los detalles de REST, o usa la--custom-storage-class
con Google Cloud CLI.Ten en cuenta que se ignorará cualquier configuración de clase de almacenamiento si el destino bucket tenga habilitada la Clase automática. Si Autoclass está habilitada. En un principio, los objetos transferidos al bucket configurada en Standard Storage.
- Conservación de metadatos
-
Cuando se transfieren archivos desde un almacenamiento compatible con S3, el Servicio de transferencia de almacenamiento de forma opcional, pueden conservar ciertos atributos como metadatos personalizados.
Consulta Almacenamiento compatible con Amazon S3 o S3 a Cloud de Cloud Storage de Conservación de metadatos para obtener detalles sobre los que se pueden y cómo configurar tu transferencia.
- Registro y supervisión
- Las transferencias del almacenamiento compatible con S3 se pueden ver en Cloud Logging y Cloud Monitoring Consulta Cloud Logging para Servicio de transferencia de almacenamiento y Supervisar la transferencia los trabajos de producción para obtener más detalles. También puedes configurar notificaciones de Pub/Sub.
Crea un grupo de agentes
Para crear un grupo de agentes, haz lo siguiente:
Consola de Google Cloud
En la consola de Google Cloud, ve a la página Grupos de agentes.
Se mostrará la página Grupos de agentes, que enumera tus grupos de agentes existentes.
Haz clic en Crear otro grupo.
Asigna un nombre a tu grupo y, de manera opcional, una descripción.
Puedes optar por establecer un límite de ancho de banda que se aplicará al grupo en general. El ancho de banda especificado en MB/s se dividirá entre todos los agentes del grupo. Para obtener más información, consulta Administrar el ancho de banda de red.
Haga clic en Crear.
API de REST
Usa projects.agentPools.create:
POST https://storagetransfer.googleapis.com/v1/projects/PROJECT_ID/agentPools?agent_pool_id=AGENT_POOL_ID
Aquí:
PROJECT_ID
: Es el ID del proyecto en el que creas el grupo de agentes.AGENT_POOL_ID
: Es el ID del grupo de agentes que creas.
Si un grupo de agentes se detuvo en el estado Creating
durante más de 30 minutos, recomendamos borrar el grupo de agentes y volver a crearlo.
Revocar los permisos necesarios del Servicio de transferencia de almacenamiento de un proyecto mientras un grupo de agentes está en el estado Creating
genera un comportamiento de servicio incorrecto.
gcloud CLI
Para crear un grupo de agentes con la herramienta de línea de comandos de gcloud
, ejecuta
[gcloud transfer agent-pools create
][agent-pools-create].
gcloud transfer agent-pools create AGENT_POOL
Las siguientes opciones están disponibles:
AGENT_POOL es un identificador único y permanente para este grupo.
--no-async
bloquea otras tareas en tu terminal hasta que se cree el grupo. Si no se incluye, la creación de grupos se ejecuta de forma asíncrona.--bandwidth-limit
define cuánto ancho de banda de MB/s debe estar disponible para los agentes de este grupo. Un límite de ancho de banda se aplica a todos los agentes de un grupo y puede ayudar a evitar que la carga de trabajo de transferencia del grupo interrumpa otras operaciones que comparten el ancho de banda. Por ejemplo, ingresa “50” para establecer un límite de ancho de banda de 50 MB/s. Si dejas esta marca sin especificar, los agentes del grupo usarán todo el ancho de banda disponible para ellos.--display-name
es un nombre modificable que te ayuda a identificar este grupo. Puedes incluir detalles que podrían no caber en el nombre completo del recurso del grupo.
Instala los agentes de transferencia
Los agentes de transferencia son agentes de software que coordinan las actividades de transferencia desde tu fuente a través del Servicio de transferencia de almacenamiento. Se deben instalar en un sistema con el acceso a tus datos de origen.
gcloud CLI
Para instalar agentes que se usarán con una fuente compatible con S3 con la CLI de gcloud
, usa el comando transfer agents install
.
Debes proporcionar credenciales de acceso como variables de entorno
valores de AWS_ACCESS_KEY_ID
y AWS_SECRET_ACCESS_KEY
, o se almacenan como
predeterminadas en los archivos de configuración de tu sistema.
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME
Para ejecutar agentes mediante una clave de cuenta de servicio, usa la opción --creds-file
:
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
Crear un trabajo de transferencia
Consola de Google Cloud
Sigue estos pasos para crear una transferencia de una fuente compatible con S3 a una bucket de Cloud Storage.
Ve a la página Servicio de transferencia de almacenamiento en la consola de Google Cloud.
Haz clic en Crear trabajo de transferencia. Se muestra la página Crea un trabajo de transferencia.
Selecciona Almacenamiento de objetos compatibles con S3 como el Tipo de fuente. El el destino debe ser Google Cloud Storage.
Haz clic en Próximo paso.
Configura la fuente
Especifica la información necesaria para esta transferencia:
Selecciona el grupo de agentes que configuraste para esta de datos entre sitios.
Ingresa el Nombre del bucket en relación con el extremo. Por ejemplo, sus datos residen en:
https://example.com/bucket_a
Ingresa:
bucket_a
Ingresa el Extremo. No incluyas el protocolo (
http://
ohttps://
). Por ejemplo:example.com
Especifica cualquier atributo opcional para este transbordo:
Ingresa la región de firma que se usará para firmar las solicitudes.
Elige el proceso de firma para esta solicitud.
Selecciona el estilo de direcciones. Esto determina si el bucket nombre se proporciona en estilo de ruta de acceso (p.ej.,
https://example.com/bucket-name/key-name
) o estilo de alojamiento virtual (p.ej.,https://bucket-name.example.com/key-name
). Leído Hosting virtual de buckets en la documentación de Amazon para obtener más información información.Selecciona el Protocolo de red.
Selecciona la versión de API de la ficha que deseas usar. Consulta las Consulta la documentación de ListObjectsV2 y ListObjects para obtener más información.
Haz clic en Próximo paso.
Configura tu sink
En el campo Bucket o carpeta, ingresa el bucket de destino y el nombre de la carpeta (opcional) o haz clic en Explorar para seleccionar un bucket de una lista de buckets existentes en tu proyecto actual. Para crear un bucket nuevo, haz clic en Crear nuevo bucket.
Haz clic en Próximo paso.
Elige la configuración de transferencia
En el campo Descripción, ingresa una descripción de la transferencia. Como práctica recomendada, ingresa una descripción que sea significativa y única para que puedas distinguir los trabajos.
En Opciones de metadatos, selecciona las opciones predeterminadas o haz clic en Ver y seleccionar opciones para especificar los valores de todos los metadatos admitidos. Consulta Conservación de metadatos para obtener más información.
En Cuándo reemplazar, selecciona una de las siguientes opciones:
Si es diferente: Reemplaza los archivos de destino si el archivo de origen con el mismo nombre tiene diferentes ETags o valores de suma de verificación.
Siempre: Siempre escribe archivos de destino cuando el archivo de origen tiene el mismo nombre, incluso si son idénticos.
En Cuándo borrar, selecciona una de las siguientes opciones:
Nunca: Nunca borres archivos de origen o de destino.
Borrar archivos de la fuente después de la transferencia: Borra los archivos de la fuente después de transferirlos al destino.
Borra los archivos del destino si no están también en el origen: Si los archivos en el bucket de Cloud Storage de destino no están también en el origen, borra los archivos del bucket de Cloud Storage.
Esta opción garantiza que el bucket de destino de Cloud Storage coincida exactamente con tu fuente.
En Opciones de notificación, selecciona tu tema de Pub/Sub y los eventos a los que deseas notificar. Consulta las notificaciones de Pub/Sub para obtener más detalles.
Haz clic en Próximo paso.
Programar la transferencia
Puedes programar la transferencia para que se ejecute solo una vez o configurar una transferencia recurrente.
Haz clic en Crear para crear el trabajo de transferencia.
gcloud CLI
Antes de usar la CLI de gcloud
para crear una transferencia, sigue las instrucciones en
Configura el acceso a un receptor de Cloud Storage.
Para usar la CLI de gcloud
con el objetivo de crear una transferencia de una fuente compatible con S3 a
un bucket de Cloud Storage, usa el siguiente comando.
gcloud transfer jobs create s3://SOURCE_BUCKET_NAME gs://SINK_BUCKET_NAME \
--source-agent-pool=POOL_NAME \
--source-endpoint=ENDPOINT \
--source-signing-region=REGION \
--source-auth-method=AWS_SIGNATURE_V2 | AWS_SIGNATURE_V4 \
--source-request-model=PATH_STYLE | VIRTUAL_HOSTED_STYLE \
--source-network-protocol=HTTP | HTTPS \
--source-list-api=LIST_OBJECTS | LIST_OBJECTS_V2
Las siguientes marcas son obligatorias:
--source-agent-pool
es el nombre del grupo de agentes que se usará para esta transferencia.--source-endpoint
especifica el extremo del sistema de almacenamiento. Por ejemplo,s3.us-east.example.com
Consulta con tu proveedor el formato correcto.
Las marcas restantes son opcionales:
--source-signing-region
especifica una región para firmar solicitudes. Omite esta marca si tu proveedor de almacenamiento no requiere una región de firma.--source-auth-method
especifica el método de autenticación que se usará. Válida los valores sonAWS_SIGNATURE_V2
oAWS_SIGNATURE_V4
. Consulta la documentación de SigV4 y SigV2 de Amazon para obtener más información.--source-request-model
especifica el estilo de asignación de direcciones que se debe usar. Valores válidos sonPATH_STYLE
oVIRTUAL_HOSTED_STYLE
. El estilo de ruta usa el formatohttps://s3.REGION.example.com/BUCKET_NAME/KEY_NAME
. El estilo de alojamiento virtual usa el formato "https://BUCKET_NAME.s3.REGION.example.com/KEY_NAME".--source-network-protocol
especifica el protocolo de red que usan los agentes. usar para este trabajo. Los valores válidos sonHTTP
oHTTPS
.--source-list-api
especifica la versión de la API de la lista de S3 para que devuelven objetos del bucket. Los valores válidos sonLIST_OBJECTS
oLIST_OBJECTS_V2
Consulta ListObjectsV2 de Amazon y ListObjects para obtener más información.
Para ver opciones de trabajo de transferencia adicionales, ejecuta gcloud transfer jobs create --help
.
o consulta la documentación de referencia de gcloud
.
API de REST
Antes de usar la API de REST para crear una transferencia, sigue las instrucciones en Configura el acceso a un receptor de Cloud Storage.
Para crear una transferencia desde una fuente compatible con S3 mediante la API de REST, crea un objeto JSON similar al siguiente ejemplo.
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
...
"transferSpec": {
"source_agent_pool_name":"POOL_NAME",
"awsS3CompatibleData": {
"region":"us-east-1",
"s3Metadata":{
"protocol": "NETWORK_PROTOCOL_HTTPS",
"requestModel": "REQUEST_MODEL_VIRTUAL_HOSTED_STYLE",
"authMethod": "AUTH_METHOD_AWS_SIGNATURE_V4"
},
"endpoint": "example.com",
"bucketName": "BUCKET_NAME",
"path": "PATH",
},
"gcsDataSink": {
"bucketName": "SINK_NAME",
"path": "SINK_PATH"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": false
}
}
}
Consulta la referencia de la API de AwsS3CompatibleData
para obtener descripciones de los campos.
Bibliotecas cliente
Antes de usar las bibliotecas cliente para crear una transferencia, sigue las instrucciones en Configura el acceso a un receptor de Cloud Storage.
Go
Si deseas obtener información sobre cómo instalar y usar la biblioteca cliente para el Servicio de transferencia de almacenamiento, consulta Bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la API del Servicio de transferencia de almacenamiento Go documentación de referencia.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Si deseas obtener información sobre cómo instalar y usar la biblioteca cliente para el Servicio de transferencia de almacenamiento, consulta Bibliotecas cliente del Servicio de transferencia de almacenamiento. Si deseas obtener más información, consulta la documentación de referencia de la API de Java del Servicio de transferencia de almacenamiento.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Si deseas obtener información sobre cómo instalar y usar la biblioteca cliente para el Servicio de transferencia de almacenamiento, consulta Bibliotecas cliente del Servicio de transferencia de almacenamiento. Si deseas obtener más información, consulta la documentación de referencia de la API de Node.js del Servicio de transferencia de almacenamiento.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Si deseas obtener información sobre cómo instalar y usar la biblioteca cliente para el Servicio de transferencia de almacenamiento, consulta Bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la API del Servicio de transferencia de almacenamiento Python documentación de referencia.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Preguntas frecuentes
¿La transferencia desde un almacenamiento compatible con S3 tiene algún costo?
Las transferencias desde almacenamientos compatibles con S3 no incluyen el “Servicio de transferencia de almacenamiento”. transferencias que requieran agentes" comisión. Consulta la sección Precios para cualquier otra tarifa que se pueda incurrir. También es posible que se apliquen cargos operacionales y de transferencia de datos salientes de tu proveedor de servicios en la nube de origen.
¿Cloud Logging es compatible con las transferencias de almacenamiento compatibles con S3?
Sí, puedes habilitar Cloud Logging para tus transferencias siguiendo la instrucciones en Cloud Logging para el Servicio de transferencia de almacenamiento.
¿Se admiten transferencias mediante un manifiesto?
Sí, los archivos de manifiesto son compatibles con Transferencias compatibles con S3.
Si agrego un objeto al bucket de origen después de que el trabajo haya comenzado, ¿es que se transfiriera el objeto?
El Servicio de transferencia de almacenamiento realiza una operación de lista en el bucket de origen para calcular la diferencia con el destino. Si la operación de lista ya se completó cuando se agrega un objeto nuevo, ese objeto se omite hasta la próxima transferencia.
¿El Servicio de transferencia de almacenamiento realiza la coincidencia de sumas de verificación en fuentes compatibles con S3?
El Servicio de transferencia de almacenamiento depende de que la fuente devuelva los datos de suma de comprobación. Para Almacenamiento compatible con S3, el Servicio de transferencia de almacenamiento espera que la Etag del objeto sea Hash MD5 del objeto.
Sin embargo, cualquier objeto que se transfiriera al almacenamiento compatible con S3 usando La carga multiparte de S3 no tiene ETags MD5. En este caso, el Servicio de transferencia de almacenamiento usa el tamaño del archivo para validar el objeto transferido.
¿Qué capacidad de procesamiento se puede lograr para las transferencias desde almacenamiento compatible con S3?
Para escalar la capacidad de procesamiento de transferencia, agrega más agentes de transferencia. Te recomendamos que uses 3 agentes para la tolerancia a errores y que llenes un canal de menos de 10 Gbps. Para escalar más y agregar más agentes. Se pueden agregar y quitar agentes durante una transferencia está en proceso.
Dónde se deben implementar los agentes de transferencia para transferir datos de Amazon S3 a Cloud Storage?
Puedes instalar agentes en Amazon EC2 o EKS dentro de la misma región que tu bucket. También puedes ejecutar agentes en Google Cloud en la región más cercana.