En esta página, se muestra cómo crear y comenzar trabajos de transferencia desde de Amazon S3 a Cloud Storage.
Configura permisos
Antes de crear una transferencia, debes configurar los permisos en tu Amazon S3 bucket. Consulta Configura el acceso a una fuente: Amazon S3 para obtener más detalles.
También debes configurar permisos para los siguientes Entidades de Google Cloud:
La cuenta de usuario que se usa para crear la transferencia Esta es la cuenta con la que accediste a la consola de Google Cloud o la que se especifica cuando se autentica en la CLI de "gcloud". La cuenta de usuario ser una cuenta de usuario normal o una cuenta de servicio administrada por el usuario. | |
La cuenta de servicio administrada por Google, también conocida como la
que usa el Servicio de transferencia de almacenamiento. Por lo general, esta cuenta se identifica por su dirección de correo electrónico, que usa el formato project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com .
|
Consulta Permisos de transferencia sin agente para instrucciones.
Opciones de salida
El Servicio de transferencia de almacenamiento proporciona varias opciones para transferir tus datos de S3 a Cloud Storage.
Opción de salida | Descripción |
---|---|
Predeterminada sin agentes | Esta opción usa una transferencia sin agentes y administrada desde S3. Se te cobra la salida de Amazon.
Sigue las instrucciones que aparecen en esta página para usar esta de 12 a 1 con la nueva opción de compresión. |
Distribución de CloudFront | Usa una distribución de Amazon CloudFront como ruta de salida. Las transferencias de datos a través de CloudFront pueden
se benefician de una reducción en los costos de salida de AWS en comparación
directamente desde S3. Consulta los
precios de CloudFront y los cargos de salida de S3
para obtener más detalles.
Sigue las instrucciones que se indican en Transferencia de S3 a través de CloudFront para la configuración tu distribución y crear una transferencia. |
Red privada administrada | Transfiere tus datos en un dispositivo administrado por Google
en cada red. No pagas salida de S3
charges; en cambio, pagas una tarifa por GiB a
en Google Cloud. Consulta los precios.
para obtener más información. Es posible que aún se te cobre
cargos por operaciones de AWS (p.ej., LIST o GET
llamadas); consulta sus precios para obtener más detalles.
Todos los proyectos a través del recurso compartido de red privada administrada el mismo ancho de banda. En los momentos de uso elevado, es posible que la transferencia lento. Las transferencias con archivos grandes se ven más afectadas que las con archivos pequeños. Para usar esta opción, sigue las instrucciones que aparecen en esta página. Especificar la opción Red privada administrada en la consola de Google Cloud el campo managedPrivateNetwork en la API de REST. Gcloud CLI
y las bibliotecas cliente no admiten redes privadas administradas
de datos. Consulta la
regiones compatibles. |
Basado en agentes | Es válido para todo el almacenamiento compatible con S3, incluido Amazon S3. De
instalar software de agente en máquinas con acceso
a buckets de S3, puedes controlar el tráfico de red
ruta de acceso y ancho de banda. Esta opción requiere agentes
y grupos de agentes.
Sigue las instrucciones que se indican en Transfiere datos desde fuentes compatibles con S3 para usarlas esta opción. |
Regiones admitidas
El Servicio de transferencia de almacenamiento admite las siguientes regiones de Amazon S3:
af-south-1 ap-east-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 |
ap-southeast-4 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2
|
eu-west-3 il-central-1 me-central-1 me-south-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2
|
Las transferencias que se realizan mediante la red privada administrada admiten las siguientes regiones de AWS:
us-east-1 us-east-2 us-west-1 us-west-2 ca-west-1 ca-central-1 |
Opciones de transferencia
Las siguientes funciones del Servicio de transferencia de almacenamiento están disponibles para transferencias S3 a Cloud Storage
- Transfiere archivos específicos con un manifiesto
- Puedes pasar una lista de archivos para que actúe el Servicio de transferencia de almacenamiento. Consulta Transfiere archivos específicos con un manifiesto para obtener más información.
- Especifica la clase de almacenamiento
- Puedes especificar
Clase de almacenamiento de Cloud Storage para usar para tus datos en el destino
bucket. Consulta la
StorageClass
para los detalles de REST, o usa la--custom-storage-class
con Google Cloud CLI.Ten en cuenta que se ignorará cualquier configuración de clase de almacenamiento si el destino bucket tenga habilitada la Clase automática. Si Autoclass está habilitada. En un principio, los objetos transferidos al bucket configurada en Standard Storage.
- Conservación de metadatos
-
Cuando se transfieren archivos desde S3, de forma opcional, pueden conservar ciertos atributos como metadatos personalizados.
Consulta la sección de Amazon S3 a Cloud Storage del Conservación de metadatos para obtener detalles sobre qué metadatos se pueden y cómo configurar tu transferencia.
- Transferencias controladas por eventos
- El Servicio de transferencia de almacenamiento puede escuchar las notificaciones de eventos de Amazon S3 que se envían a Amazon SQS para transferir automáticamente los datos que se agregaron o actualizaron en la ubicación de origen. Consulta Basado en eventos de datos para obtener información.
- Registro y supervisión
- Las transferencias de S3 se pueden ver en Cloud Logging y Cloud Monitoring Consulta Cloud Logging para el servicio de transferencia de almacenamiento y Cómo supervisar las tareas de transferencia para obtener más información. También puedes configurar notificaciones de Pub/Sub.
Crear una transferencia
El Servicio de transferencia de almacenamiento proporciona múltiples interfaces para crear un de datos entre sitios.
No incluyas información sensible, como información de identificación personal (PII) ni datos de seguridad en el nombre de la tarea de transferencia. Los nombres de los recursos se pueden propagar a los nombres de otros recursos de Google Cloud y pueden exponerse a sistemas internos de Google fuera de tu proyecto.
Consola de Google Cloud
Ve a la página Servicio de transferencia de almacenamiento en la consola de Google Cloud.
Haz clic en Crear trabajo de transferencia. Se muestra la página Crea un trabajo de transferencia.
En Tipo de fuente, selecciona Amazon S3.
En Tipo de destino, selecciona Google Cloud Storage.
Selecciona tu Modo de programación. Las transferencias por lotes se ejecutan en un una vez o programada. Las transferencias basadas en eventos supervisan de forma continua la fuente y transfieren datos cuando se agregan o modifican.
Para configurar una transferencia basada en eventos, sigue las instrucciones que se indican en Transferencias basadas en eventos.
Haz clic en Próximo paso.
En el campo Nombre del bucket o la carpeta, ingresa el nombre del bucket de origen.
El nombre del depósito es el nombre que aparece en la consola de administración de AWS.
Si usas una distribución de CloudFront para transferir desde S3, ingresa el nombre de dominio de la distribución en el campo Dominio de CloudFront. Por ejemplo,
https://dy1h2n3l4ob56.cloudfront.net
Consulta Cómo transferir desde S3 a través de CloudFront para configurar una distribución de CloudFront.Si quieres usar una red privada administrada para esta transferencia, selecciona la . Consulta Opciones de salida para obtener más detalles.
Selecciona el método de autenticación de Amazon Web Services (AWS). Consulta Configura el acceso a una fuente: Amazon S3 para obtener más detalles.
Clave de acceso: Ingresa tu clave de acceso en el ID de la clave de acceso el secreto asociado con tu clave de acceso en Clave de acceso secreta.
Función de IAM de AWS para la federación de identidades: Ingresa tu ARN en ARN de función de IAM de AWS con la siguiente sintaxis:
arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
Aquí:
ACCOUNT
: El ID de la cuenta de AWS sin guiones.ROLE-NAME-WITH-PATH
: El nombre del rol de AWS, incluida la ruta de acceso.
Para obtener más información sobre los ARN, consulta ARN de IAM.
Recurso secreto: Selecciona esta opción para usar una credencial de Amazon. se guardó en Secret Manager. Selecciona un secreto de la lista. ingresa una manualmente en el formato
projects/PROJECT_NUMBER/secrets/SECRET_NAME
Si se trata de una transferencia controlada por eventos, ingrese el SQS de Amazon. ARN de cola, que toma el siguiente formato:
arn:aws:sqs:us-east-1:1234567890:event-queue
- De manera opcional, puedes elegir
filtrar objetos por prefijo
o la fecha de la última modificación. Si especificaste una carpeta como ubicación de origen, se filtrarán los prefijos
están relacionadas con esa carpeta. Por ejemplo, si tu fuente es
my-test-bucket/path/
, un filtro de inclusión defile
incluye todos los archivos que comienzan conmy-test-bucket/path/file
. Haz clic en Próximo paso.
En el campo Bucket o carpeta, ingresa el bucket de destino y el nombre de la carpeta (opcional) o haz clic en Explorar para seleccionar un bucket de una lista de buckets existentes en tu proyecto actual. Para crear un bucket nuevo, haz clic en Crear nuevo bucket.
Haga clic en Siguiente paso.
Elige la configuración del trabajo de transferencia.
En el campo Descripción, ingresa una descripción de la transferencia. Como práctica recomendada, ingresa una descripción que sea significativa y única para que puedas distinguir los trabajos.
En Opciones de metadatos, selecciona las opciones predeterminadas o haz clic en Ver y seleccionar opciones para especificar los valores de todos los metadatos admitidos. Consulta Conservación de metadatos para obtener más información.
En Cuándo reemplazar, selecciona una de las siguientes opciones:
Si es diferente: Reemplaza los archivos de destino si el archivo de origen con el mismo nombre tiene diferentes ETags o valores de suma de verificación.
Siempre: Siempre escribe archivos de destino cuando el archivo de origen tiene el mismo nombre, incluso si son idénticos.
En Cuándo borrar, selecciona una de las siguientes opciones:
Nunca: Nunca borres archivos de origen o de destino.
Borrar archivos de la fuente después de la transferencia: Borra los archivos de la fuente después de transferirlos al destino.
Borra los archivos del destino si no están también en el origen: Si los archivos en el bucket de Cloud Storage de destino no están también en el origen, borra los archivos del bucket de Cloud Storage.
Esta opción garantiza que el bucket de destino de Cloud Storage coincida exactamente con tu fuente.
En Opciones de notificación, selecciona tu tema de Pub/Sub y los eventos a los que deseas notificar. Consulta las notificaciones de Pub/Sub para obtener más detalles.
Haz clic en Próximo paso.
Elige tus opciones de programación:
En la lista desplegable Ejecutar una vez, selecciona una de las siguientes opciones:
Ejecutar una vez: Ejecuta una sola transferencia, a la vez a una hora seleccionada.
Ejecutar todos los días: Ejecuta una transferencia a diario a partir de la hora que selecciones.
Puedes ingresar una Fecha de finalización opcional o dejar la Fecha de finalización. en blanco para ejecutar la transferencia continuamente.
Ejecutar cada semana: Ejecuta una transferencia semanalmente, a partir de una vez. que selecciones.
Ejecutar con frecuencia personalizada: Ejecuta una transferencia a la frecuencia que seleccionas. Puedes elegir repetir la transferencia a un intervalo regular de horas, días o semanas.
Puedes ingresar una Fecha de finalización opcional o dejar la Fecha de finalización. en blanco para ejecutar la transferencia continuamente.
En la lista desplegable A partir de ahora, selecciona una de las siguientes opciones:
Inicio ahora: Inicia la transferencia después de hacer clic en Crear.
A partir del: inicia la transferencia en la fecha y hora que seleccionaste. Haz clic en Calendario para mostrar un calendario en el que seleccionar fecha de inicio.
Para crear tu trabajo de transferencia, haz clic en Crear.
CLI de gcloud
Para crear un nuevo trabajo de transferencia, usa el comando gcloud transfer jobs create
. La creación de un trabajo nuevo inicia la transferencia especificada, a menos que se especifique un programa o --do-not-run
.
gcloud CLI no admite transferencias a través de CloudFront o una red privada administrada.
gcloud transfer jobs create \
s3://S3_BUCKET_NAME gs://STORAGE_BUCKET_NAME \
--source-creds-file="relative_path/to/creds.json"
Aquí:
S3_BUCKET_NAME es la fuente de datos de esta transferencia. De manera opcional, puedes incluir una ruta:
s3://S3_BUCKET_NAME/S3_FOLDER_PATH
STORAGE_BUCKET_NAME es el bucket de Cloud Storage que se transferirá. a los que puedes acceder. Para transferir a un directorio en particular, especifica
gs://STORAGE_BUCKET_NAME/STORAGE_FOLDER_PATH/
, incluida la barra diagonal final.--source-creds-file
especifica la ruta de acceso relativa a un archivo local en tu que incluye credenciales de AWS para la fuente de transferencia. El contenido deben estar en el siguiente formato JSON:{ "accessKeyId": string, "secretAccessKey": string }
Las opciones adicionales incluyen:
--do-not-run
evita que el Servicio de transferencia de almacenamiento ejecute el trabajo cuando se envía el comando. Si deseas ejecutar el trabajo, actualízalo para agregar una programación o usajobs run
a fin de iniciarlo de forma manual.--manifest-file
especifica la ruta a un archivo CSV en Cloud Storage, que contiene una lista de archivos para transferir de tu fuente. Para formatear archivos de manifiesto, consulta Transfiere archivos o objetos específicos con un manifiesto.Información del trabajo: puedes especificar
--name
y--description
.Programa: Especifica
--schedule-starts
,--schedule-repeats-every
, y--schedule-repeats-until
o--do-not-run
.Condiciones de objetos: Usa condiciones para determinar qué objetos se transfieren. Estos incluyen
--include-prefixes
y--exclude-prefixes
, y las condiciones basadas en el tiempo en--include-modified-[before | after]-[absolute | relative]
. Si especificaste una carpeta con tu origen, los filtros de prefijo están relacionados con ese carpeta. Consulta Filtra objetos de origen por prefijo para obtener más información. información.Opciones de transferencia: Especifica si deseas reemplazar los archivos de destino (
--overwrite-when=different
oalways
) y si deseas borrar ciertos archivos durante o después de la transferencia (--delete-from=destination-if-unique
osource-after-transfer
). Especifica qué valores de metadatos se deben conservar (--preserve-metadata
) y, de manera opcional, puedes configurar una clase de almacenamiento en los objetos transferidos (--custom-storage-class
).Notificaciones: Configura las notificaciones de Pub/Sub para transferencias con
--notification-pubsub-topic
,--notification-event-types
y--notification-payload-format
.Cloud Logging: Habilita Cloud Logging con
--log-actions
y--log-action-states
Consulta Cloud Logging para el Servicio de transferencia de almacenamiento para conocer los detalles.
Para ver todas las opciones, ejecuta gcloud transfer jobs create --help
o consulta la documentación de referencia de gcloud
.
REST
En los siguientes ejemplos, se muestra cómo usar el Servicio de transferencia de almacenamiento a través de REST API de gcloud.
Cuando configuras o editas trabajos de transferencia con el para la API del Servicio de transferencia de almacenamiento, la hora debe estar en UTC. Para obtener más información sobre cómo especificar el programa de un trabajo de transferencia, consulta Programa.
Cuando crees trabajos de transferencia, no incluyas el prefijo s3://
para
bucketName
en los nombres de origen del bucket de Amazon S3.
Transferencia sin agente
En el siguiente ejemplo, se crea un trabajo de transferencia con el estándar configuración. Consulta la transferJobs.create para conocer más detalles.
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Consulta Configura el acceso a una fuente: Amazon S3 para otras opciones de autenticación.
Distribución de CloudFront
Si transfieres desde S3 a través de una distribución de CloudFront, especifica
el nombre de dominio de distribución como el valor del
Campo transferSpec.awsS3DataSource.cloudfrontDomain
:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Red privada administrada
Para transferir desde S3 mediante una red privada administrada por Google, especifica la
Campo transferSpec.awsS3DataSource.managedPrivateNetwork
:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "managedPrivateNetwork": TRUE, "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Bibliotecas cliente
En los siguientes ejemplos, se muestra cómo usar el Servicio de transferencia de almacenamiento de manera programática con Go, Java, Node.js y Python.
Cuando configuras o editas los trabajos de transferencia de manera programática, la hora debe ser en UTC. Para obtener más información especificar el programa de un trabajo de transferencia, consulta Programa.
Para obtener más información sobre las bibliotecas cliente del Servicio de transferencia de almacenamiento, consulta Comienza a usar las bibliotecas cliente del Servicio de transferencia de almacenamiento.
Transferencias desde Amazon S3 a Cloud Storage
En este ejemplo, aprenderás cómo mover archivos desde Amazon S3 a un bucket de Cloud Storage.
Cuando crees trabajos de transferencia, no incluyas el prefijo s3://
para
bucketName
en los nombres de origen del bucket de Amazon S3.
Las bibliotecas cliente del Servicio de transferencia de almacenamiento no admiten transferencias CloudFront o una red privada administrada.
Go
Java
¿Buscas muestras anteriores? Consulta la Guía de migración del Servicio de transferencia de almacenamiento.
Node.js
Python
¿Buscas muestras anteriores? Consulta la Guía de migración del Servicio de transferencia de almacenamiento.