El Servicio de transferencia de almacenamiento admite la transferencia de objetos o archivos específicos, que se especifican con un manifiesto. Un manifiesto es un archivo CSV, subido a Cloud Storage, que contiene una lista de objetos o archivos para el Servicio de transferencia de almacenamiento para tomar medidas.
Se puede usar un manifiesto para las siguientes transferencias:
Desde AWS S3, Azure Blobstore o Cloud Storage a un bucket de Cloud Storage.
De un sistema de archivos a un bucket de Cloud Storage
Del almacenamiento compatible con S3 a un bucket de Cloud Storage
De un bucket de Cloud Storage a un sistema de archivos
Entre dos sistemas de archivos
De una fuente HTTP/HTTPS de acceso público a Cloud Storage bucket. Sigue las instrucciones que se indican en Cómo crear una lista de URLs, ya que el formato del manifiesto es único para las listas de URLs.
Crea un manifiesto
Los manifiestos deben tener el formato CSV y pueden contener caracteres UTF-8. La primera columna debe ser un nombre de archivo o de objeto especificado como una cadena.
Los archivos de manifiesto no admiten comodines. El valor debe ser un archivo o el nombre del objeto. No se admiten los nombres de carpetas sin un nombre de archivo o de objeto.
El tamaño máximo del archivo de manifiesto es de 1 GiB, que equivale a aproximadamente 1 millones de filas. Si necesitas transferir un archivo de manifiesto de más de 1 GiB, puedes dividirlo en varios archivos y ejecutar varios trabajos de transferencia.
Si el nombre de un archivo o de un objeto contiene comas, el nombre debe incluirse entre
comillas dobles, según
Estándares CSV.
Por ejemplo, "object1,a.txt"
Recomendamos probar la transferencia con un pequeño subconjunto de objetos o archivos para evitar llamadas innecesarias a la API debido a errores de configuración.
Puedes supervisar el estado de las transferencias de archivos desde la página Trabajos de transferencia. Los archivos o los objetos que no se pueden transferir se muestran en los registros de transferencia.
Transferencias del sistema de archivos
Para crear un manifiesto de archivos en un sistema de archivos, crea un archivo CSV con una sola columna que contenga las rutas de acceso a archivos relacionadas con el directorio raíz especificado en la creación del trabajo de transferencia.
Por ejemplo, es posible que desees transferir los siguientes archivos del sistema de archivos:
Ruta de acceso al archivo |
---|
rootdir/dir1/subdir1/file1.txt |
rootdir/file2.txt |
rootdir/dir2/subdir1/file3.txt |
Tu manifiesto debería verse como el siguiente ejemplo:
dir1/subdir1/file1.txt
file2.txt
dir2/subdir1/file3.txt
Transferencias de almacenamiento de objetos
Para crear un manifiesto de objetos, crea un archivo CSV cuya primera columna Contiene los nombres de objetos en relación con el nombre del bucket y la ruta especificada en la creación del trabajo de transferencia. Todos los objetos deben estar en el mismo bucket.
También puedes especificar una segunda columna opcional con la API de Cloud Storage de generación de la versión específica que se transferirá.
Por ejemplo, es posible que desees transferir los siguientes objetos:
Ruta de acceso del objeto | Número de generación de Cloud Storage |
---|---|
SOURCE_PATH/object1.pdf |
1664826685911832 |
SOURCE_PATH/object2.pdf |
|
SOURCE_PATH/object3.pdf |
1664826610699837 |
Tu manifiesto debería verse como el siguiente ejemplo:
object1.pdf,1664826685911832
object2.pdf
object3.pdf,1664826610699837
Guarda el archivo de manifiesto con cualquier nombre de archivo y una extensión .csv
.
Transferencias de HTTP/HTTPS
Para transferir archivos específicos desde una fuente HTTP o HTTPS, consulta la Instrucciones en Cómo crear una lista de URLs.
Publica el manifiesto
Una vez que hayas creado el manifiesto, debes hacer que esté disponible para Servicio de transferencia de almacenamiento. El Servicio de transferencia de almacenamiento puede acceder al archivo en un bucket o en tu sistema de archivos.
Sube el manifiesto a Cloud Storage
Puedes almacenar el archivo de manifiesto en cualquier bucket de Cloud Storage.
El agente de servicio que ejecuta la transferencia debe tener el permiso storage.objects.get
para el bucket que contiene el manifiesto. Consulta
Otorga los permisos necesarios.
para obtener instrucciones sobre cómo encontrar el ID del agente de servicio y otorgar permisos a
el agente de servicio en un bucket.
Para obtener instrucciones sobre cómo subir el manifiesto a un bucket, consulta Sube objetos a Cloud Storage. en la documentación de Google Cloud.
Por ejemplo, si quieres usar la CLI de gcloud
para subir un archivo a Cloud Storage,
usa el comando gcloud storage cp
:
gcloud storage cp MANIFEST.CSV gs://DESTINATION_BUCKET_NAME/
Aquí:
MANIFEST.CSV
es la ruta local a tu . Por ejemplo,Desktop/manifest01.csv
DESTINATION_BUCKET_NAME
es el nombre del bucket al que subes el objeto. Por ejemplo,my-bucket
Si se ejecuta de forma correcta, la respuesta se parece al siguiente ejemplo:
Completed files 1/1 | 164.3kiB/164.3kiB
Puedes encriptar un manifiesto con claves de encriptación de Cloud KMS administradas por el cliente. En este caso, asegúrate de que cualquier cuenta de servicio que acceda al manifiesto tenga asignadas las claves de encriptación aplicables. No se admiten las claves que proporciona el cliente.
Almacenar el manifiesto en un sistema de archivos
Puedes almacenar el archivo de manifiesto en tu sistema de archivos de origen o de destino.
Los agentes de transferencia deben poder acceder a la ubicación del archivo. Si restringir el acceso a directorios para tus agentes, asegúrate de que el archivo de manifiesto esté ubicado en un lugar .
Cómo iniciar una transferencia
No modifiques el archivo de manifiesto hasta que se complete una operación de transferencia. Se recomienda bloquear el archivo de manifiesto cuando se realiza una transferencia en un lugar específico.
Consola de Cloud
Para iniciar una transferencia con un manifiesto desde la consola de Cloud, sigue estos pasos:
Sigue las instrucciones que se indican en Crea transferencias para seleccionar origen, destino y opciones.
En el paso final, Elige la configuración y selecciona la casilla de verificación Proporciona una lista de archivos para transferir mediante un archivo de manifiesto.
Ingresa la ubicación del archivo de manifiesto.
gcloud
Para transferir los archivos o los objetos que se enumeran en el manifiesto, incluye la marca --manifest-file=MANIFEST_FILE
con el comando gcloud transfer jobs create
.
gcloud transfer jobs create SOURCE DESTINATION \
--manifest-file=MANIFEST_FILE
MANIFEST_FILE puede ser cualquiera de los siguientes valores:
La ruta al archivo CSV en un bucket de Cloud Storage:
--manifest-file=gs://my_bucket/sample_manifest.csv
Consulta Sube el manifiesto a Cloud Storage para obtener detalles sobre los permisos necesarios, si el bucket o archivo no es público.
La ruta de acceso relativa del sistema de archivos SOURCE, incluida cualquier ruta que se haya especificado:
--manifest-file=source://relative_path/sample_manifest.csv
La ruta de acceso relativa del sistema de archivos DESTINATION, incluida cualquier ruta que se haya especificado:
--manifest-file=destination://relative_path/sample_manifest.csv
REST + bibliotecas cliente
REST
Para transferir los objetos o archivos que se enumeran en el manifiesto, realiza
una llamada a la API de createTransferJob
que especifica un
transferSpec
con el
Se agregó el campo transferManifest
. Por ejemplo:
POST https://storagetransfer.googleapis.com/v1/transferJobs ... "transferSpec": { "posixDataSource": { "rootDirectory": "/home/", }, "gcsDataSink": { "bucketName": "GCS_NEARLINE_SINK_NAME", "path": "GCS_SINK_PATH", }, "transferManifest": { "location": "gs://my_bucket/sample_manifest.csv" } }
El archivo de manifiesto se puede almacenar en un bucket de Cloud Storage o en el
sistema de archivos de origen o destino. Los buckets de Cloud Storage deben usar el
gs://
y también incluye la ruta de acceso completa, incluido el bucket
de la fuente de datos. Las ubicaciones del sistema de archivos deben usar un source://
o
destination://
y están relacionadas con la fuente del sistema de archivos
y el directorio raíz opcional.
Go
Java
Node.js
Python
Los objetos o archivos del manifiesto no se transfieren necesariamente en el orden de la lista.
Si el manifiesto incluye archivos que ya existen en el destino, estos los archivos se omiten, a menos que se reemplacen los objetos que ya existen en el receptor si se especifica una opción.
Si el manifiesto incluye objetos que existen en una versión diferente en el destino, el objeto del destino se reemplaza por la versión de origen del objeto. Si el destino es un bucket con control de versiones, se crea del objeto.
¿Qué sigue?
- Obtén información sobre cómo filtrar objetos de transferencias.
- Obtén más información para programar trabajos de transferencia.