En esta página se documentan las limitaciones conocidas de Cloud Storage y del Servicio de transferencia de Storage.
Limitaciones habituales
Límite de tamaño de objeto de 5 TiB en Cloud Storage
Cloud Storage admite un tamaño máximo de objeto único de hasta 5 tebibytes. Si tiene objetos de más de 5 TiB, la transferencia de objetos fallará en Cloud Storage o en el Servicio de transferencia de Storage.
Requisitos de nomenclatura de objetos de Cloud Storage
Cloud Storage impone requisitos de nombre de objeto que se aplican a todas las transferencias del Servicio de transferencia de Storage.
Los objetos modificados no se transfieren
El Servicio de transferencia de Storage no bloquea los archivos de origen durante una transferencia.
Si los datos de un objeto se actualizan durante una transferencia, se describe cómo responde Servicio de transferencia de Storage:
Transferencias de nubes que no son de Google a Google Cloud: si los datos de un objeto se actualizan durante una transferencia, el servicio de transferencia de Storage no podrá transferir ese objeto en concreto y no se transferirá.
Transferencias de sistemas de archivos a Google Cloud: si los datos de un objeto se actualizan durante una transferencia, el servicio de transferencia de Storage vuelve a intentar la subida. Si la subida falla varias veces, el Servicio de transferencia de Storage registra un error
FILE_MODIFIED_FAILURE. Para obtener más información, consulta Solución de problemas.Transferencias desde Google Cloud a un sistema de archivos: si los datos de un objeto se actualizan durante una transferencia, el servicio de transferencia de Storage vuelve a intentar la descarga. Si la descarga falla varias veces, el Servicio de transferencia de Storage registra un
PRECONDITION_FAILURE. Para obtener más información, consulta Solución de problemas.
Para solucionar el problema, sigue estos pasos:
- Vuelve a intentar la transferencia.
Si la transferencia del objeto sigue fallando, asegúrate de que sus datos no se puedan actualizar durante la transferencia:
- Fuente de Cloud Storage: Colocar una retención en un objeto.
- Fuente de Amazon S3: establece un bloqueo de objeto de S3.
- Fuente de Microsoft Azure Storage: Define una política de inmutabilidad para Blob Storage.
- Fuente del sistema de archivos: define los archivos en modo de solo lectura o limita las escrituras en los archivos que se transfieren.
Una vez que se haya completado la transferencia, podrás volver a habilitar las actualizaciones del objeto.
Carpetas de Cloud Storage
Los objetos de Cloud Storage se encuentran en un espacio de nombres plano dentro de un segmento. Para obtener más información, consulta Espacio de nombres de objetos. Por este motivo, el Servicio de transferencia de Storage no crea espacios de nombres jerárquicos en Cloud Storage. Por ejemplo, si vas a transferir datos desde Azure Data Lake Storage (ADLS) Gen 2, el servicio de transferencia de Storage no volverá a crear los espacios de nombres de ADLS Gen 2 en Cloud Storage.
Eliminar objetos de segmentos de Amazon S3 con la gestión de versiones suspendida
Cuando se usa la función de eliminar objetos de la fuente después de la transferencia del servicio de transferencia de Storage en un segmento de Amazon S3 con la gestión de versiones suspendida, el servicio de transferencia de Storage elimina el objeto con un ID de versión nulo, no la versión actual.
Ubicación de las tareas del Servicio de transferencia de Storage
El Servicio de transferencia de Storage elige su ubicación en función de la región del segmento de Cloud Storage de origen. A partir de hoy, creamos tareas del Servicio de transferencia de Storage en las siguientes ubicaciones. Esta lista puede cambiar a medida que el Servicio de transferencia de Storage añada compatibilidad con nuevas regiones.
Si tu segmento de Cloud Storage de origen se encuentra en una región que no aparece en la lista, elegiremos la región predeterminada de la región exterior de origen.
| Ubicaciones admitidas | ||
|---|---|---|
| africa-south1 | europe‑north1 | nam4 |
| asia‑east1 | europe-north2 | northamerica‑northeast1 |
| asia‑east2 | europe-southwest1 | northamerica-northeast2 |
| asia‑northeast1 | europe‑west1 | northamerica-south1 |
| asia‑northeast2 | europe‑west2 | southamerica-east1 |
| asia‑northeast3 | europe‑west3 | southamerica-west1 |
| asia‑south1 | europe‑west4 | us-central1 |
| asia‑south2 | europe-west6 | us-central2 |
| asia‑southeast1 | europe-west8 | us‑east1 |
| asia-southeast2 | europe-west9 | us‑east4 |
| asia1 | europe-west10 | us-east5 |
| australia‑southeast1 | europe-west12 | us-east7 |
| australia‑southeast2 | me-central1 | us‑west1 |
| me-central2 | us‑west2 | |
| me-west1 | us-west3 | |
| us-west4 |
Limitaciones conocidas de las transferencias del sistema de archivos
Sin asistencia en tiempo real
El Servicio de transferencia de Storage no admite la detección de cambios con una frecuencia inferior a una hora. El Servicio de transferencia de Storage es un servicio de movimiento de datos por lotes que puede analizar la fuente con una frecuencia de hasta una vez por hora.
Configuraciones de sistemas operativos compatibles
Los agentes de transferencia requieren que Docker esté instalado y se ejecuten en servidores Linux o máquinas virtuales (VMs). Para copiar datos en un sistema de archivos CIFS o SMB, puedes montar el volumen en un servidor o una VM de Linux y, a continuación, ejecutar el agente desde el servidor o la VM de Linux.
Requisitos de memoria
Estos son los requisitos de memoria de los agentes del Servicio de transferencia de datos on-premise:- Memoria mínima: 1 GiB
- Memoria mínima para admitir subidas de alto rendimiento: 6 GiB
Limitaciones de escalado
El Servicio de transferencia de Storage admite transferencias individuales que cumplan los siguientes requisitos:
- Cientos de terabytes
- Hasta 1000 millones de archivos
- Velocidad de transferencia de varias decenas de Gbps
Las transferencias individuales que superen estos tamaños son fiables, pero no se han probado para comprobar su rendimiento.
Si tiene un conjunto de datos más grande que estos límites, le recomendamos que divida sus datos en varios trabajos de transferencia.
Actualmente, admitimos directorios grandes, siempre que cada agente tenga al menos 1 GB de memoria disponible por cada millón de archivos del directorio más grande, de modo que podamos iterar sobre el contenido del directorio sin superar la memoria.
Limitaciones de los agentes y los grupos de agentes
Admitimos hasta 100 agentes por grupo de agentes. Es poco probable que necesites más agentes para mejorar el rendimiento en entornos típicos.
Se admiten hasta 800 grupos de agentes por proyecto.
Un directorio por tarea
Solo admitimos la transferencia del contenido completo de un directorio del sistema de archivos (de forma recursiva). Puedes particionar la transferencia creando varias tareas que transfieran diferentes subdirectorios de tu conjunto de datos, pero actualmente no admitimos la compatibilidad con globbing de archivos ni con filtros en una sola tarea.
Nombres de archivo admitidos
Las siguientes reglas se aplican a todos los nombres de archivo que forman parte de una transferencia:
- Los nombres de archivo deben usar la codificación UTF8.
- Los nombres de archivo deben ser compatibles con Unicode.
- No deben contener saltos de línea (
\n) ni retornos de carro (\r).
Si el directorio de origen contiene nombres de archivo no admitidos, la tarea de enumeración de archivos de ese directorio fallará.
Si esto ocurre, actualiza los nombres de archivo no admitidos y vuelve a ejecutar el trabajo.
Tipos de archivo admitidos
El Servicio de transferencia de Storage admite la transferencia de archivos normales y archivos ocultos de tipo Unix.
Los archivos ocultos de estilo Unix son archivos que empiezan por el carácter .. Cuando Storage Transfer Service encuentra un archivo no regular, como un dispositivo, una tubería con nombre o un socket, genera un error UNSUPPORTED_FILE_MODE.
Los directorios vacíos no se crean en Cloud Storage porque los objetos no residen en subdirectorios de un segmento. Para obtener más información, consulta Espacio de nombres de objetos.
Longitud máxima de la ruta
El Servicio de transferencia de Storage sigue la longitud máxima de la ruta de Cloud Storage, que es de 1024 bytes. El prefijo del objeto de destino se incluye en la limitación de longitud, ya que se incorpora al nombre del objeto en Cloud Storage.
Metadatos de archivos admitidos
Consulta la sección Conservación de metadatos para obtener más información sobre los metadatos que se conservan de forma predeterminada o de forma opcional.
Pausas de trabajo prolongadas
Los trabajos que lleven pausados más de 30 días se consideran inactivos. Cuando un trabajo está inactivo, se cancela el trabajo en pausa y se inhabilita la programación de la configuración del trabajo. No se iniciará ningún trabajo nuevo a menos que lo vuelvas a habilitar explícitamente.
Seguridad de la fuente del sistema de archivos
Acceso de agentes
Los usuarios que pueden crear trabajos de transferencia pueden recuperar datos de cualquier directorio del sistema de archivos al que pueda acceder el agente y descargar datos en él. Si los agentes se ejecutan como root y se les da acceso a todo el sistema de archivos, un agente malicioso puede hacerse con el control del host. Te recomendamos que restringas el acceso del agente solo a los directorios necesarios.