Preservación de metadatos

En este documento se describen los metadatos que se conservan al usar el Servicio de transferencia de Storage para transferir datos entre varias fuentes y destinos.

Información general

El Servicio de transferencia de Storage conserva los siguientes metadatos:

  • Se conservan los metadatos personalizados creados por el usuario en las transferencias que proceden de Cloud Storage, Amazon S3 o Microsoft Azure Blob Storage.

  • Las transferencias entre segmentos de Cloud Storage pueden conservar de forma opcional las listas de control de acceso de los objetos, las claves de cifrado gestionadas por el cliente, la clase de almacenamiento, la hora de creación de los objetos (como valor de un campo customTime) y las retenciones temporales.

  • En las transferencias de cualquier origen a un segmento de Cloud Storage, la clase de almacenamiento del objeto en el segmento de destino se puede definir como cualquier clase admitida durante la transferencia.

  • El tamaño del archivo y la hora de la última modificación (mtime) se conservan en las transferencias que proceden de sistemas de archivos POSIX. mtime no se conserva en las carpetas.

  • Opcionalmente, se pueden conservar los enlaces simbólicos, el UID numérico, el GID numérico y el MODE numérico en las transferencias a sistemas de archivos POSIX y desde ellos.

  • En el caso de las transferencias entre sistemas de archivos, si se conservan UID, GID o MODE, también se conservarán los metadatos de las carpetas. Cloud Storage vuelve a crear las carpetas en el sistema de archivos de destino y restaura el UID, el GID o el MODE. Esto incluye las carpetas vacías. mtime no se conserva.

    Los metadatos a nivel de carpeta no se conservan si la transferencia se realiza mediante un manifiesto.

Los campos de metadatos que no se mencionan explícitamente en este documento no se conservan.

Comportamiento de conservación de metadatos

En las siguientes secciones se muestran ejemplos de metadatos de diferentes sistemas de almacenamiento de origen y cómo los conserva el Servicio de transferencia de Storage. Para ver una lista exhaustiva de metadatos, consulta la documentación del sistema de almacenamiento de origen.

Amazon S3 o almacenamiento compatible con S3 a Cloud Storage

Ejemplo de metadatos Comportamiento de conservación
Campos de metadatos de clave fija de Amazon S3, como los siguientes: Cache-Control, Content-Disposition y Content-Type. Se conservan como metadatos de clave fija.
Metadatos definidos por el usuario de Amazon S3, con el formato de pares clave-valor. Para obtener más información, consulta la sección Metadatos de objetos definidos por el usuario del artículo Clave y metadatos de objetos.

Se conservan como campos de metadatos personalizados en los objetos de Cloud Storage de destino, que puedes editar o eliminar más adelante.
ETag Se conserva como un campo de metadatos personalizados con la clave x-goog-source-etag, que puedes editar o eliminar más adelante.
Tamaño del objeto. Se ha conservado como size.
Listas de control de acceso (LCAs) de Amazon S3. Para ver una lista completa, consulta la sección Claves de condición del artículo Descripción general de las listas de control de acceso (LCAs). No se conserva.
Etiquetas de objeto de Amazon S3, definidas por usted como pares clave-valor. Para obtener más información, consulta Etiquetas de objeto. No se conserva.
Metadatos definidos por el sistema de Amazon S3, excepto ETag y el tamaño del objeto. Para ver una lista completa, consulta la sección Metadatos de objetos definidos por el sistema del artículo Clave y metadatos de objetos.

No se conserva.

No se conservan los metadatos de marca de tiempo de la fuente. Hora de creación, timeCreated, refleja la hora en la que se crea un objeto en Cloud Storage. Del mismo modo, updated refleja la hora en la que se modifican los metadatos de un objeto en Cloud Storage.

Clase de almacenamiento

Hay varias opciones para definir la clase de almacenamiento durante una transferencia.

  • Asigna a cada objeto la clase de almacenamiento del segmento de destino. Este es el comportamiento predeterminado.
  • Define una clase de almacenamiento específica para todos los objetos que se transfieran.

Consulta la documentación de referencia de metadataOptions para obtener más información.

De Microsoft Azure Storage a Cloud Storage

Ejemplo de metadatos Comportamiento de conservación
Campos de metadatos de clave fija de Microsoft Azure Storage, como los siguientes: Cache-Control, Content-Disposition y Content-Type. Se conservan como metadatos de clave fija.
Metadatos definidos por el usuario de Microsoft Azure Storage, con el formato clave:valor. Para obtener más información, consulta Configurar y recuperar propiedades y metadatos de recursos del servicio Blob .

Se conservan como campos de metadatos personalizados en los objetos de Cloud Storage de destino, que puedes editar o eliminar más adelante.

ETag Se conserva como un campo de metadatos personalizados con la clave x-goog-source-etag, que puedes editar o eliminar más adelante.
Tamaño del objeto. Se ha conservado como size.
Permisos del sistema de archivos POSIX compatibles con Azure Data Lake Storage (ADLS) Gen2. No se conserva.
Control de acceso de Microsoft Azure Storage, concretamente x-ms-blob-public-access. Para obtener más información, consulta la sección Encabezados de respuesta de Obtener LCA de contenedor . No se conserva.
Etiquetas de índice de Microsoft Azure Storage. Para obtener más información, consulta Gestionar y buscar datos de Azure Blob con etiquetas de índice de blobs . No se conserva.
Metadatos de marca de tiempo de Microsoft Azure Storage, como los siguientes: Last-Modified, x-ms-creation-time, x-ms-version, x-ms-request-server-encrypted y x-ms-encryption-scope. Para obtener más información, consulta el artículo Definir metadatos de blob .

No se conserva.

No se conservan los metadatos de marca de tiempo de la fuente. Hora de creación, timeCreated, refleja la hora en la que se crea un objeto en Cloud Storage. Del mismo modo, updated refleja la hora en la que se modifican los metadatos de un objeto en Cloud Storage.

Clase de almacenamiento

Hay varias opciones para definir la clase de almacenamiento durante una transferencia.

  • Asigna a cada objeto la clase de almacenamiento del segmento de destino. Este es el comportamiento predeterminado.
  • Define una clase de almacenamiento específica para todos los objetos que se transfieran.

Consulta la documentación de referencia de metadataOptions para obtener más información.

Transferencias entre segmentos de Cloud Storage

Ejemplo de metadatos Comportamiento de conservación

Campos de metadatos de clave fija de Cloud Storage, como los siguientes: Cache-Control Content-Disposition Content-Type

Para obtener más información, consulta Metadatos de objetos.

Se conservan como metadatos de clave fija.
Metadatos definidos por el usuario de Cloud Storage, con el formato de pares clave:valor. Para obtener más información, consulta Metadatos personalizados.

Se conservan como campos de metadatos personalizados en los objetos de Cloud Storage de destino, que puedes editar o eliminar más adelante.

Tamaño del objeto Se ha conservado como size.
Generación de objetos Se conserva como un campo de metadatos personalizados con la clave x-goog-reserved-source-generation, que puedes editar o eliminar más adelante.
Retenciones de objetos

Las retenciones basadas en eventos no se conservan. Si el segmento de destino tiene habilitada la propiedad retención basada en eventos predeterminada, se aplicará una retención basada en eventos a los objetos transferidos.

Las retenciones temporales se conservan de forma predeterminada. Para descartar las retenciones temporales durante la transferencia, asigna el valor TEMPORARY_HOLD_SKIP al campo temporaryHold del objeto metadataOptions.
Listas de control de acceso (LCA)

Las ACLs se pueden conservar de forma opcional. Para obtener más información, consulta la documentación de referencia de metadataOptions.

Cuando conserves las listas de control de acceso, ten cuidado para no crear objetos inaccesibles.

Para obtener más información, consulta la documentación sobre listas de control de acceso de Cloud Storage.
Clase de almacenamiento

Hay varias opciones para definir la clase de almacenamiento durante una transferencia.

  • Asigna a cada objeto la clase de almacenamiento del segmento de destino. Este es el comportamiento predeterminado.
  • Conservar la clase de almacenamiento del objeto de origen.
  • Define una clase de almacenamiento específica para todos los objetos que se transfieran.

Consulta la documentación de referencia de metadataOptions para obtener más información.
Clave de cifrado gestionada por el cliente

Si se usa una clave de cifrado gestionada por el cliente (CMEK) en un objeto, el objeto puede usar la misma clave cuando se escriba en el segmento de destino.

El comportamiento predeterminado es escribir el objeto en el segmento de destino con el método de cifrado del segmento.

Si conservas la CMEK original, ten en cuenta las siguientes limitaciones:

Consulta la documentación de referencia de metadataOptions para obtener más información.
Metadatos de marca de tiempo

timeCreated se puede conservar de forma opcional. El valor conservado se almacena en el campo customTime del objeto transferido en Cloud Storage. Para obtener más información, consulta la documentación de referencia de metadataOptions.

No se conservan los metadatos de updated.

Otros metadatos de Cloud Storage que no se pueden editar, como etag y componentCount. No se conserva.

Para ver una lista de los metadatos de Cloud Storage, consulta Objetos.

Transferencia de listas de URLs a Cloud Storage

Para obtener más información sobre las listas de URLs, consulta el artículo Crear una lista de URLs.

Ejemplo de metadatos Comportamiento de conservación
Campos de metadatos de clave fija, como los siguientes: Cache-Control Content-Disposition Content-Type Se conservan como metadatos editables.
Content-Length y MD5

Se conservan como metadatos no editables.

Si la fuente no proporciona un valor hash MD5, no conservaremos ningún valor.

Este comportamiento de conservación es específico de Content-Length y MD5. No se conservarán otros metadatos no editables que no figuren en la lista.

Metadatos de marca de tiempo, como la hora de creación, la hora de modificación y otros metadatos específicos de la fuente.

No se conserva.

No se conservan los metadatos de marca de tiempo de la fuente. Hora de creación, timeCreated, refleja la hora en la que se crea un objeto en Cloud Storage. Del mismo modo, updated refleja la hora en la que se modifican los metadatos de un objeto en Cloud Storage.

Clase de almacenamiento

Hay varias opciones para definir la clase de almacenamiento durante una transferencia.

  • Asigna a cada objeto la clase de almacenamiento del segmento de destino. Este es el comportamiento predeterminado.
  • Define una clase de almacenamiento específica para todos los objetos que se transfieran.

Consulta la documentación de referencia de metadataOptions para obtener más información.

Transferencias del sistema de archivos POSIX

Al transferir archivos desde sistemas de archivos POSIX, el Servicio de transferencia de Storage puede conservar determinados atributos como metadatos personalizados. Si estos archivos se vuelven a escribir en un sistema de archivos más adelante, el Servicio de transferencia de Storage puede convertir los metadatos conservados en atributos POSIX.

Ejemplo de metadatos Comportamiento de conservación
Hora de modificación (mtime)

Conservado.

mtime se conserva como metadatos personalizados con la clave goog-reserved-file-mtime.
Tamaño del archivo

Conservado.

El tamaño del archivo se mantiene en size.
UID numérico
GID numérico
MODE numérico
Enlaces simbólicos

Opcional.

El comportamiento de conservación se especifica con el objeto metadataOptions. Consulta los detalles en Conservar metadatos POSIX opcionales.

El comportamiento predeterminado es no conservar ningún metadato.
Metadatos de carpetas Los metadatos a nivel de carpeta solo se conservan en las transferencias entre sistemas de archivos. Los ajustes de conservación de UID, GID y MODE de la transferencia se aplican a los archivos y las carpetas de estas transferencias.

mtime no se conserva en las carpetas. mtime se establece en la hora de creación de la carpeta en el sistema de archivos de destino.

Los metadatos de las carpetas no se conservan en las transferencias de manifiestos.
Clase de almacenamiento

Hay varias opciones para definir la clase de almacenamiento durante una transferencia.

  • Asigna a cada objeto la clase de almacenamiento del segmento de destino. Este es el comportamiento predeterminado.
  • Define una clase de almacenamiento específica para todos los objetos que se transfieran.

Consulta la documentación de referencia de metadataOptions para obtener más información.

Conservar metadatos POSIX opcionales

Para conservar uno o varios de los siguientes elementos: UID numérico, GID numérico, MODE numérico y enlaces simbólicos, especifica un objeto metadataOptions en el cuerpo de tu trabajo de transferencia.

Estas opciones se aplican tanto a las transferencias de POSIX a Cloud Storage como a las de Cloud Storage a POSIX. En este último caso, los metadatos deben haberse conservado cuando los archivos se transfirieron inicialmente a Cloud Storage.

{
  "description": "metadata-example",
  "projectId": "example-project-id"
  "transferSpec": {
    ...
    "transferOptions": {
      "metadataOptions": {
        "gid":     "GID_NUMBER",       # Default is "GID_SKIP"
        "uid":     "UID_NUMBER",       # Default is "UID_SKIP"
        "mode":    "MODE_PRESERVE",    # Default is "MODE_SKIP"
        "symlink": "SYMLINK_PRESERVE"  # Default is "SYMLINK_SKIP"
      }
    }
  }
}

POSIX a Cloud Storage

Los metadatos conservados se almacenan en Cloud Storage como pares clave-valor de metadatos personalizados.

  • El GID numérico se almacena como goog-reserved-posix-gid.
  • El UID numérico se almacena como goog-reserved-posix-uid.
  • El modo numérico se almacena como goog-reserved-posix-mode.

En el caso de los enlaces simbólicos, el Servicio de transferencia de Storage conserva el enlace de destino como un objeto en Cloud Storage con las siguientes características:

  • La clave de objeto se compone del prefijo de destino más la ruta al enlace simbólico, en relación con root_directory.
  • Metadatos del objeto:
    • Los metadatos de los enlaces simbólicos se conservan como metadatos de objetos de Cloud Storage.
    • Se ha creado una entrada de metadatos personalizados: goog-reserved-file-is-symlink:true.
  • El contenido del objeto es el destino del enlace simbólico. Por ejemplo, en el caso de un enlace simbólico sym-> dir1/target, el contenido del objeto es "dir1/target".

El Servicio de transferencia de Storage no valida el enlace ni copia el archivo de destino.

Cloud Storage a POSIX

Si los metadatos se conservan cuando los archivos se transfieren a Cloud Storage, esos metadatos se pueden volver a escribir en los archivos cuando se transfieran de nuevo a un sistema de archivos POSIX.

Si se define una opción de metadatos para que se conserven, el Servicio de transferencia de Storage lleva a cabo las siguientes acciones:

  • Enlaces simbólicos: Storage Transfer Service crea un archivo de enlace simbólico que apunta al enlace de destino. Si el archivo de destino no existe, el enlace simbólico se romperá.
  • GID, UID y MODE: los valores almacenados en los metadatos de Cloud Storage se vuelven a escribir en el archivo.

POSIX a POSIX

Las transferencias entre sistemas de archivos pueden conservar de forma opcional el GID, el UID y el MODE de los archivos y las carpetas.

La hora de la última modificación se guarda en los archivos, pero no en las carpetas. mtime se asigna a la hora de creación de la carpeta en el sistema de archivos de destino.

El Servicio de transferencia de Storage guarda los metadatos de las carpetas creando objetos de carpeta de 0 bytes en el bucket intermedio y, a continuación, copiando esos metadatos en la carpeta del sistema de archivos de destino. Por este motivo, el número de objetos creados en el segmento intermedio puede ser superior al número de archivos que se transfieren.