Operaciones por lotes de almacenamiento

En este documento, se describen las operaciones por lotes de almacenamiento, una capacidad de Cloud Storage que te permite realizar operaciones en miles de millones de objetos de forma sin servidores. Con las operaciones por lotes de almacenamiento, puedes automatizar operaciones de API a gran escala en miles de millones de objetos, lo que reduce el tiempo de desarrollo necesario para escribir y mantener secuencias de comandos para cada solicitud.

Si deseas obtener información para crear trabajos de operaciones por lotes de almacenamiento, consulta Crea y administra trabajos de operaciones por lotes de almacenamiento.

Descripción general

Las operaciones por lotes de Storage te permiten ejecutar una de las cuatro transformaciones en varios objetos a la vez: colocar una conservación de objeto, borrar un objeto, actualizar los metadatos del objeto y reescribir objetos. Para usar las operaciones por lotes de almacenamiento, debes crear una configuración de trabajo que defina qué transformaciones se deben aplicar a qué objetos.

La creación de una operación por lotes devuelve una operación de larga duración (LRO) que indica el estado de tu solicitud: si la transformación se aplicó a todos los objetos especificados en tu solicitud.

Beneficios

  • Escalabilidad: Realiza transformaciones en millones de objetos con un solo trabajo de operaciones por lotes de almacenamiento.
  • Ejecución sin servidores: Ejecuta trabajos por lotes en un entorno sin servidores, lo que elimina la necesidad de administrar la infraestructura.
  • Automatización: Automatiza tareas complejas y repetitivas para mejorar la eficiencia operativa.
  • Reducción del tiempo de desarrollo: Evita escribir y mantener secuencias de comandos personalizadas complejas.
  • Rendimiento: Completa las operaciones urgentes dentro del tiempo requerido. Con varios trabajos por lotes ejecutándose de forma simultánea en un bucket, puedes procesar hasta mil millones de objetos en tres horas.
  • Reintentos automáticos: Reintentos automáticos para las operaciones fallidas.
  • Supervisión de trabajos: Seguimiento detallado del progreso para supervisar el estado y la finalización de todos los trabajos.

Casos de uso

Cuando se usan con conjuntos de datos de Storage Insights, las operaciones por lotes de almacenamiento te permiten realizar las siguientes tareas:

  • Administración de la seguridad:

    • Establece claves de encriptación en varios objetos con el método rewrite object.
    • Aplica o quita conservaciones de objetos para controlar la inmutabilidad de los objetos.

  • Cumplimiento:

    • Usa la retención de objetos para cumplir con los requisitos de retención de datos para el cumplimiento normativo.
    • Borra datos entre períodos específicos para cumplir con los requisitos de cumplimiento de eliminación.

  • Transformación de datos: Realiza actualizaciones masivas de los metadatos de los objetos.

  • Optimización de costos: Borra objetos de forma masiva en buckets de Cloud Storage para reducir los costos de almacenamiento.

Configuración de trabajos

Para crear un trabajo de operaciones por lotes de almacenamiento, deberás establecer las siguientes configuraciones del trabajo. Los parámetros de configuración del trabajo son parámetros que controlan cómo se define el trabajo para diferentes requisitos de procesamiento.

  • Nombre del trabajo: Es un nombre único para identificar el trabajo de operaciones por lotes de almacenamiento. Se usa para hacer un seguimiento del trabajo, supervisarlo y hacer referencia a él. Los nombres de los trabajos son alfanuméricos, por ejemplo, job-01.

  • Descripción del trabajo (opcional): Es una breve descripción del propósito del trabajo. Esto ayuda a comprender y documentar los detalles del trabajo. Por ejemplo, Deletes all objects in a bucket.

  • Nombre del bucket: Es el nombre del bucket de almacenamiento que contiene los objetos que se procesarán. Esto es fundamental para ubicar los datos de entrada. Por ejemplo, my-bucket. Solo puedes especificar un nombre de bucket para un trabajo.

  • Selección de objetos: Son los criterios de selección que definen qué objetos se procesarán. Puedes especificar los criterios con cualquiera de las siguientes opciones:

    • Manifiesto: Crea un manifiesto y especifica su ubicación cuando crees el trabajo de operaciones por lotes de almacenamiento. El manifiesto es un archivo CSV que se sube a Google Cloudy que contiene un objeto o una lista de objetos que deseas procesar. Cada fila del manifiesto debe incluir el bucket y el name del objeto. De manera opcional, puedes especificar el generation del objeto. Si no especificas generation, se usa la versión actual del objeto.

      El archivo debe incluir una fila de encabezado con el siguiente formato:

      bucket,name,generation

      A continuación, se muestra un ejemplo del manifiesto:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      También puedes crear un manifiesto con los conjuntos de datos de Storage Insights. Para obtener más información, consulta Crea un manifiesto con conjuntos de datos de Storage Insights.

    • Prefijos de objeto: Especifica una lista de prefijos para filtrar objetos dentro del bucket. Solo se procesan los objetos con estos prefijos. Si está vacío, se procesarán todos los objetos del bucket.

  • Tipo de trabajo: Las operaciones por lotes de Storage admiten los siguientes tipos de trabajos, con un solo trabajo por operación por lotes.

    • Borrado de objetos: Puedes borrar objetos dentro de un bucket. Esto es fundamental para la optimización de costos, la administración del ciclo de vida de los datos y el cumplimiento de las políticas de eliminación de datos.

    • Actualizaciones de metadatos: Puedes modificar los metadatos del objeto. Esto incluye la actualización de metadatos personalizados, la clase de almacenamiento y otras propiedades del objeto.

    • Actualizaciones de conservaciones de objetos: Puedes habilitar o inhabilitar las conservaciones de objetos. Las conservaciones de objetos impiden que los objetos se borren o modifiquen, lo que es fundamental para el cumplimiento y la retención de datos.

    • Actualizaciones de claves de encriptación de objetos: Puedes administrar las claves de encriptación administradas por el cliente para uno o más objetos. Esto incluye aplicar o cambiar claves de encriptación con el método reescribir objeto.

Limitaciones

Las operaciones por lotes de almacenamiento tienen las siguientes limitaciones:

  • Los trabajos de operaciones por lotes de Storage tienen una vida útil máxima de 14 días. Cualquier trabajo en curso que no se complete en un plazo de 14 días a partir de su creación se cancelará automáticamente.

  • No recomendamos ejecutar más de 20 trabajos de operaciones por lotes simultáneos en el mismo bucket.

  • Las operaciones por lotes de Storage no son compatibles con los Controles del servicio de VPC.

  • Las operaciones por lotes de almacenamiento no se admiten en los siguientes buckets:

    • Buckets que tienen habilitados los pagos del solicitante

    • Buckets ubicados en las regiones eur4 o us-west8

¿Qué sigue?