Operaciones por lotes de almacenamiento

En esta página, se proporciona una descripción general de las operaciones por lotes de almacenamiento, sus beneficios, los casos de uso, las configuraciones de trabajo y sus limitaciones.

Descripción general

Las operaciones por lotes de almacenamiento son una función de administración de Cloud Storage que realiza operaciones en miles de millones de objetos de Cloud Storage de forma sin servidores.

Con las operaciones por lotes de almacenamiento, puedes automatizar operaciones de API a gran escala en objetos de Cloud Storage, lo que reduce el tiempo de desarrollo necesario para escribir y mantener secuencias de comandos para esas operaciones. Para garantizar una ejecución confiable, las operaciones por lotes de almacenamiento administran automáticamente los reintentos de las operaciones que fallan. Además, las operaciones por lotes de almacenamiento ofrecen un seguimiento detallado del progreso para supervisar el estado y la finalización de todas las tareas. Las operaciones por lotes de almacenamiento son una función exclusiva que solo está disponible a través de la suscripción a Storage Intelligence. Para obtener información sobre los precios, consulta los precios de Storage Intelligence.

Beneficios

  • Escalabilidad: Realiza transformaciones en millones de objetos con una sola tarea de operaciones por lotes de almacenamiento.
  • Ejecución sin servidores: Ejecuta trabajos por lotes en un entorno sin servidores, lo que elimina la necesidad de administrar la infraestructura.
  • Automatización: Automatiza tareas complejas y repetitivas, lo que mejora la eficiencia operativa.
  • Reducción del tiempo de desarrollo: Evita escribir y mantener secuencias de comandos personalizadas complejas.
  • Rendimiento: Completa operaciones urgentes dentro del tiempo requerido. Con varios trabajos por lotes que se ejecutan de forma simultánea en un bucket, puedes procesar hasta mil millones de objetos en tres horas.

Casos de uso

Las operaciones por lotes de almacenamiento, cuando se usan con Storage Insights, son valiosas para los siguientes casos de uso:

  • Administración de la seguridad:

    • Establece claves de encriptación en varios objetos con el método de reescritura de objetos.
    • Aplica o quita retenciones de objetos para controlar la inmutabilidad de los objetos.

  • Cumplimiento:

    • Usa las suspensiones de objetos para cumplir con los requisitos de retención de datos para el cumplimiento regulatorio.
    • Borrar datos entre períodos específicos para cumplir con los requisitos de cumplimiento de eliminación

  • Transformación de datos: Realiza actualizaciones masivas de los metadatos de los objetos.

  • Optimización de costos: Borra objetos de forma masiva en los buckets de Cloud Storage para reducir los costos de almacenamiento.

Parámetros de configuración de trabajos

Para crear un trabajo de operaciones por lotes de almacenamiento, deberás establecer la siguiente configuración de trabajo. Las configuraciones de trabajo son parámetros que controlan cómo se define el trabajo para diferentes requisitos de procesamiento.

  • Nombre del trabajo: Es un nombre único para identificar el trabajo de operaciones por lotes de almacenamiento. Se usa para hacer un seguimiento del trabajo, supervisarlo y hacer referencia a él. Los nombres de los trabajos son alfanuméricos, por ejemplo, job-01.

  • Descripción del cargo (opcional): Es una descripción breve del propósito del cargo. Esto ayuda a comprender y documentar los detalles del trabajo. Por ejemplo, Deletes all objects in a bucket.

  • Nombre del bucket: Es el nombre del bucket de almacenamiento que contiene los objetos que se procesarán. Esto es esencial para ubicar los datos de entrada. Por ejemplo, my-bucket. Solo puedes especificar un nombre de bucket para un trabajo.

  • Selección de objetos: Son los criterios de selección que definen qué objetos se deben procesar. Puedes especificar los criterios con cualquiera de las siguientes opciones:

    • Manifiesto: Crea un manifiesto y especifica su ubicación cuando crees el trabajo de operaciones por lotes de almacenamiento. El manifiesto es un archivo CSV, subido a Google Cloud, que contiene un objeto o una lista de objetos que deseas procesar. Cada fila del manifiesto debe incluir el bucket y el name del objeto. De manera opcional, puedes especificar el generation del objeto. Si no especificas el generation, se usa la versión actual del objeto.

      El archivo debe incluir una fila de encabezado con el siguiente formato:

      bucket,name,generation

      El siguiente es un ejemplo del manifiesto:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      También puedes crear un manifiesto con conjuntos de datos de Storage Insights. Para obtener más información, consulta Crea un manifiesto con conjuntos de datos de Storage Insights.

    • Prefijos de objetos: Especifica una lista de prefijos para filtrar los objetos dentro del bucket. Solo se procesan los objetos con estos prefijos. Si está vacío, se procesarán todos los objetos del bucket.

  • Tipo de trabajo: Las operaciones por lotes de almacenamiento admiten los siguientes tipos de trabajos, que ejecutan un solo trabajo por operación por lotes.

    • Eliminación de objetos: Puedes borrar objetos dentro de un bucket. Esto es fundamental para la optimización de costos, la administración del ciclo de vida de los datos y el cumplimiento de las políticas de eliminación de datos.

    • Actualizaciones de metadatos: Puedes modificar los metadatos de los objetos. Esto incluye la actualización de metadatos personalizados, la clase de almacenamiento y otras propiedades del objeto.

    • Actualizaciones de las retenciones de objetos: Puedes habilitar o inhabilitar las retenciones de objetos. Las conservaciones de objetos impiden que estos se borren o modifiquen, lo que es esencial para el cumplimiento y la retención de datos.

    • Actualizaciones de claves de encriptación de objetos: Puedes administrar las claves de encriptación administradas por el cliente de uno o más objetos. Esto incluye aplicar o cambiar claves de encriptación con el método reescribir objeto.

Limitaciones

Las operaciones por lotes de almacenamiento tienen las siguientes limitaciones:

  • Los trabajos de operaciones por lotes de almacenamiento tienen una vida útil máxima de 14 días. Cualquier trabajo en curso que no se complete en un plazo de 14 días a partir de su creación se cancelará automáticamente.

  • No recomendamos ejecutar más de 20 trabajos de operaciones por lotes simultáneos en el mismo bucket.

  • Las operaciones por lotes de almacenamiento no son compatibles con los Controles del servicio de VPC.

  • Las operaciones por lotes de almacenamiento no son compatibles con los siguientes buckets:

    • Los buckets que tienen habilitados los pagos del solicitante

    • Buckets ubicados en las regiones eur4 o us-west8

Próximos pasos