Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Este documento descreve as operações em lote de armazenamento, um recurso do Cloud Storage que permite realizar operações em bilhões de objetos de maneira sem servidor. Com as operações em lote de armazenamento, é possível automatizar operações de API em grande escala em bilhões de objetos, reduzindo o tempo de desenvolvimento necessário para escrever e manter scripts para cada solicitação.
Com as operações em lote do Storage, é possível executar uma de quatro transformações em
vários objetos de uma só vez: colocar uma retenção de objeto, excluir um objeto, atualizar metadados de objetos e reescrever objetos. Para usar
operações em lote de armazenamento, crie uma configuração de job que
define quais transformações devem ser aplicadas a quais objetos.
A criação de uma operação em lote retorna uma operação de longa duração (LRO, na sigla em inglês) que indica o status da sua solicitação: se a transformação foi aplicada a todos os objetos especificados na solicitação.
Vantagens
Escalonabilidade: faça transformações em milhões de objetos com um único job de operações em lote de armazenamento.
Execução sem servidor: execute jobs em lote em um ambiente sem servidor,
eliminando a necessidade de gerenciar a infraestrutura.
Automação: automatize tarefas complexas e repetitivas, melhorando a eficiência operacional.
Tempo de desenvolvimento reduzido: evite escrever e manter scripts personalizados complexos.
Performance: conclua operações urgentes dentro do prazo
necessário. Com vários jobs em lote sendo executados simultaneamente em um bucket, é possível processar até um bilhão de objetos em três horas.
Novas tentativas automáticas: novas tentativas automáticas para operações com falha.
Monitoramento de jobs: acompanhamento detalhado do progresso para monitorar o status e a conclusão de todos os jobs.
Defina chaves de criptografia em vários objetos usando o método rewrite object.
Aplique ou remova retenções de objetos para controlar a imutabilidade deles.
Compliance:
Use guardas de documentos para atender aos requisitos de retenção de dados para conformidade regulatória.
Excluir dados entre períodos específicos para atender aos requisitos de conformidade de exclusão.
Transformação de dados: faça atualizações em massa nos metadados de objetos.
Otimização de custos: exclua em massa objetos em buckets do Cloud Storage para reduzir os custos de armazenamento.
Configurações de job
Para criar um job de operações em lote de armazenamento, defina as seguintes configurações de job.
As configurações de job são parâmetros que controlam como o job é definido para diferentes requisitos de processamento.
Nome do job: um nome exclusivo para identificar o job de operações em lote do Cloud Storage. Isso é usado para rastrear, monitorar e referenciar o job. Os nomes dos jobs são alfanuméricos, por exemplo, job-01.
Descrição do job (opcional): uma breve descrição da finalidade do job. Isso ajuda a entender e documentar os detalhes do trabalho. Por exemplo, Deletes all objects in a bucket.
Nome do bucket: o nome do bucket de armazenamento que contém os objetos a serem processados. Isso é essencial para localizar os dados de entrada. Por exemplo, my-bucket. Você pode especificar apenas um nome de bucket para um job.
Seleção de objetos: os critérios de seleção que definem quais objetos processar. Você pode especificar os critérios usando uma das seguintes opções:
Manifesto: crie um manifesto e especifique o local dele ao criar o job de operações em lote de armazenamento. O manifesto é um arquivo CSV enviado ao Google Cloudque contém um objeto ou uma lista de objetos que você quer processar. Cada linha no manifesto
precisa incluir o bucket e o name do objeto. Você também pode especificar o generation do objeto. Se você não especificar o generation, a versão atual do objeto será usada.
O arquivo precisa incluir uma linha de cabeçalho no seguinte formato:
Prefixos de objeto: especifique uma lista de prefixos para filtrar objetos no bucket. Somente objetos com esses prefixos são processados. Se estiver vazio, todos os objetos no bucket serão processados.
Tipo de job:as operações em lote do Storage são compatíveis com os seguintes tipos de job, executando um único job
por operação em lote.
Exclusão de objetos: é possível excluir objetos em um bucket. Isso é crucial para a otimização de custos, o gerenciamento do ciclo de vida dos dados e a conformidade com as políticas de exclusão de dados.
Atualizações de metadados: é possível modificar os metadados do objeto. Isso inclui a atualização de metadados personalizados, classe de armazenamento e outras propriedades do objeto.
Atualizações de retenção de objeto: é possível ativar ou desativar as retenções de objeto. As retenções de objetos impedem que eles sejam excluídos ou modificados, o que é essencial para fins de compliance e retenção de dados.
As operações em lote de armazenamento têm as seguintes limitações:
Os jobs de operações em lote de armazenamento têm um tempo de vida máximo de 14 dias. Qualquer
job em andamento que não for concluído em até 14 dias após a criação será
cancelado automaticamente.
Não recomendamos executar mais de 20 jobs de operações em lote simultâneas no mesmo bucket.
As operações em lote do Storage não são compatíveis com os seguintes buckets:
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-08-25 UTC."],[],[],null,["# Storage batch operations\n\n| Storage batch operations is available only if you've configured [Storage Intelligence](/storage/docs/storage-intelligence/overview).\n\nThis document describes storage batch operations, a\nCloud Storage capability that lets you perform operations on billions of\nobjects in a serverless manner. Using\nstorage batch operations, you can automate large-scale API\noperations on billions of objects, reducing the development time required to\nwrite and maintain scripts for each request.\n\nTo learn how to create storage batch operations jobs, see\n[Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs).\n\nOverview\n--------\n\nStorage batch operations let you run one of four transformations on\nmultiple objects at once: placing an object hold, deleting an object,\nupdating object metadata, and rewriting objects. To use\nstorage batch operations, you create a [job configuration](#job-configurations) that\ndefines what transformations should be applied to which objects.\n\nCreating a batch operation returns a long-running operation\n(LRO) that indicates the status of your request: whether the transformation has\nbeen applied to all specified objects in your request.\n\n### Benefits\n\n- **Scalability**: Perform transformations on millions of objects with a single storage batch operations job.\n- **Serverless execution**: Run batch jobs in a serverless environment, eliminating the need to manage infrastructure.\n- **Automation**: Automate complex and repetitive tasks, improving operational efficiency.\n- **Reduced development time**: Avoid writing and maintaining complex custom scripts.\n- **Performance**: Complete time-sensitive operations within the required time. With multiple batch jobs running concurrently on a bucket, you can process up to one billion objects within three hours.\n- **Automatic retries**: Automatic retries for failed operations.\n- **Job monitoring**: Detailed progress tracking to monitor the status and completion of all jobs.\n\n### Use cases\n\nWhen used with [Storage Insights datasets](/storage/docs/insights/datasets),\nstorage batch operations allow you to accomplish the following\ntasks:\n\n- **Security management**:\n\n - Set encryption keys on multiple objects using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n - Apply or remove object holds to control object immutability.\n- **Compliance**:\n\n - Use object holds to meet data retention requirements for regulatory compliance.\n - Delete data between specific timeframes, to meet wipeout compliance requirements.\n- **Data transformation**: Perform bulk updates to object metadata.\n\n- **Cost optimization**: Bulk delete objects in Cloud Storage buckets to\n reduce storage costs.\n\nJob configurations\n------------------\n\nTo [create a storage batch operations job](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-batch-operation-job), you'll need to set the following job configurations.\nJob configurations are parameters that control how the job is defined for\ndifferent processing requirements.\n\n- **Job name** : A unique name to identify the storage batch operations job. This is used for tracking, monitoring, and referencing the job. Job names are alphanumeric, for example, `job-01`.\n\n- **Job Description** (Optional): A brief description of the job's purpose. This helps with understanding and documenting the job details. For example, `Deletes all objects in a bucket`.\n\n- **Bucket name** : The name of the storage bucket containing the objects to be processed. This is essential for locating the input data. For example, `my-bucket`. You can specify only one bucket name for a job.\n\n- **Object selection**: The selection criteria that defines which objects to process. You can specify the criteria using any one of the following options:\n\n - **Manifest** : Create a manifest and specify its location when you create the storage batch operations job. The manifest is a CSV file, uploaded to Google Cloud, that contains one object or a list of objects that you want to process. Each row in the manifest must include the `bucket` and `name` of the object. You can optionally specify the `generation` of the object. If you don't specify the `generation`, the current version of the object is used.\n\n The file must include a header row of the following format:\n\n `bucket,name,generation`\n\n The following is an example of the manifest: \n\n ```\n bucket,name,generation\n bucket_1,object_1,generation_1\n bucket_1,object_2,generation_2\n bucket_1,object_3,generation_3\n ```\n | **Caution:** Ensure the manifest only includes objects from the bucket provided in the storage batch operations job. Rows referencing other buckets are ignored.\n\n You can also create a manifest using Storage Insights datasets. For details, see [Create a manifest using Storage Insights datasets](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-manifest-using-insights-datasets).\n - **Object prefixes**: Specify a list of prefixes to filter objects within the bucket. Only objects with these prefixes are processed. If empty, all objects in the bucket are processed.\n\n- **Job type:** Storage batch operations supports the following job types, running a single job per batch operation.\n\n - **Object deletion** : You can [delete objects](/storage/docs/deleting-objects) within a bucket. This is crucial for cost optimization, data lifecycle management, and compliance with data deletion policies.\n\n | **Caution:** By default, Cloud Storage retains soft-deleted objects for a duration of seven days. If you have accidentally deleted the objects, you can restore these soft-deleted objects during this duration. However, if you have disabled [soft delete](/storage/docs/soft-delete) for your bucket, you cannot recover deleted objects.\n - **Metadata updates** : You can modify the [object metadata](/storage/docs/metadata#editable). This includes updating custom metadata, storage class, and other object properties.\n\n - **Object hold updates** : You can enable or disable [object holds](/storage/docs/object-holds). Object holds prevent objects from being deleted or modified, which is essential for compliance and data retention purposes.\n\n - **Object encryption key updates** : You can manage the [customer-managed encryption keys](/storage/docs/encryption/customer-managed-keys) for one or more objects. This includes applying or changing encryption keys using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n\nLimitations\n-----------\n\nStorage batch operations has the following limitations:\n\n- Storage batch operations jobs have a maximum lifetime of 14 days. Any\n ongoing job that doesn't complete within 14 days of its creation is\n automatically cancelled.\n\n- We don't recommend running more than 20 concurrent batch operations jobs on\n the same bucket.\n\n- Storage batch operations is not supported on the following\n buckets:\n\n - Buckets that have [Requestor Pays](/storage/docs/requester-pays) enabled.\n\n - Buckets located in the `us-west8` region.\n\nWhat's next\n-----------\n\n- [Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs)"]]
