Operações em lote de armazenamento

Este documento descreve as operações em lote de armazenamento, um recurso do Cloud Storage que permite realizar operações em bilhões de objetos de maneira sem servidor. Com as operações em lote de armazenamento, é possível automatizar operações de API em grande escala em bilhões de objetos, reduzindo o tempo de desenvolvimento necessário para escrever e manter scripts para cada solicitação.

Para saber como criar jobs de operações em lote de armazenamento, consulte Criar e gerenciar jobs de operações em lote de armazenamento.

Visão geral

Com as operações em lote do Storage, é possível executar uma de quatro transformações em vários objetos de uma só vez: colocar uma retenção de objeto, excluir um objeto, atualizar metadados de objetos e reescrever objetos. Para usar operações em lote de armazenamento, crie uma configuração de job que define quais transformações devem ser aplicadas a quais objetos.

A criação de uma operação em lote retorna uma operação de longa duração (LRO, na sigla em inglês) que indica o status da sua solicitação: se a transformação foi aplicada a todos os objetos especificados na solicitação.

Vantagens

  • Escalonabilidade: faça transformações em milhões de objetos com um único job de operações em lote de armazenamento.
  • Execução sem servidor: execute jobs em lote em um ambiente sem servidor, eliminando a necessidade de gerenciar a infraestrutura.
  • Automação: automatize tarefas complexas e repetitivas, melhorando a eficiência operacional.
  • Tempo de desenvolvimento reduzido: evite escrever e manter scripts personalizados complexos.
  • Performance: conclua operações urgentes dentro do prazo necessário. Com vários jobs em lote sendo executados simultaneamente em um bucket, é possível processar até um bilhão de objetos em três horas.
  • Novas tentativas automáticas: novas tentativas automáticas para operações com falha.
  • Monitoramento de jobs: acompanhamento detalhado do progresso para monitorar o status e a conclusão de todos os jobs.

Casos de uso

Quando usadas com conjuntos de dados do Storage Insights, as operações em lote de armazenamento permitem realizar as seguintes tarefas:

  • Gerenciamento de segurança:

    • Defina chaves de criptografia em vários objetos usando o método rewrite object.
    • Aplique ou remova retenções de objetos para controlar a imutabilidade deles.

  • Compliance:

    • Use guardas de documentos para atender aos requisitos de retenção de dados para conformidade regulatória.
    • Excluir dados entre períodos específicos para atender aos requisitos de conformidade de exclusão.

  • Transformação de dados: faça atualizações em massa nos metadados de objetos.

  • Otimização de custos: exclua em massa objetos em buckets do Cloud Storage para reduzir os custos de armazenamento.

Configurações de job

Para criar um job de operações em lote de armazenamento, defina as seguintes configurações de job. As configurações de job são parâmetros que controlam como o job é definido para diferentes requisitos de processamento.

  • Nome do job: um nome exclusivo para identificar o job de operações em lote do Cloud Storage. Isso é usado para rastrear, monitorar e referenciar o job. Os nomes dos jobs são alfanuméricos, por exemplo, job-01.

  • Descrição do job (opcional): uma breve descrição da finalidade do job. Isso ajuda a entender e documentar os detalhes do trabalho. Por exemplo, Deletes all objects in a bucket.

  • Nome do bucket: o nome do bucket de armazenamento que contém os objetos a serem processados. Isso é essencial para localizar os dados de entrada. Por exemplo, my-bucket. Você pode especificar apenas um nome de bucket para um job.

  • Seleção de objetos: os critérios de seleção que definem quais objetos processar. Você pode especificar os critérios usando uma das seguintes opções:

    • Manifesto: crie um manifesto e especifique o local dele ao criar o job de operações em lote de armazenamento. O manifesto é um arquivo CSV enviado ao Google Cloudque contém um objeto ou uma lista de objetos que você quer processar. Cada linha no manifesto precisa incluir o bucket e o name do objeto. Você também pode especificar o generation do objeto. Se você não especificar o generation, a versão atual do objeto será usada.

      O arquivo precisa incluir uma linha de cabeçalho no seguinte formato:

      bucket,name,generation

      Confira um exemplo de manifesto:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Também é possível criar um manifesto usando conjuntos de dados do Storage Insights. Para mais detalhes, consulte Criar um manifesto usando conjuntos de dados do Storage Insights.

    • Prefixos de objeto: especifique uma lista de prefixos para filtrar objetos no bucket. Somente objetos com esses prefixos são processados. Se estiver vazio, todos os objetos no bucket serão processados.

  • Tipo de job:as operações em lote do Storage são compatíveis com os seguintes tipos de job, executando um único job por operação em lote.

    • Exclusão de objetos: é possível excluir objetos em um bucket. Isso é crucial para a otimização de custos, o gerenciamento do ciclo de vida dos dados e a conformidade com as políticas de exclusão de dados.

    • Atualizações de metadados: é possível modificar os metadados do objeto. Isso inclui a atualização de metadados personalizados, classe de armazenamento e outras propriedades do objeto.

    • Atualizações de retenção de objeto: é possível ativar ou desativar as retenções de objeto. As retenções de objetos impedem que eles sejam excluídos ou modificados, o que é essencial para fins de compliance e retenção de dados.

    • Atualizações de chaves de criptografia de objetos: é possível gerenciar as chaves de criptografia gerenciadas pelo cliente de um ou mais objetos. Isso inclui aplicar ou mudar chaves de criptografia usando o método regravar objeto.

Limitações

As operações em lote de armazenamento têm as seguintes limitações:

  • Os jobs de operações em lote do Storage têm um tempo de vida máximo de 14 dias. Qualquer job em andamento que não for concluído em até 14 dias após a criação será cancelado automaticamente.

  • Não recomendamos executar mais de 20 jobs de operações em lote simultâneas no mesmo bucket.

  • As operações em lote do Storage não são compatíveis com o VPC Service Controls.

  • As operações em lote do Storage não são compatíveis com os seguintes buckets:

A seguir