이 페이지에서는 스토리지 일괄 작업, 이점, 사용 사례, 작업 구성, 제한사항에 대해 간략히 설명합니다.
개요
스토리지 일괄 작업은 서버리스 방식으로 수십억 개의 Cloud Storage 객체에 작업을 실행하는 Cloud Storage 관리 기능입니다.
스토리지 일괄 작업을 사용하면 Cloud Storage 객체에서 대규모 API 작업을 자동화하여 이러한 작업을 위한 스크립트를 작성하고 유지하는 데 필요한 개발 시간을 줄일 수 있습니다. 안정적인 실행을 위해 스토리지 일괄 작업은 실패한 작업의 재시도를 자동으로 관리합니다. 또한 스토리지 일괄 작업은 모든 작업의 상태와 완료를 모니터링하는 세부적인 진행률 추적을 제공합니다. 스토리지 일괄 작업은 Storage Intelligence 구독을 통해서만 사용할 수 있는 전용 기능입니다. 가격 정보는 Storage Intelligence 가격 책정을 참고하세요.
이점
- 확장성: 단일 스토리지 일괄 작업으로 수백만 개의 객체에서 변환을 실행합니다.
- 서버리스 실행: 서버리스 환경에서 일괄 작업을 실행하므로 인프라를 관리할 필요가 없습니다.
- 자동화: 복잡하고 반복적인 작업을 자동화하여 운영 효율성을 개선합니다.
- 개발 시간 단축: 복잡한 커스텀 스크립트를 작성하고 유지하지 않아도 됩니다.
- 성능: 시간에 민감한 작업을 필요한 시간 내에 완료합니다. 버킷에서 여러 일괄 작업을 동시에 실행하면 3시간 이내에 최대 10억 개의 객체를 처리할 수 있습니다.
사용 사례
Storage Insights와 함께 사용하면 스토리지 일괄 작업이 다음과 같은 사용 사례에 유용합니다.
보안 관리
- 객체 재작성 메서드를 사용하여 여러 객체에 암호화 키를 설정합니다.
- 객체 보존 조치를 적용하거나 삭제하여 객체 불변성을 제어합니다.
규정 준수
- 객체 보존 조치를 사용하여 규정 준수를 위한 데이터 보관 요구사항을 충족합니다.
- 삭제 규정 준수 요구사항을 충족하기 위해 특정 기간의 데이터를 삭제합니다.
데이터 변환: 객체 메타데이터를 일괄 업데이트합니다.
비용 최적화: Cloud Storage 버킷에서 객체를 일괄 삭제하여 스토리지 비용을 줄입니다.
작업 구성
스토리지 일괄 작업을 만들려면 다음 작업 구성을 설정해야 합니다. 작업 구성은 다양한 처리 요구사항에 따라 작업이 정의되는 방식을 제어하는 매개변수입니다.
작업 이름: 스토리지 일괄 작업을 식별하는 고유한 이름입니다. 작업을 추적, 모니터링, 참조하는 데 사용됩니다. 작업 이름은 영숫자입니다(예:
job-01).작업 설명(선택사항): 작업의 목적에 관한 간단한 설명입니다. 이렇게 하면 작업 세부정보를 이해하고 문서화하는 데 도움이 됩니다. 예를 들면
Deletes all objects in a bucket입니다.버킷 이름: 처리할 객체가 포함된 스토리지 버킷의 이름입니다. 이는 입력 데이터를 찾는 데 필수적입니다. 예를 들면
my-bucket입니다. 작업에는 버킷 이름을 하나만 지정할 수 있습니다.객체 선택: 처리할 객체를 정의하는 선택 기준입니다. 다음 옵션 중 하나를 사용하여 기준을 지정할 수 있습니다.
매니페스트: 스토리지 일괄 작업을 만들 때 매니페스트를 만들고 위치를 지정합니다. 매니페스트는 처리할 객체 하나 또는 객체 목록이 포함된 CSV 파일로, Google Cloud에 업로드됩니다. 매니페스트의 각 행에는 객체의
bucket및name이 포함되어야 합니다. 원하는 경우 객체의generation을 지정할 수 있습니다.generation을 지정하지 않으면 객체의 현재 버전이 사용됩니다.파일에는 다음 형식의 헤더 행이 포함되어야 합니다.
bucket,name,generation다음은 매니페스트의 예입니다.
bucket,name,generation bucket_1,object_1,generation_1 bucket_1,object_2,generation_2 bucket_1,object_3,generation_3
Storage Insights 데이터 세트를 사용하여 매니페스트를 만들 수도 있습니다. 자세한 내용은 Storage Insights 데이터 세트를 사용하여 매니페스트 만들기를 참고하세요.
객체 접두사: 버킷 내 객체를 필터링할 접두사 목록을 지정합니다. 이러한 접두사가 있는 객체만 처리됩니다. 비어 있으면 버킷의 모든 객체가 처리됩니다.
작업 유형: 스토리지 일괄 작업은 다음 작업 유형을 지원하며 일괄 작업당 단일 작업을 실행합니다.
객체 삭제: 버킷 내에서 객체를 삭제할 수 있습니다. 이는 비용 최적화, 데이터 수명 주기 관리, 데이터 삭제 정책 준수를 위해 매우 중요합니다.
메타데이터 업데이트: 객체 메타데이터를 수정할 수 있습니다. 여기에는 커스텀 메타데이터, 스토리지 클래스, 기타 객체 속성 업데이트가 포함됩니다.
객체 보존 조치 업데이트: 객체 보존 조치를 사용 설정하거나 사용 중지할 수 있습니다. 객체 보존 조치는 객체가 삭제되거나 수정되지 않도록 방지하며, 이는 규정 준수 및 데이터 보관 목적에 필수적입니다.
객체 암호화 키 업데이트: 하나 이상의 객체에 대한 고객 관리 암호화 키를 관리할 수 있습니다. 여기에는 객체 재작성 메서드를 사용하여 암호화 키를 적용하거나 변경하는 작업이 포함됩니다.
제한사항
스토리지 일괄 작업에는 다음과 같은 제한사항이 있습니다.
스토리지 일괄 작업의 최대 전체 기간은 14일입니다. 생성 후 14일 이내에 완료되지 않은 진행 중인 작업은 자동으로 취소됩니다.
동일한 버킷에서 일괄 작업을 20개 이상 동시에 실행하지 않는 것이 좋습니다.
스토리지 일괄 작업은 VPC 서비스 제어와 호환되지 않습니다.
다음 버킷에서는 스토리지 일괄 작업이 지원되지 않습니다.
요청자 지불이 사용 설정된 버킷
eur4또는us-west8리전에 있는 버킷