Cloud Storage 구독은 수신되는 메시지를 기존 Cloud Storage 버킷에 기록하는 내보내기 구독 유형입니다. 별도의 구독자 클라이언트를 구성할 필요가 없습니다. Google Cloud 콘솔, Google Cloud CLI, 클라이언트 라이브러리, Pub/Sub API를 사용하여 Cloud Storage 구독을 생성, 업데이트, 나열, 분리, 삭제하세요.
Cloud Storage 구독 유형이 없으면 메시지를 읽고 Cloud Storage 버킷에 작성하는 구독자(예: Dataflow)와 풀 또는 푸시 구독이 필요합니다. 메시지를 Cloud Storage 버킷에 저장하기 전에 추가 처리가 필요하지 않은 경우 Dataflow 작업을 실행하는 오버헤드가 필요하지 않습니다. 대신 Cloud Storage 구독을 사용할 수 있습니다.
그러나 데이터를 Cloud Storage 버킷에 저장하기 전에 일부 데이터 변환이 필요한 Pub/Sub 시스템에는 여전히 Dataflow 파이프라인이 권장됩니다.
Dataflow를 사용하여 변환으로 Pub/Sub에서 Cloud Storage로 데이터를 스트리밍하는 방법은 Dataflow를 사용하여 Pub/Sub에서 메시지 스트리밍을 참조하세요.
시작하기 전에
이 문서를 읽기 전 다음 내용을 숙지해야 합니다.
Pub/Sub 작동 방법과 여러 가지 Pub/Sub 용어
다양한 구독의 종류와 Cloud Storage 구독을 사용해야 하는 이유
Cloud Storage 작동 방식
Cloud Storage 구독 워크플로
다음 이미지는 Cloud Storage 구독과 Cloud Storage 간의 워크플로를 보여줍니다.
그림 1. Cloud Storage 구독 워크플로
다음은 그림 1을 참조하는 워크플로에 대한 간략한 설명입니다.
Pub/Sub는 Cloud Storage API를 사용하여 Cloud Storage 버킷으로 데이터를 전송합니다. 쓰기 작업이 성공적으로 완료되면 API가
OK응답을 반환합니다.메시지가 일괄적으로 Cloud Storage 버킷에 전송됩니다. 단일 배치는 Cloud Storage 버킷에 저장된 객체에 해당합니다. 객체 크기와 객체 생성 후 경과된 시간을 기반으로 일괄 설정을 구성할 수 있습니다.
Cloud Storage 버킷에 객체를 쓰는 워크플로에는
OK응답이 두 개 필요합니다. 첫 번째OK응답은 메시지가 객체에 성공적으로 작성되면 전송됩니다. 두 번째OK응답은 메시지가 포함된 객체가 완료되면 전송됩니다. 메시지는 메시지가 포함된 Cloud Storage 객체가 성공적으로 완료된 후에만 버킷에 표시됩니다.쓰기 작업 중에 오류가 발생하면 Pub/Sub 메시지 자체가 부정적으로 확인됩니다. 그러면 메시지가 다시 전송됩니다. 메시지 쓰기 작업이 충분히 실패하고 구독에 데드 레터 주제가 구성된 경우 메시지는 데드 레터 주제로 이동합니다.
Cloud Storage 구독의 속성
Cloud Storage 구독을 만들 때 몇 가지 추가 속성을 지정해야 합니다. 이러한 속성에는 일반적인 구독 속성, 파일 이름 및 형식 요구사항, 스토리지 요구사항 등이 포함됩니다. 이러한 속성에 대한 자세한 내용은 Cloud Storage 구독 속성을 참조하세요.
Pub/Sub 서비스 계정 권한
Cloud Storage 구독을 만들려면 Pub/Sub 서비스 계정에 특정 Cloud Storage 버킷에 쓰기 권한과 버킷 메타데이터 읽기 권한이 있어야 합니다.
자세한 내용은 Pub/Sub 서비스 계정에 Cloud Storage 역할 할당을 참고하세요.
메시지 처리 실패
Pub/Sub 메시지를 Cloud Storage 버킷에 쓸 수 없으면 메시지를 확인할 수 없습니다. 이러한 전송할 수 없는 메시지를 전달하려면 Cloud Storage 구독에서 데드 레터 주제를 구성합니다.
Pub/Sub가 Cloud Storage에 메시지를 쓸 수 없으면 Pub/Sub는 push 백오프 동작과 비슷한 방식으로 메시지 전송을 중단합니다.
할당량
할당량 제한은 각 리전의 Cloud Storage 구독자 처리량에 적용됩니다. Cloud Storage 구독의 할당량에 대한 자세한 내용은 Pub/Sub 할당량 및 한도의 내보내기 구독자 할당량 한도를 참고하세요.
가격 책정
Cloud Storage 구독 가격에 대한 자세한 내용은 Pub/Sub 가격 책정 페이지를 참고하세요.
다음 단계
Cloud Storage 구독 만들기
Pub/Sub 구성 도구 살펴보기