Bigtable Beam 커넥터
Bigtable Beam 커넥터 (BigtableIO)는 Dataflow를 사용하는 파이프라인의 Bigtable 데이터에서 일괄 및 스트리밍 작업을 수행하는 데 도움이 되는 오픈소스 Apache Beam I/O 커넥터입니다.
HBase에서 Bigtable로 마이그레이션하거나 Bigtable API 대신 HBase API를 사용하는 애플리케이션을 실행하는 경우 이 페이지에 설명된 커넥터 대신 Bigtable HBase Beam 커넥터(CloudBigtableIO)를 사용합니다.
커넥터 세부정보
Bigtable Beam 커넥터는 Apache Beam GitHub 저장소의 구성요소입니다. Javadoc은 Class
BigtableIO에서 사용 가능합니다.
Dataflow 파이프라인을 만들기 전에 Apache Beam 런타임 지원을 확인하여 Dataflow에 지원되는 Java 버전을 사용하고 있는지 확인합니다. Apache Beam의 최신 지원 출시 버전을 사용합니다.
Bigtable Beam 커넥터는 Bigtable API를 호출하는 클라이언트 라이브러리인 Java용 Bigtable 클라이언트와 함께 사용됩니다. 커넥터를 사용하는 파이프라인을 리소스 프로비저닝과 관리를 처리하고 데이터 처리의 확장성과 신뢰성을 지원하는 Dataflow에 배포하는 코드를 작성합니다.
Apache Beam 프로그래밍 모델에 대한 자세한 내용은 Beam 문서를 참조하세요.
일괄 쓰기 흐름 제어
Bigtable Beam 커넥터를 사용하여 테이블에 일괄 쓰기 (삭제 요청 포함)를 전송할 때 일괄 쓰기 흐름 제어를 사용 설정할 수 있습니다. 이 기능을 사용 설정하면 Bigtable에서 자동으로 다음을 수행합니다.
- Bigtable 클러스터 과부하가 발생하지 않도록 트래픽 비율 제한
- 필요한 경우 더 많은 노드가 클러스터에 자동으로 추가되도록 Bigtable 자동 확장(사용 설정된 경우)을 트리거하기에 충분한 부하가 클러스터에 있는지 확인
자세한 내용은 일괄 쓰기 흐름 제어를 참고하세요. 코드 샘플은 일괄 쓰기 흐름 제어 사용 설정을 참고하세요.