Apache Beam을 사용한 파이프라인 빌드

Dataflow는 오픈소스 Apache Beam 프로젝트를 기반으로 빌드되었습니다. Apache Beam SDK를 사용하여 Dataflow용 파이프라인을 빌드할 수 있습니다. 이 문서에는 Apache Beam 프로그래밍을 시작하기 위한 몇 가지 리소스가 나와 있습니다.

  • Apache Beam SDK 설치: Dataflow 서비스에서 파이프라인을 실행할 수 있도록 Apache Beam SDK를 설치하는 방법을 보여줍니다.

  • Apache Beam 프로그래밍 가이드: Apache Beam SDK 클래스를 사용하여 파이프라인을 빌드하고 테스트하는 방법을 안내합니다.

  • Apache Beam 둘러보기: Apache Beam에 익숙해지는 데 사용할 수 있는 학습 가이드입니다. 학습 단위에는 실행 및 수정할 수 있는 코드 예시가 함께 제공됩니다.

  • Apache Beam 플레이그라운드: 환경에 Apache Beam을 설치하지 않고도 Apache Beam 변환과 예시를 사용해 볼 수 있는 대화형 환경입니다.

Apache Beam 웹사이트에서 파이프라인을 설계, 생성, 테스트하는 방법에 대한 정보도 찾을 수 있습니다.

  • 파이프라인 설계: 파이프라인 구조 결정 방법, 데이터에 적용할 변환 선택 방법, 입력 및 출력 메소드 결정 방법을 보여줍니다.

  • 파이프라인 만들기: Apache Beam SDK의 클래스 사용 방식과 파이프라인을 빌드하는 데 필요한 단계를 설명합니다.

  • 파이프라인 테스트: 파이프라인 테스트 권장사항을 제공합니다.

Apache Beam GitHub의 다음 예시를 사용하여 스트리밍 파이프라인을 빌드할 수 있습니다.