워크플로 예약 솔루션

이 섹션에서는 워크플로를 예약하는 데 사용할 수 있는 Google Cloud 옵션에 대해 설명합니다.

Dataproc 워크플로 템플릿

Dataproc 워크플로 템플릿은 워크플로 관리와 실행을 위한 간편하고 유연한 메커니즘을 제공합니다. 워크플로 템플릿은 재사용 가능한 워크플로 구성입니다. 작업 그래프를 해당 작업을 실행할 위치에 관한 정보와 함께 정의합니다.

Cloud Scheduler

Cloud Scheduler는 엔터프라이즈 수준의 완전 관리형 크론 작업 스케줄러로서 일괄, 빅데이터 작업, 클라우드 인프라 작업 등 거의 모든 작업을 예약할 수 있습니다. 코드를 작성할 필요없이 매일 또는 매시간 등 간단한 시간 기반 일정을 예약할 수 있습니다.

장점:

  • 익숙한 크론 표현식을 기반으로 워크플로 템플릿의 시간 기반 인스턴스화를 사용 설정합니다.

  • 작성할 코드 없음

튜토리얼: Cloud Scheduler를 사용한 워크플로

Cloud Functions

Cloud Run 함수는 서버 또는 런타임 환경을 관리할 필요없이 Cloud 이벤트에 응답하는 단일 목적의 독립형 함수를 만드는 데 사용할 수 있는 가벼운 컴퓨팅 솔루션입니다. Cloud Run 함수를 사용하여 Cloud Storage의 Pub/Sub 이벤트 또는 파일 변경에 대한 응답으로 워크플로를 시작할 수 있습니다. 시간 기반 매개변수 계산이 필요한 워크플로에 Cloud Scheduler와 함께 Cloud Run 함수를 사용할 수 있습니다.

장점:

  • Cloud Storage 또는 Pub/Sub 이벤트의 새 파일과 같은 데이터 이벤트에 대한 응답으로 워크플로 인스턴스화 사용

  • Dataproc Go, Node.js 또는 Python 클라이언트 라이브러리를 사용한 최소 코딩 필요

  • 워크플로 및 워크플로 매개변수를 동적으로 생성

튜토리얼: Cloud Run 함수를 사용한 워크플로

Cloud Composer

Cloud Composer는 워크플로를 생성, 예약, 모니터링, 관리하는 데 사용할 수 있는 관리형 Apache Airflow 서비스입니다.

장점:

  • 시간 및 이벤트 기반 일정 예약 지원

  • 연산자를 사용한 Dataproc에 대한 간단한 호출

  • 워크플로 및 워크플로 매개변수를 동적으로 생성

  • 여러 Google Cloud 제품을 포괄하는 데이터 흐름 구축

튜토리얼: Cloud Composer를 사용하는 워크플로