BigQuery 파이프라인 소개

BigQuery 파이프라인을 사용하여 BigQuery 데이터 프로세스를 자동화하고 간소화할 수 있습니다. 파이프라인을 사용하면 코드 애셋을 순차적으로 예약하고 실행하여 효율성을 높이고 수동 작업을 줄일 수 있습니다.

개요

파이프라인은 Dataform을 기반으로 합니다.

파이프라인은 다음 코드 애셋 중 하나 이상으로 구성됩니다.

파이프라인을 사용하여 코드 애셋의 실행을 예약할 수 있습니다. 예를 들어 SQL 쿼리를 매일 실행하도록 예약하고 최신 소스 데이터로 테이블을 업데이트하면 대시보드에 사용할 수 있습니다.

코드 애셋이 여러 개인 파이프라인에서는 실행 시퀀스를 정의합니다. 예를 들어 머신러닝 모델을 학습하려면 SQL 쿼리가 데이터를 준비하고 후속 노트북이 해당 데이터를 사용하여 모델을 학습하는 워크플로를 만들 수 있습니다.

기능

파이프라인에서 다음 작업을 할 수 있습니다.

제한사항

파이프라인에는 다음과 같은 제한사항이 적용됩니다.

  • 파이프라인은 Google Cloud 콘솔에서만 사용할 수 있습니다.
  • 파이프라인을 만든 후에는 파이프라인을 저장할 리전을 변경할 수 없습니다. 자세한 내용은 코드 애셋의 기본 리전 설정을 참조하세요.
  • 사용자 또는 그룹에 선택한 파이프라인에 대한 액세스 권한을 부여할 수 있지만 파이프라인 내 개별 작업에 대한 액세스 권한은 부여할 수 없습니다.

지원되는 리전

모든 코드 애셋은 코드 애셋의 기본 리전에 저장됩니다. 기본 리전을 업데이트하면 해당 시점 이후에 생성된 모든 코드 애셋의 리전이 변경됩니다.

다음 표에는 파이프라인을 사용할 수 있는 리전이 나와 있습니다.

리전 설명 리전 이름 세부정보
아프리카
요하네스버그 africa-south1
미주
콜럼버스 us-east5
댈러스 us-south1 리프 아이콘 낮은 CO2
아이오와 us-central1 리프 아이콘 낮은 CO2
로스앤젤레스 us-west2
라스베이거스 us-west4
몬트리올 northamerica-northeast1 잎 아이콘 낮은 CO2
북 버지니아 us-east4
오리건 us-west1 리프 아이콘 낮은 CO2
상파울루 southamerica-east1 리프 아이콘 낮은 CO2
사우스캐롤라이나 us-east1
아시아 태평양
홍콩 asia-east2
자카르타 asia-southeast2
뭄바이 asia-south1
서울 asia-northeast3
싱가포르 asia-southeast1
시드니 australia-southeast1
타이완 asia-east1
도쿄 asia-northeast1
유럽
벨기에 europe-west1 리프 아이콘 낮은 CO2
프랑크푸르트 europe-west3 리프 아이콘 낮은 CO2
런던 europe-west2 리프 아이콘 낮은 CO2
마드리드 europe-southwest1 리프 아이콘 낮은 CO2
네덜란드 europe-west4 리프 아이콘 낮은 CO2
토리노 europe-west12
취리히 europe-west6 리프 아이콘 낮은 CO2
중동
도하 me-central1
담맘 me-central2

할당량 및 한도

BigQuery 파이프라인에는 Dataform 할당량 및 한도가 적용됩니다.

가격 책정

BigQuery 파이프라인 태스크를 실행하면 BigQuery에서 컴퓨팅 및 스토리지 요금이 청구됩니다. 자세한 내용은 BigQuery 가격 책정을 참조하세요.

노트북이 포함된 파이프라인에는 기본 머신 유형에 따라 Colab Enterprise 런타임 요금이 청구됩니다. 가격 책정의 세부정보는 Colab Enterprise 가격 책정을 참조하세요.

각 BigQuery 파이프라인 실행은 Cloud Logging을 사용하여 로깅됩니다. 로깅은 BigQuery 파이프라인 실행에 자동으로 사용 설정되며, Cloud Logging 청구 요금이 발생할 수 있습니다. 자세한 내용은 Cloud Logging 가격 책정을 참고하세요.

다음 단계