이 문서에서는 Dataform에 적용되는 할당량과 한도에 대해 설명합니다.
- 할당량은 사용할 수 있는 계수 가능한 공유 리소스의 양을 지정합니다. 할당량은 Dataform과 같은 Google Cloud 서비스에서 정의합니다.
- 시스템 한도는 변경할 수 없는 고정 값입니다.
Google Cloud는 공정성을 보장하고 리소스 사용 및 가용성의 급증을 줄이기 위해 할당량을 사용합니다. 할당량은 Google Cloud 프로젝트에서 사용할 수 있는 Google Cloud 리소스의 양을 제한합니다. 할당량은 하드웨어, 소프트웨어, 네트워크 구성요소를 포함하여 다양한 리소스 유형에 적용됩니다. 예를 들어 할당량에 따라 서비스에 대한 API 호출 수, 프로젝트에서 동시에 사용하는 부하 분산기 수, 만들 수 있는 프로젝트 수가 제한될 수 있습니다. 할당량은 서비스 과부하를 방지하여 Google Cloud 사용자 커뮤니티를 보호합니다. 할당량은 자체 Google Cloud 리소스를 관리하는 데도 도움이 됩니다.
Cloud Quotas 시스템은 다음을 수행합니다.
- Google Cloud 제품 및 서비스 소비량 모니터링
- 리소스 소비 제한
- 할당량 값 변경을 요청할 수 있는 수단 제공
대부분의 경우 할당량이 허용하는 것보다 더 많은 리소스를 소비하려고 하면 시스템에서 리소스에 대한 액세스를 차단하고 수행하려는 작업이 실패합니다.
할당량은 일반적으로 Google Cloud 프로젝트 수준에서 적용됩니다. 한 프로젝트의 리소스를 사용해도 다른 프로젝트에서 사용 가능한 할당량에는 영향을 미치지 않습니다. Google Cloud 프로젝트 내에서 할당량은 모든 애플리케이션과 IP 주소에 공유됩니다.
Dataform 리소스에도 시스템 한도가 있습니다. 시스템 한도는 변경할 수 없습니다.
할당량 보충
일일 할당량은 비율을 제한하는 동작을 유도하기 위해 온종일 정기적으로 보충됩니다. 할당량이 소진되었을 때 장시간 중단되지 않도록 간헐적인 보충도 이루어집니다. 할당량은 하루에 한 번 전체적으로 보충되기보다는 대개 몇 분 단위로 제공됩니다.
할당량 상향 조정 요청
대부분의 할당량은 Google Cloud 콘솔을 사용해 늘리거나 줄입니다. 자세한 내용은 할당량 상향 요청을 참조하세요.
사용 할당량 상한
기본 할당량보다 적은 할당량을 지정하여 특정 리소스의 사용량을 제한하는 방법은 사용량 상한 설정을 참조하세요.
필수 권한
Google Cloud 콘솔에서 Dataform 할당량을 보고 업데이트하려면 Google Cloud 할당량과 동일한 권한이 필요합니다. 자세한 내용은 할당량 권한을 참고하세요.
문제 해결
Dataform 할당량 및 한도와 관련된 오류 문제 해결에 대한 자세한 내용은 문제 해결을 참고하세요.
Dataform 할당량
Dataform의 API 할당량은 다음과 같습니다.
| 할당량 | 한도 |
|---|---|
| 리전별 프로젝트당 총 요청 | 6000/분/프로젝트/리전 |
| 리전별 프로젝트당 컴파일 요청 | 120/분/프로젝트/리전 |
| 리전별 프로젝트당 파일 액세스 요청 | 120/분/프로젝트/리전 |
| 리전별 프로젝트당 패키지 설치 요청 | 120/분/프로젝트/리전 |
| 리전별 프로젝트당 워크플로 호출 요청 | 60/분/프로젝트/리전 |
| 실행당 워크플로 작업 | 5000 |
Dataform에서 사용하는 서비스 할당량
Dataform은 다른 Google Cloud 서비스를 사용합니다. Dataform을 사용할 때 이러한 서비스의 프로젝트 수준 할당량이 적용됩니다.
Dataform은 자체 할당량 한도가 있는 다음 Google Cloud 서비스를 사용합니다.
Dataform 컴파일 리소스 한도
Dataform은 컴파일 리소스에 다음과 같은 사용량 한도를 적용합니다.
| 사용량 한도 | 값 |
|---|---|
| 저장소 컴파일당 최대 작업 수 | 5000 |
| 컴파일된 그래프의 작업당 최대 종속 항목 수 | 50 |
| 컴파일된 작업 그래프의 직렬화된 최대 데이터 크기 | 20MB |
| NPM 종속 항목의 최대 크기 | 200MB |
| CMEK로 암호화된 저장소의 최대 크기 | 512MB |
| CMEK로 암호화된 저장소의 워크스페이스 최대 크기 | 512MB |
또한 Dataform은 컴파일 중 CPU 및 메모리 사용에 한도를 적용합니다. 코드를 컴파일할 때 이러한 한도가 초과되면 컴파일이 실패하고 Dataform에서 컴파일 오류가 발생합니다.
저장소의 컴파일 리소스 사용량을 예측하려면 저장소의 컴파일 리소스 사용량 예측을 참조하세요.
다음과 같은 이유로 저장소의 사용량 한도가 초과될 수 있습니다.
- 저장소 코드의 무한 루프 버그
- 저장소 코드의 메모리 누수 버그
- 큰 저장소 크기(SQL 워크플로 노드 약 1,000개 이상)
- 많은 수의 동시 쿼리
Dataform에서 저장소 크기에 대한 자세한 내용은 저장소 크기 개요를 참조하세요.