このドキュメントでは、Dataform の割り当てと上限について説明します。
- 割り当ては、使用できるカウント可能な共有リソースの量を指定します。割り当ては、Dataform などの Google Cloud サービスによって定義されます。
- システムの上限は固定値で、変更できません。
Google Cloud では、割り当てを使用して公平性を確保し、リソースの使用量と可用性の急増を抑えます。割り当ては、Google Cloud プロジェクトで使用できる Google Cloud リソースの量を制限します。割り当ては、ハードウェア、ソフトウェア、ネットワーク コンポーネントなど、さまざまなリソースタイプに適用されます。たとえば、割り当てによって、サービスへの API 呼び出しの数、プロジェクトで同時に使用されるロードバランサの数、作成可能なプロジェクトの数を制限できます。割り当てを適用することで、サービスの過負荷を防ぎ、Google Cloud ユーザーのコミュニティを保護します。割り当ては、自組織で使用している Google Cloud リソースの管理にも役立ちます。
Cloud Quotas システムは次のことを行います。
- Google Cloud のプロダクトとサービスの消費量をモニタリングする
- これらのリソースの消費量を制限する
- 割り当て値の変更をリクエストする方法を提供する
ほとんどの場合、割り当ての許容量を超えるリソースを消費しようとすると、システムによってリソースへのアクセスがブロックされ、実行しようとしているタスクは失敗します。
割り当ては通常、Google Cloud プロジェクト レベルで適用されます。あるプロジェクトでリソースを使用しても、別のプロジェクトで使用可能な割り当てに影響することはありません。Google Cloud プロジェクト内では、すべてのアプリケーションと IP アドレスで割り当てが共有されます。
Vision リソースにはシステムの上限もあります。システムの上限は変更できません。
割り当ての補充
毎日の割り当ては、レート制限動作をガイドするという意図を反映して、一日中一定の間隔で補充されます。割り当てを使い切った場合の分断が長時間にならないようにするためにも、断続的な更新が行われます。通常、割り当ては 1 日に 1 回全体的に補充されるのではなく、数分で割り当てが補充され利用可能になります。
割り当ての増加をリクエストします
ほどんどの場合、割り当ての増減を行うには Google Cloud コンソールを使用します。 詳細については、割り当ての増加をリクエストするをご覧ください。
割り当て使用量の上限
特定のリソースの使用量をデフォルトの割り当て量よりも少なく指定して制限する方法については、使用量の上限を設定するをご覧ください。
必要な権限
Google Cloud コンソール で Dataform の割り当てを表示および更新するには、Google Cloud の割り当てと同じ権限が必要です。詳細については、割り当ての権限をご覧ください。
トラブルシューティング
Dataform の割り当てと上限に関連するエラーのトラブルシューティングについては、トラブルシューティングをご覧ください。
Dataform の割り当て
Dataform には次の API 割り当てがあります。
| 割り当て | 上限 |
|---|---|
| プロジェクトのリージョンごとの合計リクエスト数 | リージョンのプロジェクトごとに 6,000件/分 |
| プロジェクトのリージョンごとのコンパイル リクエスト数 | リージョンのプロジェクトごとに 120件/分 |
| 1 リージョン、1 プロジェクトあたりのファイル アクセス リクエスト数 | リージョンのプロジェクトごとに 120件/分 |
| プロジェクトのリージョンごとのパッケージ インストール リクエスト数 | リージョンのプロジェクトごとに 120件/分 |
| リージョンのプロジェクトごとのワークフロー呼び出しリクエスト数 | リージョンのプロジェクトごとに 60件/分 |
| 実行ごとのワークフロー アクション数 | 5000 |
Dataform で使用されるサービスの割り当て
Dataform は他の Google Cloud サービスを使用します。これらのサービスにはプロジェクト レベルの割り当てがあり、Dataform を使用する場合に適用されます。
Dataform は、独自の割り当て上限を持つ次の Google Cloud サービスを使用します。
Dataform コンパイルのリソースの上限
Dataform では、コンパイル リソースに次の使用量上限が適用されます。
| 使用量上限 | 値 |
|---|---|
| リポジトリのコンパイルあたりのアクションの最大数 | 5000 |
| コンパイル済みグラフ内のアクションあたりの依存関係の最大数 | 50 |
| アクションのコンパイル済みグラフのシリアル化された合計最大データサイズ | 20 MB |
| NPM 依存関係の最大サイズ | 200 MB |
| CMEK 暗号化リポジトリの最大サイズ | 512 MB |
| CMEK 暗号化リポジトリ内のワークスペースの最大サイズ | 512 MB |
また、Dataform では、コンパイル中の CPU とメモリの使用量に上限が適用されます。コードのコンパイル時にこれらの上限を超えると、コンパイルが失敗し、Dataform からコンパイル エラーがスローされます。
リポジトリのコンパイル リソースの使用量を見積もるには、リポジトリのコンパイル リソースの使用量を見積もるをご覧ください。
リポジトリで使用上限を超える可能性があるのは、次の理由によるものです。
- リポジトリ コードの無限ループ バグ。
- リポジトリ コードのメモリリーク バグ。
- リポジトリ サイズが大きい（SQL ワークフロー ノードの数が約 1000 個を超える）。
- 同時実行クエリの数が多い。
Dataform のリポジトリ サイズの詳細については、リポジトリ サイズの概要をご覧ください。