Dataproc サーバーレスでは、API 割り当てに プロジェクトとリージョンのレベルで上限が設定されています。割り当ては 60 秒(1 分)ごとにリセットされます。
次の表に、プロジェクトあたりの固有およびデフォルトの Dataproc サーバーレス API 割り当てタイプ、割り当て上限、適用先のメソッドを示します。
割り当てのタイプ | 上限 | API のメソッドまたは説明 |
---|---|---|
ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation(バッチ オペレーションの割り当てのキャンセルは、クラスタ オペレーションのキャンセルと共有セルされます)。 |
BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch、DeleteBatch |
SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession、DeleteSession、TerminateSession |
DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch、ListBatches、GetSession、ListSessions |
ActiveOperationsPerProjectPerRegion | 5000 | リージョン内のプロジェクトにある、あらゆるタイプの同時実行アクティブ オペレーションを合計した数の上限。 |
その他の Google Cloud の割り当て
Dataproc Serverless バッチは、他の Google Cloud プロダクトを利用します。これらのプロダクトにはプロジェクト レベルの割り当てがあり、これには Dataproc Serverless の使用に適用される割り当てが含まれます。Dataproc Serverless を使用するには、Compute Engine や Cloud Storage などの一部のサービスが必須です。他のサービス(BigQuery や Bigtable など)は、必要に応じて Dataproc Serverless で使用できます。
必須サービス
割り当て上限が適用される次のサービスは、Dataproc Serverless バッチを作成するために必要です。
Compute Engine
Dataproc サーバーレス バッチは、次の Compute Engine リソース割り当てを使用します。
コンピューティング階層 | 割り当て |
---|---|
スタンダード | CPUS |
プレミアム | N2_CPUS |
ディスク階層 | 割り当て |
スタンダード | DISKS_TOTAL_GB |
プレミアム | N2 VM ファミリーを伴う LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY |
GPU アクセラレータ | 割り当て |
L4 | NVIDIA_L4_GPUS |
A100 40GB | NVIDIA_A100_GPUS |
A100 80GB | NVIDIA_A100_80GB_GPUS |
Compute Engine の割り当ては、リージョン上限とグローバル上限に分けられます。これらの上限は、作成したバッチに適用されます。たとえば、4 つのドライバコア(spark.driver.cores=4
)を持つ Spark バッチとそれぞれ 4 つのコア(spark.executor.cores=4
)を持つ 2 つのエグゼキュータを実行するには、12 個の仮想 CPU(4 * 3
)を使用します。このバッチの使用量は、リージョン割り当て上限である 24 個の仮想 CPU に対してカウントされます。
デフォルトのバッチ リソース
デフォルト設定でバッチを作成する場合、次の Compute Engine リソースが使用されます。
項目 | 使用されるリソース |
---|---|
仮想 CPU | 12 |
仮想マシン(VM)インスタンス | 3 |
永続ディスク | 1200 GiB |
Cloud Logging
Dataproc Serverless は、バッチ出力とログを Cloud Logging に保存します。Cloud Logging の割り当ては、Dataproc Serverless バッチに適用されます。
オプション サービス
Dataproc Serverless バッチでは、割り当て上限がある次のサービスをオプションで使用できます。
BigQuery
BigQuery に対してデータを読み書きする場合、BigQuery の割り当てが適用されます。
Bigtable
Bigtable に対してデータを読み書きする場合、Bigtable の割り当てが適用されます。