Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Auf dieser Seite sind die Dataproc API-Kontingentlimits aufgeführt, die auf Projekt- und Regionsebene durchgesetzt werden. Die Kontingente werden alle 60 Sekunden zurückgesetzt.
Informationen zu Strategien zur Clusteroptimierung, mit denen Probleme mit Kontingenten und Ressourcenverfügbarkeit vermieden werden können, finden Sie unter Strategien für Ressourcenverfügbarkeit und Zonen.
In der folgenden Tabelle werden bestimmte und standardmäßige Dataproc API-Kontingenttypen und Kontingentlimits auf Projektebene aufgelistet sowie die Methoden, für die sie gelten.
In der folgenden Tabelle sind zusätzliche Limits für die Gesamtzahl aktiver Vorgänge und Jobs auf Projekt- und Regionsebene aufgeführt.
Kontingenttyp
Limit
Beschreibung
ActiveOperationsPerProjectPerRegion
5.000
Beschränkung der Gesamtzahl gleichzeitiger aktiver Vorgänge aller Typen in einem einzelnen Projekt in einer einzelnen regionalen Datenbank
ActiveJobsPerProjectPerRegion
5.000
Limit für die Gesamtzahl der aktiven Jobs im Status NON_TERMINAL in einem einzelnen Projekt in einer einzelnen regionalen Datenbank
Weitere Google Cloud Kontingente
Dataproc-Cluster verwenden andere Google Cloud -Produkte. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung von Dataproc betreffen. Einige Dienste sind für die Verwendung von Dataproc erforderlich, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable können optional Dataproc verwenden.
Erforderliche Clusterdienste
Die folgenden Dienste mit Kontingentlimits sind zum Erstellen von Dataproc-Clustern erforderlich.
Compute Engine
Dataproc-Cluster verwenden virtuelle Compute Engine-Maschinen. Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für die von Ihnen erstellten Cluster. Wenn Sie beispielsweise einen Cluster mit einem n1-standard-4-Knoten vom Typ -m und zwei n1-standard-4-Knoten vom Typ -w erstellen, verwenden Sie 12 virtuelle CPUs (4 * 3). Diese Cluster-Nutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.
Standardclusterressourcen
Beim Erstellen eines Dataproc-Clusters mit den Standardeinstellungen werden die folgenden Compute Engine-Ressourcen verwendet:
Ressource
Nutzung
Virtuelle CPUs
12
VM-Instanzen
3
Nichtflüchtiger Speicher
1.500 GB
Cloud Logging
Dataproc speichert die Treiberausgabe und die Cluster-Logs in Cloud Logging.
Das Logging-Kontingent gilt für Dataproc-Cluster.
Optionale Clusterdienste
Die folgenden Dienste mit Kontingentlimits können optional mit Dataproc-Clustern verwendet werden.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery gelten die BigQuery-Kontingente.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable gelten die Bigtable-Kontingente.
Ressourcenverfügbarkeit und Zonenstrategien
Um Cluster für die Ressourcenverfügbarkeit zu optimieren und potenzielle Fehler aufgrund von nicht verfügbaren Artikeln zu vermeiden, sollten Sie die folgenden Strategien in Betracht ziehen:
Automatische Zonenplatzierung:Verwenden Sie beim Erstellen von Clustern die automatische Zonenplatzierung. So kann Dataproc eine optimale Zone innerhalb der angegebenen Region auswählen, was die Wahrscheinlichkeit einer erfolgreichen Clustererstellung erhöht.
Regionale Kontingente:Prüfen Sie, ob Ihre regionalen Compute Engine-Kontingente ausreichen, da Kontingente auch bei automatischer Zonenzuweisung erschöpft sein können, wenn die gesamte regionale Kapazität für Ihre Anfragen nicht ausreicht.
Flexibilität beim Maschinentyp:Wenn Sie bei einem bestimmten Maschinentyp immer wieder Engpässe haben, verwenden Sie für Ihren Cluster einen anderen, leichter verfügbaren Maschinentyp.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-22 (UTC)."],[[["\u003cp\u003eDataproc API quota limits are enforced at the project and region level and reset every sixty seconds.\u003c/p\u003e\n"],["\u003cp\u003eExceeding a quota limit results in a \u003ccode\u003eRESOURCE_EXHAUSTED\u003c/code\u003e error, but retrying after one minute is possible due to the quota refresh.\u003c/p\u003e\n"],["\u003cp\u003eThere are specific quota limits for various operations like Autoscaling, Cluster, NodeGroup, GetJob, Job, and Workflow requests, each with their own per-minute-per-project-per-region limit.\u003c/p\u003e\n"],["\u003cp\u003eThe number of concurrent active operations and active jobs within a project and region are limited to 5000 each, and these limits can be increased by opening a Google support ticket.\u003c/p\u003e\n"],["\u003cp\u003eDataproc utilizes other Google Cloud services like Compute Engine and Cloud Storage, which have their own quotas that apply to Dataproc usage, and optional services like BigQuery and Bigtable have quotas that apply when used.\u003c/p\u003e\n"]]],[],null,["# Dataproc quotas\n\nThis page lists Dataproc API quota limits,\nwhich are enforced at the project and region level. The quotas reset every\nsixty seconds (one-minute).\n\nFor cluster optimization strategies to help avoid quota and resource availability\nissues, see\n[Resource availability and zone strategies](#resource_availability_and_zone_strategies).\n| If you run Dataproc Serverless workloads, see [Dataproc Serverless quotas](/dataproc-serverless/quotas). **Important:** Dataproc Serverless quota exhaustion can result in batch and session creation failures. For more information, see [Troubleshoot\n| Dataproc Serverless batch and session creation failures](/dataproc-serverless/docs/support/batch-session-creation-failures).\n| **Handling Dataproc Quota Errors** : If you exceed a Dataproc quota limit, a [RESOURCE_EXHAUSTED](/apis/design/errors#handling_errors) (HTTP code 429) is generated, and the corresponding Dataproc API request will fail. However, since your project's Dataproc quota is refreshed every sixty seconds, you can retry your request after one minute has elapsed following the failure.\n\nThe following table lists the specific and default per-project Dataproc\nAPI quota types, quota limits, and the methods to which they apply.\n\n| **Increasing Resource Quota Limits** : Open the Google Cloud [IAM \\& admin→Quotas](https://console.cloud.google.com/iam-admin/quotas) page, and select the resources you want to modify. Then click **Edit Quotas** at the top of the page to start the quota increase process. If the resources you are trying to increase aren't displayed on the page and the current filtering is \"Quotas with usage,\" change the filtering to \"All quotas\" by toggling the \"Quota type\" drop-down.\n\nThe following table lists additional limits on total active operations and jobs at the project and region level.\n\n| **Increasing limits on the total active operations and jobs**: Open a Google support ticket.\n\nOther Google Cloud quotas\n-------------------------\n\nDataproc clusters use other Google Cloud products. These products\nhave project-level quotas, which include quotas that apply to Dataproc\nuse. Some services are [required](#required_cluster_services) to use Dataproc,\nsuch as [Compute Engine](/compute \"Compute Engine\")\nand [Cloud Storage](/storage \"gcs_name\"). Other services, such as\n[BigQuery](/bigquery \"bigquery_name\") and [Bigtable](/bigtable \"Bigtable\"),\ncan [optionally](#optional_cluster_services) use Dataproc.\n\n### Required cluster services\n\nThe following services, which enforce quota limits, are required to create\nDataproc clusters.\n\n#### Compute Engine\n\nDataproc clusters use Compute Engine virtual machines. The\n[Compute Engine quotas](/compute/docs/resource-quotas \"Compute Engine Quotas\") are split into regional and global limits. These limits apply to\nclusters that you create. For example, the creation of a cluster with one `n1-standard-4`\n*-m* node and two `n1-standard-4` *-w* nodes uses 12 virtual CPUs\n(`4 * 3`). This cluster usage counts against the regional quota limit of 24\nvirtual CPUs.\n| **Free trial quotas:**If you use the Compute Engine free trial, your project will have a limit of 8 CPUs. To increase this limit, you must enable billing on the project.\n\n#### Default clusters resources\n\nWhen you create a Dataproc cluster with default settings,\nthe following Compute Engine resources are used.\n\n#### Cloud Logging\n\nDataproc saves driver output and cluster logs in [Cloud Logging](/logging \"Cloud Logging\").\nThe [Logging quota](/logging/quota-policy \"Cloud Logging quota\")\napplies to Dataproc clusters.\n\n### Optional cluster services\n\nYou can optionally use the following services, which have quota limits,\nwith Dataproc clusters.\n\n#### BigQuery\n\nWhen reading or writing data into BigQuery,\nthe [BigQuery quota](/bigquery/quota-policy \"BigQuery quota\")\napplies.\n\n#### Bigtable\n\nWhen reading or writing data into Bigtable,\nthe [Bigtable quota](/bigtable/quota \"Bigtable quota\")\napplies.\n\nResource availability and zone strategies\n-----------------------------------------\n\nTo optimize clusters for resource availability and mitigate potential stockout\nerrors, consider the following strategies:\n\n- **Auto Zone Placement:** When creating clusters, use\n [auto zone placement](/dataproc/docs/concepts/configuring-clusters/auto-zone). This\n allows Dataproc to select an optimal zone within your specified\n region, improving the chances of successful cluster creation.\n\n- **Regional quotas:** Verify your regional Compute Engine quotas are sufficient\n since quotas can be exhausted even with auto zone placement if the total\n regional capacity is insufficient for your requests.\n\n- **Machine type flexibility:** If you experience persistent stockouts with a\n specific machine type, use a different, more readily available\n machine type for your cluster."]]