Ce document liste les quotas qui s'appliquent au catalogue universel Dataplex.
Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité de ressourcesGoogle Cloud que votre Google Cloud projet peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, les quotas peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Les quotas protègent la communauté des utilisateurs deGoogle Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres Google Cloud ressources.
Le système Cloud Quotas effectue les opérations suivantes :
- Surveille votre consommation de Google Cloud produits et services
- Limite votre consommation de ces ressources
- Permet de demander des modifications de la valeur du quota et d'automatiser les ajustements de quota
Dans la plupart des cas, lorsque vous tentez d'utiliser plus d'une ressource que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.
Les quotas s'appliquent généralement au niveau du Google Cloud projet. Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud , les quotas sont partagés entre toutes les applications et adresses IP.
Des limites système s'appliquent également aux ressources du catalogue universel Dataplex. Les limites système ne peuvent pas être modifiées.
Le catalogue universel Dataplex applique des quotas au nombre de requêtes API au cours d'une période spécifique et au nombre de ressources pouvant être créées dans un projet. Les quotas vous protègent contre les pics d'utilisation imprévus et les services surchargés. Découvrez pourquoi les quotas sont appliqués.
Vos besoins en quota peuvent augmenter à mesure que vous utilisez Dataplex Universal Catalog. Si un quota n'est pas suffisant pour répondre à vos besoins ou si vous prévoyez une augmentation de l'utilisation, vous pouvez demander une augmentation de quota de manière proactive.
Quotas pour les requêtes de l'API Dataplex
L'API Dataplex applique des quotas pour la gestion des ressources Dataplex Universal Catalog et les requêtes de recherche à différents niveaux, quelle que soit leur origine. Cela inclut les requêtes provenant directement d'appels d'API, de bibliothèques clientes, de la Google Cloud CLI et de la console. Google Cloud
Les quotas suivants s'appliquent aux requêtes du catalogue universel Dataplex:
| Quota | Par défaut |
|---|---|
| Requêtes de lecture pour les entrées et les aspects par projet et par région, par minute | 6000 |
| Requêtes d'écriture pour les entrées et les aspects par projet et par région, par minute | 1500 |
| Requêtes de lecture pour les types d'aspects, les types d'entrées et les groupes d'entrées par projet, par utilisateur et par minute | 100 |
| Requêtes de lecture pour les types d'aspects, les types d'entrées et les groupes d'entrées par projet et par minute | 200 |
| Requêtes d'écriture pour les types d'aspects, les types d'entrées et les groupes d'entrées par projet, par utilisateur et par minute | 10 |
| Requêtes d'écriture pour les types d'aspects, les types d'entrées et les groupes d'entrées par projet et par minute | 20 |
| Requêtes de recherche par projet, par utilisateur et par minute | 900 |
| Requêtes de recherche par projet et par minute | 1200 |
| Requêtes de recherche par organisation et par minute | 2400 |
| Requêtes de recherche par organisation et par jour | 345600 |
| Requêtes de lecture pour les tâches de métadonnées par projet et par région, par minute | 400 |
| Requêtes de lecture pour les tâches de métadonnées par projet, par utilisateur, par région et par minute | 200 |
| Requêtes d'écriture pour les tâches de métadonnées par projet et par région, par minute | 20 |
| Requêtes d'écriture pour les tâches de métadonnées par projet, par utilisateur, par région et par minute | 10 |
| Quantité de métadonnées exportées par les tâches d'exportation de métadonnées, par organisation et par jour | 10 Go |
|
Quantité de métadonnées analysées pour l'exportation par les tâches d'exportation de métadonnées, par organisation et par jour Ce quota évalue le volume total de métadonnées qui existe dans l'organisation, les projets ou les groupes d'entrées concernés par la tâche d'exportation des métadonnées. |
100 Go |
Pour chaque requête du catalogue universel Dataplex listée dans le tableau suivant, un quota est appliqué au niveau du projet et du projet par utilisateur.
| Quota | Examples |
|---|---|
| Requêtes de lecture pour la gestion des ressources | Obtenir un lac, lister les zones |
| Requêtes d'écriture pour la gestion des ressources | Créer un lac, supprimer un élément |
| Obtenir des requêtes de métadonnées | Obtenir une entité, obtenir une partition |
| Requêtes de listage pour les métadonnées | Lister les entités, les partitions |
| Écrire des requêtes pour les métadonnées | Mettre à jour une entité, supprimer une partition |
| Lire les requêtes de ressources de tâche et de job | Obtenir une tâche, lister les tâches |
| Écrire des requêtes pour les ressources de tâche et d'ordre | Créer une tâche, annuler une tâche |
| Définir des requêtes de stratégie IAM | Définir une stratégie IAM |
Quotas pour les requêtes de l'API Data Lineage
L'API Data Lineage applique des quotas pour les éléments suivants:
- Requêtes de lecture qui ne renvoient que les données
- Requêtes d'écriture qui créent ou modifient les données
- Créer une traçabilité ouverte
Les quotas suivants s'appliquent aux requêtes de lignée de données:
| Quota | Valeur par défaut |
|---|---|
| Requêtes de lecture par projet, par utilisateur, par région et par minute | 1000 |
| Requêtes d'écriture par projet, par utilisateur et par région, par minute | 6000 |
| Requêtes Lineage ouvertes par projet, par utilisateur, par région et par minute | 3000 |
Quotas de ressources
Le quota de ressources est appliqué au niveau du projet pour les types de ressources suivants: lac, zone, élément, tâche à la demande, tâche récurrente. Vous pouvez vérifier votre utilisation actuelle du quota du catalogue universel Dataplex sur la page Quotas de la console Google Cloud .
Demander une augmentation du quota
Dans la console Google Cloud , accédez à la page Quotas.
Sélectionnez le quota que vous souhaitez modifier.
Cliquez sur Autres actions > Modifier le quota.
Saisissez la nouvelle valeur de quota et une description de la demande.
Cliquez sur Suivant.
Saisissez les coordonnées.
Cliquez sur Envoyer la requête.
Pour ajuster la plupart des quotas, utilisez la console Google Cloud . Pour en savoir plus, consultez la section Demander un ajustement de quota.
Dépendances des quotas
Votre utilisation du catalogue universel Dataplex peut impliquer d'autres Google Cloud produits. Par exemple, la découverte de données nécessite d'appeler les API Cloud Storage et/ou BigQuery pour interagir avec les ressources sous-jacentes. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas associés à l'utilisation du catalogue universel Dataplex.
Pages de quota d'autres produits que vous pouvez utiliser avec Dataplex Universal Catalog:
Cette liste n'est pas exhaustive.
Limites
Les limites suivantes s'appliquent à Dataplex Universal Catalog:
| Limite | Valeur |
|---|---|
| Taille d'une requête d'entrée et d'aspects (y compris l'aspect du schéma) | 2 Mo |
| Longueur d'un ID d'entrée | 4 000 caractères |
| Longueur d'un nom complet dans une entrée | 4 000 caractères |
| Longueur du nom à afficher de la source d'une entrée | 500 caractères |
| Longueur de la description de la source d'une entrée | 2 000 caractères |
| Longueur de la ressource de la source d'entrée dans une entrée | 4 000 caractères |
| Longueur du système source de l'entrée dans une entrée | 64 characters |
| Longueur de la plate-forme de la source d'entrée dans une entrée | 64 characters |
| Longueur des libellés de source d'entrée dans une entrée | 128 caractères pour chaque clé et valeur |
| Taille du contenu JSON dans un aspect (sauf l'aspect de schéma) | 120 ko |
| Taille totale d'une entrée | 5 Mo |
| Nombre maximal d'aspects dans une entrée | 10 000 |
| Longueur du nom à afficher du type d'entrée, du type d'aspect et du groupe d'entrées | 256 |
| Longueur de la description du type d'entrée, du type d'aspect et du groupe d'entrée | 1 024 |
| Longueur du nom du champ dans un modèle de type d'aspect | 63 |
| Nombre maximal de types d'aspects obligatoires dans un type d'entrée | 20 |
| Nombre maximal de valeurs d'énumération dans un modèle de type d'aspect | 1 024 |
| Nombre maximal d'éléments dans les résultats de recherche du catalogue universel Dataplex | 500 |