Résoudre les problèmes de retard des tâches

Cette page répertorie les causes courantes des retards de planification des tâches Dataproc, ainsi que des informations pour vous aider à les éviter.

Présentation

Voici les raisons courantes pour lesquelles une tâche Dataproc est retardée (limitée):

  • Trop de tâches en cours
  • Utilisation élevée de la mémoire système
  • Mémoire disponible insuffisante
  • Limitation du débit dépassée

En règle générale, le message de retard de la tâche est émis au format suivant:

Awaiting execution [SCHEDULER_MESSAGE]"

Les sections suivantes fournissent des causes et des solutions possibles pour des scénarios de retard de tâche spécifiques.

Trop de tâches en cours

Message du planificateur:

Throttling job ### (and maybe others): Too many running jobs (current=xx max=xx)

Causes:

Le nombre maximal de tâches simultanées en fonction de la mémoire de la VM principale est dépassé (le pilote de tâche s'exécute sur la VM principale du cluster Dataproc). Par défaut, Dataproc réserve 3,5 Go de mémoire pour les applications et autorise un job par Go.

Exemple: Le type de machine n1-standard-4 dispose de 15GB Go de mémoire. Avec 3.5GB réservé aux frais généraux, 11.5GB reste. Arrondi à l'entier inférieur, 11GB est disponible pour un maximum de 11 tâches simultanées.

Solutions :

  1. Surveillez les métriques de journal, telles que l'utilisation du processeur et de la mémoire, pour estimer les exigences de la tâche.

  2. Lorsque vous créez un cluster de tâches:

    1. Utilisez un type de machine avec une mémoire plus importante pour la VM maître du cluster.

    2. Si le nombre de 1GB par tâche est supérieur à ce dont vous avez besoin, définissez la propriété de cluster dataproc:dataproc.scheduler.driver-size-mb sur une valeur inférieure à 1024.

    3. Définissez la propriété de cluster dataproc:dataproc.scheduler.max-concurrent-jobs sur une valeur adaptée aux exigences de votre tâche.

Mémoire système élevée ou mémoire disponible insuffisante

Message du planificateur:

Throttling job xxx_____JOBID_____xxx (and maybe others): High system memory usage (current=xx%)

Throttling job xxx_____JOBID_____xxx (and maybe others): Not enough free memory (current=xx min=xx)

Causes:

Par défaut, l'agent Dataproc limite l'envoi de tâches lorsque l'utilisation de la mémoire atteint 90% (0.9)). Lorsque cette limite est atteinte, de nouvelles tâches ne peuvent pas être planifiées.

La quantité de mémoire libre nécessaire pour planifier une autre tâche sur le cluster n'est pas suffisante.

Solution :

  1. Lorsque vous créez un cluster:

    1. Augmentez la valeur de la propriété de cluster dataproc:dataproc.scheduler.max-memory-used. Par exemple, définissez-le au-dessus de la valeur par défaut 0.90 sur 0.95.
    2. Augmentez la valeur de la propriété de cluster dataproc.scheduler.min-free-memory.mb. La valeur par défaut est de 256 Mo.

Fréquence maximale des tâches dépassée

Message du planificateur:

Throttling job xxx__JOBID___xxx (and maybe others): Rate limit

Causes:

L'agent Dataproc a atteint la limite de taux d'envoi de tâches.

Solutions :

  1. Par défaut, l'envoi de tâches par l'agent Dataproc est limité à 1.0 QPS, que vous pouvez définir sur une autre valeur lorsque vous créez un cluster avec la propriété de cluster dataproc:dataproc.scheduler.job-submission-rate.

Afficher l'état de la tâche.

Pour afficher l'état et les détails d'une tâche, consultez la section Surveiller et déboguer des tâches.