Écrire des journaux de tâches

Ce document explique comment écrire des journaux de tâches, et comment créer et exécuter un job Batch comportant des journaux de tâches.

Lorsque la journalisation est activée pour une tâche, des journaux de tâches sont générés à partir des messages que les exécutables de la tâche impriment lors de l'exécution. En configurant vos exécutables pour qu'ils écrivent des journaux de tâches, vous pouvez afficher des informations personnalisées dans Cloud Logging, ce qui peut faciliter l'analyse et le dépannage de vos jobs. Pour en savoir plus sur les journaux, consultez Analyser un job à l'aide des journaux.

Avant de commencer

  1. Si vous n'avez jamais utilisé Batch, consultez Premiers pas avec Batch et activez Batch en remplissant les conditions préalables pour les projets et les utilisateurs.

  2. Pour obtenir les autorisations nécessaires pour créer un job qui écrit des journaux, demandez à votre administrateur de vous accorder les rôles IAM suivants :

    Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer et exécuter un job avec des journaux de tâches

Pour créer et exécuter une tâche dont vous souhaitez obtenir les journaux, procédez comme suit lorsque vous créez la tâche :

  1. Activez les journaux pour le job. Cela permet de générer tous les journaux écrits pour le job.

  2. Pour chaque journal de tâches que vous souhaitez que le job possède, ajoutez une commande qui écrit un journal de tâches dans un exécutable. Lors de l'exécution du job, un journal des tâches est généré chaque fois qu'une commande d'écriture d'un journal des tâches est exécutée.

    Pour savoir comment écrire des journaux de tâches, consultez Écrire des journaux de tâches dans ce document.

Écrire des journaux de tâches

Un journal des tâches est créé pour tout contenu que les exécutables d'un job impriment dans le flux de sortie standard (stdout) ou le flux d'erreur standard (stderr) lors de l'exécution. Par exemple, vous pouvez écrire des journaux de tâches à l'aide de la commande echo. La structure du journal des tâches obtenu varie en fonction de la façon dont vous avez mis en forme le contenu imprimé. Plus précisément, vous pouvez écrire chaque journal de tâches à l'aide de l'une des options suivantes :

Écrire un journal non structuré en imprimant une chaîne

Les journaux non structurés vous permettent de définir un message, qui est une chaîne qui apparaît dans le champ textPayload du journal.

Pour écrire un journal non structuré, imprimez une chaîne non formatée, comme indiqué dans les sections suivantes.

Exemple de journal non structuré

Par exemple, supposons que vous souhaitiez un journal des tâches contenant la chaîne suivante :

MESSAGE

L'impression de cette chaîne d'exemple génère un journal des tâches semblable à ce qui suit :

insertId: ...
labels: ...
logName: projects/PROJECT_ID/logs/batch_task_logs
receiveTimestamp: ...
resource: ...
severity: INFO
textPayload: MESSAGE
timestamp: ...

Remplacez les éléments suivants :

  • MESSAGE : message, qui est une chaîne résumant l'objectif du journal des tâches, par exemple The summary for a task log..
  • PROJECT_ID : ID de projet de votre projet.

Vous pouvez imprimer une chaîne à l'aide de différentes méthodes, par exemple en incluant la commande echo suivante dans un exécutable :

echo MESSAGE

Pour obtenir des exemples complets de jobs qui utilisent la commande echo pour écrire des journaux de tâches non structurés, consultez Créer et exécuter un job de base.

Écrire un journal structuré en imprimant un objet JSON

Les journaux structurés vous permettent de définir les éléments suivants :

Pour écrire un journal structuré, imprimez un objet JSON. Les sections suivantes montrent comment définir un journal avec certains champs standards et champs personnalisés. Pour savoir comment définir un journal avec des événements d'état personnalisés, consultez également Configurer des événements d'état personnalisés.

Exemple de journal structuré

Par exemple, supposons que vous souhaitiez un journal des tâches contenant les informations de l'objet JSON suivant, qui définit un message, un niveau de gravité et deux champs personnalisés.

{
  "message": "MESSAGE"
  "severity": "SEVERITY"
  "CUSTOM_FIELD_1": CUSTOM_VALUE_1
  "CUSTOM_FIELD_2": CUSTOM_VALUE_2
}

L'impression de cet objet JSON génère un journal des tâches semblable à ce qui suit :

insertId: ...
jsonPayload:
  "CUSTOM_FIELD_1": CUSTOM_VALUE_1
  "CUSTOM_FIELD_2": CUSTOM_VALUE_2
  message: MESSAGE
labels: ...
logName: projects/PROJECT_ID/logs/batch_task_logs
receiveTimestamp: ...
resource: ...
severity: SEVERITY
timestamp: ...

Remplacez les éléments suivants :

  • MESSAGE : message, qui est une chaîne résumant l'objectif du journal des tâches, par exemple The summary for a task log..
  • SEVERITY : gravité du journal, que vous pouvez utiliser comme filtre lorsque vous affichez les journaux d'un job. La gravité doit être l'une des énumérations LogSeverity converties en chaîne de caractères avec uniquement la première lettre en majuscule. Par exemple, pour l'énumération ERROR, spécifiez Error.
  • CUSTOM_FIELD_1 et CUSTOM_FIELD_2 : noms des champs personnalisés du journal des tâches (par exemple, custom_field_1 et custom_field_2).
  • CUSTOM_VALUE_1 et CUSTOM_VALUE_2 : valeurs des champs personnalisés du journal des tâches, qui peuvent être de différents types de données et nécessiter des guillemets (par exemple, "the first custom field" et 2).
  • PROJECT_ID : ID de projet de votre projet.

Vous pouvez imprimer cet exemple d'objet JSON à l'aide de différentes méthodes. Par exemple, les exemples suivants illustrent certaines des méthodes possibles pour imprimer l'exemple d'objet JSON :

  • Imprimez une chaîne équivalente à l'aide de la commande echo.

  • Imprimez un dictionnaire équivalent à l'aide de Python.

commande echo

Pour imprimer l'exemple d'objet JSON à l'aide de la commande echo et d'une chaîne équivalente, incluez la commande suivante dans un exécutable :

echo '{\"message\":\"MESSAGE\", \"severity\":\"SEVERITY\", \"CUSTOM_FIELD_1\":CUSTOM_VALUE_1, \"CUSTOM_FIELD_2\":CUSTOM_VALUE_2}'

Par exemple, supposons que vous créiez et exécutiez un job avec le fichier exécutable suivant :

"script": {
  "text": "echo '{\"message\":\"The message for a structured log.\", \"severity\":\"Error\", \"custom_field_1\":\"the first custom field\", \"custom_field_2\":2}'"
}

Le journal des tâches obtenu ressemble à ce qui suit :

insertId: ...
jsonPayload:
  custom_field_1: the first custom field
  custom_field_2: 2
  message: The summary for a structured task log with error severity.
labels: ...
logName: projects/PROJECT_ID/logs/batch_task_logs
receiveTimestamp: ...
resource: ...
severity: ERROR
timestamp: ...

Python

Pour imprimer l'exemple d'objet JSON à l'aide de Python et d'un dictionnaire équivalent, incluez l'exemple suivant dans un exécutable :

#!/usr/bin/env python3

import json

entry = dict(
    severity="SEVERITY",
    message="MESSAGE",
    CUSTOM_FIELD_1=CUSTOM_VALUE_1,
    CUSTOM_FIELD_2=CUSTOM_VALUE_2,
)
print(json.dumps(entry))

Par exemple, supposons que vous créiez et exécutiez un job avec le fichier exécutable suivant :

"script": {
  "text": "#!/usr/bin/env python3\n\nimport json\n\nentry = dict(\nseverity=\"Error\",\nmessage=\"The summary for a structured task log with error severity.\",\ncustom_field_1=\"the first custom field\",\ncustom_field_2=2,\n)\nprint(json.dumps(entry))"
}

Le journal des tâches obtenu ressemble à ce qui suit :

insertId: ...
jsonPayload:
  custom_field_1: the first custom field
  custom_field_2: 2
  message: The summary for a structured task log with error severity.
labels: ...
logName: projects/PROJECT_ID/logs/batch_task_logs
receiveTimestamp: ...
resource: ...
severity: ERROR
timestamp: ...

Étapes suivantes