Utiliser les journaux de la plate-forme pour résoudre les problèmes liés aux sujets d'importation

Console

1. Dans la console Google Cloud , accédez à la page Sujets.

   Accéder aux sujets

2. Cliquez sur Create topic (Créer un sujet).

   La page des détails du thème s'ouvre.

3. Dans le champ ID du sujet, saisissez un ID pour votre sujet d'importation.

   Pour en savoir plus sur l'attribution de noms aux thèmes, consultez les consignes de dénomination.

4. Sélectionnez Ajouter un abonnement par défaut.

5. Sélectionnez Activer l'ingestion.

6. Conservez les autres paramètres par défaut.
7. Cliquez sur Create topic (Créer un sujet).

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Pour activer les journaux de plate-forme, assurez-vous que le flag --ingestion-log-severity est défini sur WARNING ou sur un niveau de gravité inférieur, tel que INFO ou DEBUG. Exécutez la commande gcloud pubsub topics create pour le sujet que vous utilisez :

   • Importer des thèmes Cloud Storage
   • Importer un sujet Azure Event Hubs
   • Sujet d'importation Amazon MSK
   • Importer un thème Confluent Cloud

   Par exemple, pour activer les journaux de plate-forme sur un sujet d'importation Cloud Storage, incluez l'indicateur --ingestion-log-severity=WARNING dans votre commande gcloud pubsub topics create.

   gcloud pubsub topics create TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --ingestion-log-severity=WARNING

Console

1. Dans la console Google Cloud , accédez à la page Sujets.

   Accéder aux sujets

2. Cliquez sur la rubrique d'importation que vous utilisez (rubrique d'importation Cloud Storage, rubrique d'importation Azure Event Hubs, rubrique d'importation Amazon MSK ou rubrique d'importation Confluent Cloud).

3. Sur la page des détails de la rubrique, cliquez sur Modifier.

4. Sélectionnez Activer les journaux de plate-forme.

5. Cliquez sur Mettre à jour.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Pour activer les journaux de plate-forme, assurez-vous que le niveau de gravité des journaux d'ingestion est défini sur WARNING ou sur un niveau de gravité inférieur, tel que INFO ou DEBUG. Exécutez la commande gcloud pubsub topics update avec toutes les options possibles qui spécifient les paramètres du thème que vous utilisez :

   • Thème d'importation Cloud Storage
     • Pour éviter de perdre vos paramètres pour l'importation Cloud Storage, veillez à réinclure les mêmes valeurs que celles de votre commande create d'origine chaque fois que vous mettez à jour la rubrique. Si vous oubliez quelque chose, Pub/Sub rétablit la valeur par défaut du paramètre.
   • Importer un sujet Azure Event Hubs
   • Sujet d'importation Amazon MSK
   • Importer un thème Confluent Cloud

   Par exemple, pour mettre à jour les journaux d'un sujet d'importation Cloud Storage existant, incluez l'indicateur --ingestion-log-severity=WARNING dans votre commande gcloud pubsub topics create et incluez toutes les valeurs d'indicateur possibles qui spécifient les paramètres d'un sujet d'importation Cloud Storage.

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=WARNING

Console

1. Dans la console Google Cloud , accédez à la page Sujets.

   Accéder aux sujets

2. Cliquez sur la rubrique d'importation que vous utilisez (rubrique d'importation Cloud Storage, rubrique d'importation Azure Event Hubs, rubrique d'importation Amazon MSK ou rubrique d'importation Confluent Cloud).

3. Sur la page des détails de la rubrique, cliquez sur Modifier.

4. Désélectionnez Activer les journaux de plate-forme.

5. Cliquez sur Mettre à jour.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Pour désactiver les journaux de plate-forme, assurez-vous que la gravité des journaux d'ingestion est définie sur DISABLED. Exécutez la commande gcloud pubsub topics update avec toutes les options possibles qui spécifient les paramètres du thème que vous utilisez :

   • Thème d'importation Cloud Storage
     • Pour éviter de perdre vos paramètres pour l'importation Cloud Storage, veillez à réinclure les mêmes valeurs que celles de votre commande create d'origine chaque fois que vous mettez à jour la rubrique. Si vous oubliez quelque chose, Pub/Sub rétablit la valeur par défaut d'origine du paramètre.
   • Importer un sujet Azure Event Hubs
   • Sujet d'importation Amazon MSK
   • Importer un thème Confluent Cloud

   Par exemple, pour désactiver les journaux sur un sujet d'importation Cloud Storage existant, incluez l'indicateur --ingestion-log-severity=DISABLED dans votre commande gcloud pubsub topics update et incluez tous les indicateurs possibles qui spécifient les paramètres d'un sujet d'importation Cloud Storage.

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=DISABLED

Console Google Cloud

1. Dans la console Google Cloud , accédez à l'explorateur de journaux.

   Accéder à l'explorateur de journaux

2. Sélectionnez un projet Google Cloud .

3. Si nécessaire, dans le menu Mettre à niveau, passez de l'ancienne visionneuse de journaux à l'explorateur de journaux.

4. Cliquez sur le bouton Afficher la requête.

5. Pour filtrer vos journaux afin de n'afficher que les entrées des thèmes d'importation respectifs que vous utilisez (thème d'importation Cloud Storage, thème d'importation Azure Event Hubs, thème d'importation Amazon MSK ou thème d'importation Confluent Cloud), saisissez resource.type="resource.type=pubsub_topic AND severity=WARNING" dans le champ de requête, puis cliquez sur Exécuter la requête.

6. Dans le volet Résultats de la requête, cliquez sur Modifier l'heure pour modifier la période pendant laquelle les résultats doivent être renvoyés.

Pour en savoir plus sur l'utilisation de l'explorateur de journaux, consultez la page Utiliser l'explorateur de journaux.

CLI gcloud

Pour rechercher des journaux de plate-forme pour les thèmes d'importation que vous utilisez à l'aide de gcloud CLI, utilisez la commande gcloud logging read.

Spécifiez un filtre pour limiter les résultats aux journaux de plate-forme pour les thèmes d'importation que vous utilisez (thème d'importation Cloud Storage, thème d'importation Azure Event Hubs, thème d'importation Amazon MSK ou thème d'importation Confluent Cloud).

gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"

API Cloud Logging

Utilisez la méthode API Cloud Logging entries.list.

Pour filtrer vos résultats afin de n'inclure que les journaux de plate-forme pour les thèmes d'importation Cloud Storage, utilisez le champ filter. Vous trouverez ci-dessous un exemple d'objet de requête JSON.

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}

Échec Avro

{
  "insertId": "1xnzx8md4768",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "objectGeneration": "1661148924738910",
      "bucket": "bucket_in_avro_format",
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "avroFailureReason": {}
    },
    "topic": "projects/my-project/topics/avro_bucket_topic",
    "errorMessage": "Unable to parse the header of the object. The object won't be ingested."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "project_id": "my-project",
      "topic_id": "avro_bucket_topic"
    }
  },
  "timestamp": "2024-10-07T18:55:45.650103193Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}

Échec du texte

{
  "insertId": "1kc4puoag",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "bucket": "bucket_in_text_format",
      "apiViolationReason": {},
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "objectGeneration": "1727990048026758"
    },
    "topic": "projects/my-project/topics/large_text_bucket_topic",
    "errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "large_text_bucket_topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2024-10-09T14:09:07.760488386Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}

Non-respect des règles de l'API

  {
  "insertId": "k3breb2q",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "awsMskFailure": {
      "apiViolationReason": {},
      "clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
      "kafkaTopic": "msk-topic",
      "partitionId": "1",
      "offset": "11"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/msk-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "msk-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}

Non-respect des règles de l'API

{
  "insertId": "i1fbqnb12",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "azureEventHubsFailure": {
      "apiViolationReason": {},
      "namespace": "my-namespace",
      "eventHub": "my-event-hub",
      "partitionId": "1",
      "offset": "15"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/event-hubs-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "event-hubs-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}

Échec du texte

{
  "insertId": "i1fbqnb14",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "confluentCloudFailure": {
      "apiViolationReason": {},
      "clusterId": "lma-1x18ae",
      "kafkaTopic": "confluent-topic",
      "partitionId": "1",
      "offset": "19"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/confluent-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "confluent-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}