Utilizzare i log della piattaforma per risolvere i problemi relativi all'importazione degli argomenti

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Console

1. Nella console Google Cloud, vai alla pagina Topic.

   Vai ad Argomenti

2. Fai clic su Crea argomento.

   Viene visualizzata la pagina dei dettagli dell'argomento.

3. Nel campo ID argomento, inserisci un ID per l'argomento di importazione.

   Per ulteriori informazioni sugli argomenti relativi alla denominazione, consulta le linee guida per i nomi.

4. Seleziona Aggiungi una sottoscrizione predefinita.

5. Seleziona Attiva importazione.

6. Mantieni le altre impostazioni predefinite.
7. Fai clic su Crea argomento.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Per attivare i log della piattaforma, assicurati che il --ingestion-log-severity flag sia impostato su WARNING o su un livello di gravità inferiore, ad esempio INFO o DEBUG. Esegui il comando gcloud pubsub topics create per il rispettivo argomento che utilizzi:

   • Articolo sull'importazione in Cloud Storage
   • Oggetto di importazione di Azure Event Hubs
   • Argomento di importazione Amazon MSK
   • Oggetto di importazione di Confluent Cloud

   Ad esempio, per attivare i log della piattaforma in un argomento di importazione di Cloud Storage, includi il flag --ingestion-log-severity=WARNING nel comando gcloud pubsub topics create.

   gcloud pubsub topics create TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --ingestion-log-severity=WARNING

Console

1. Nella console Google Cloud, vai alla pagina Topic.

   Vai ad Argomenti

2. Fai clic sul rispettivo argomento di importazione che stai utilizzando (argomento di importazione Cloud Storage, argomento di importazione Azure Event Hubs, argomento di importazione Amazon MSK o argomento di importazione Confluent Cloud).

3. Nella pagina dei dettagli dell'argomento, fai clic su Modifica.

4. Seleziona Attiva i log della piattaforma.

5. Fai clic su Aggiorna.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Per attivare i log della piattaforma, assicurati che ingestion-log-severity sia impostato su WARNING o su un livello di gravità inferiore, ad esempio INFO o DEBUG. Esegui il comando gcloud pubsub topics update con tutti i flag possibili che specificano le impostazioni per il rispettivo argomento che stai utilizzando:

   • Articolo sull'importazione in Cloud Storage
     • Per evitare di perdere le impostazioni per l'argomento di importazione di Cloud Storage, assicurati di includere di nuovo gli stessi valori del comando create originale, ogni volta che aggiorni l'argomento. Se ne ometti una, Pub/Sub reimposta l'impostazione sul valore predefinito.
   • Oggetto di importazione di Azure Event Hubs
   • Argomento di importazione Amazon MSK
   • Oggetto di importazione di Confluent Cloud

   Ad esempio, per aggiornare i log di un argomento di importazione di Cloud Storage esistente, includi il flag --ingestion-log-severity=WARNING nel comando gcloud pubsub topics create e tutti i possibili valori del flag che specificano le impostazioni per un argomento di importazione di Cloud Storage.

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=WARNING

Console

1. Nella console Google Cloud, vai alla pagina Topic.

   Vai ad Argomenti

2. Fai clic sul rispettivo argomento di importazione che stai utilizzando (argomento di importazione Cloud Storage, argomento di importazione Azure Event Hubs, argomento di importazione Amazon MSK o argomento di importazione Confluent Cloud).

3. Nella pagina dei dettagli dell'argomento, fai clic su Modifica.

4. Deseleziona Attiva log della piattaforma.

5. Fai clic su Aggiorna.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Per disattivare i log della piattaforma, assicurati che l'attributo ingestion-log-severity sia impostato su DISABLED. Esegui il comando gcloud pubsub topics update con tutti i flag possibili che specificano le impostazioni per il rispettivo argomento in uso:

   • Articolo sull'importazione in Cloud Storage
     • Per evitare di perdere le impostazioni per l'argomento di importazione di Cloud Storage, assicurati di includere di nuovo gli stessi valori del comando create originale, ogni volta che aggiorni l'argomento. Se ne ometti una, Pub/Sub reimposta l'impostazione sul valore predefinito originale.
   • Oggetto di importazione di Azure Event Hubs
   • Argomento di importazione Amazon MSK
   • Oggetto di importazione di Confluent Cloud

   Ad esempio, per disattivare i log in un argomento di importazione di Cloud Storage esistente, includi il flag --ingestion-log-severity=DISABLED nel comando gcloud pubsub topics update e tutti i possibili flag che specificano le impostazioni per un argomento di importazione di Cloud Storage.

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=DISABLED

Console Google Cloud

1. Nella console Google Cloud, vai a Esplora log.

   Vai a Esplora log

2. Seleziona un progetto Google Cloud.

3. Se necessario, dal menu Esegui l'upgrade, passa da Visualizzatore log legacy a Esplora log.

4. Fai clic sul pulsante di attivazione/disattivazione Mostra query.

5. Per filtrare i log in modo da mostrare solo le voci relative ai rispettivi argomenti di importazione che utilizzi (argomento di importazione Cloud Storage, argomento di importazione Azure Event Hubs, argomento di importazione Amazon MSK o argomento di importazione Confluent Cloud), digita resource.type="resource.type=pubsub_topic AND severity=WARNING" nel campo della query e fai clic su Esegui query.

6. Nel riquadro Risultati delle query, fai clic su Modifica ora per modificare il periodo di tempo per cui restituire i risultati.

Per ulteriori informazioni sull'utilizzo di Esplora log, consulta Utilizzo di Esplora log.

Interfaccia a riga di comando gcloud

Per utilizzare l'interfaccia a riga di comando gcloud per cercare i log della piattaforma per i rispettivi argomenti di importazione che stai utilizzando, utilizza il comando gcloud logging read.

Specifica un filtro per limitare i risultati ai log della piattaforma per i rispettivi argomenti di importazione che utilizzi (argomento di importazione Cloud Storage, argomento di importazione Azure Event Hubs, argomento di importazione Amazon MSK o argomento di importazione Confluent Cloud).

gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"

API Cloud Logging

Utilizza il metodo entries.list dell'API Cloud Logging.

Per filtrare i risultati in modo da includere solo i log della piattaforma per gli argomenti di importazione di Cloud Storage, utilizza il campo filter. Di seguito è riportato un oggetto richiesta JSON di esempio.

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}

Errore Avro

{
  "insertId": "1xnzx8md4768",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "objectGeneration": "1661148924738910",
      "bucket": "bucket_in_avro_format",
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "avroFailureReason": {}
    },
    "topic": "projects/my-project/topics/avro_bucket_topic",
    "errorMessage": "Unable to parse the header of the object. The object won't be ingested."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "project_id": "my-project",
      "topic_id": "avro_bucket_topic"
    }
  },
  "timestamp": "2024-10-07T18:55:45.650103193Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}

Errore di testo

{
  "insertId": "1kc4puoag",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "bucket": "bucket_in_text_format",
      "apiViolationReason": {},
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "objectGeneration": "1727990048026758"
    },
    "topic": "projects/my-project/topics/large_text_bucket_topic",
    "errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "large_text_bucket_topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2024-10-09T14:09:07.760488386Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}

Violazione dell'API

  {
  "insertId": "k3breb2q",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "awsMskFailure": {
      "apiViolationReason": {},
      "clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
      "kafkaTopic": "msk-topic",
      "partitionId": "1",
      "offset": "11"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/msk-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "msk-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}

Violazione dell'API

{
  "insertId": "i1fbqnb12",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "azureEventHubsFailure": {
      "apiViolationReason": {},
      "namespace": "my-namespace",
      "eventHub": "my-event-hub",
      "partitionId": "1",
      "offset": "15"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/event-hubs-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "event-hubs-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}

Errore di testo

{
  "insertId": "i1fbqnb14",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "confluentCloudFailure": {
      "apiViolationReason": {},
      "clusterId": "lma-1x18ae",
      "kafkaTopic": "confluent-topic",
      "partitionId": "1",
      "offset": "19"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/confluent-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "confluent-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}