Usar registros da plataforma para resolver problemas de importação

Console

1. No console Google Cloud , acesse a página Tópicos.

   Acesse Tópicos

2. Selecione Criar tópico.

   A página de detalhes do tópico é aberta.

3. No campo ID do tópico, insira um ID para o tópico de importação.

   Para mais informações sobre como nomear tópicos, consulte as diretrizes de nomenclatura.

4. Selecione Adicionar uma assinatura padrão.

5. Selecione Ativar ingestão.

6. Mantenha as outras configurações padrão.
7. Selecione Criar tópico.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Para ativar os registros da plataforma, verifique se a flag --ingestion-log-severity está definida como WARNING ou um nível de gravidade menor, como INFO ou DEBUG. Execute o comando gcloud pubsub topics create para o tópico que você está usando:

   • Tópico sobre importação do Cloud Storage
   • Tópico de importação do Azure Event Hubs
   • Tópico de importação do Amazon MSK
   • Tópico de importação do Confluent Cloud

   Por exemplo, para ativar os registros da plataforma em um tópico de importação do Cloud Storage, inclua a flag --ingestion-log-severity=WARNING no comando gcloud pubsub topics create.

   gcloud pubsub topics create TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --ingestion-log-severity=WARNING

Console

1. No console Google Cloud , acesse a página Tópicos.

   Acesse Tópicos

2. Clique no tópico de importação que você está usando (Cloud Storage, Azure Event Hubs, Amazon MSK ou Confluent Cloud).

3. Na página de detalhes do tópico, clique em Editar.

4. Selecione Ativar registros da plataforma.

5. Clique em Atualizar.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Para ativar os registros da plataforma, verifique se a gravidade do registro de ingestão está definida como WARNING ou um nível de gravidade menor, como INFO ou DEBUG. Execute o comando gcloud pubsub topics update com todas as flags possíveis que especificam as configurações do tópico respectivo que você está usando:

   • Tópico de importação do Cloud Storage
     • Para não perder as configurações do tópico de importação do Cloud Storage, inclua os mesmos valores que você tinha no comando create original sempre que atualizar o tópico. Se você deixar algo de fora, o Pub/Sub vai redefinir a configuração para o valor padrão.
   • Tópico de importação do Azure Event Hubs
   • Tópico de importação do Amazon MSK
   • Tópico de importação do Confluent Cloud

   Por exemplo, para atualizar os registros em um tópico de importação do Cloud Storage, inclua a flag --ingestion-log-severity=WARNING no comando gcloud pubsub topics create e todos os valores possíveis de flags que especificam configurações para um tópico de importação do Cloud Storage.

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=WARNING

Console

1. No console Google Cloud , acesse a página Tópicos.

   Acesse Tópicos

2. Clique no tópico de importação que você está usando (Cloud Storage, Azure Event Hubs, Amazon MSK ou Confluent Cloud).

3. Na página de detalhes do tópico, clique em Editar.

4. Desmarque Ativar registros da plataforma.

5. Clique em Atualizar.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Para desativar os registros da plataforma, verifique se a gravidade do registro de ingestão está definida como DISABLED. Execute o comando gcloud pubsub topics update com todas as flags possíveis que especificam as configurações do tópico respectivo que você está usando:

   • Tópico de importação do Cloud Storage
     • Para não perder as configurações do tópico de importação do Cloud Storage, inclua os mesmos valores que você tinha no comando create original sempre que atualizar o tópico. Se você deixar algo de fora, o Pub/Sub vai redefinir a configuração para o valor padrão original.
   • Tópico de importação do Azure Event Hubs
   • Tópico de importação do Amazon MSK
   • Tópico de importação do Confluent Cloud

   Por exemplo, para desativar os registros em um tópico de importação do Cloud Storage, inclua a flag --ingestion-log-severity=DISABLED no comando gcloud pubsub topics update e todas as flags possíveis que especificam as configurações de um tópico de importação do Cloud Storage.

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=DISABLED

Google Cloud console

1. No console Google Cloud , acesse o Explorador de registros.

   Acessar o Explorador de registros

2. Selecionar um projeto do Google Cloud

3. Se necessário, no menu Upgrade, alterne de Leitor de registros legados para Explorador de registros.

4. Clique no botão de alternância Mostrar consulta.

5. Para filtrar seus registros e mostrar apenas entradas dos respectivos tópicos de importação que você está usando (tópico de importação do Cloud Storage, do Azure Event Hubs, do Amazon MSK ou do Confluent Cloud), digite resource.type="resource.type=pubsub_topic AND severity=WARNING" no campo de consulta e clique em Executar consulta.

6. No painel Resultados da consulta, clique em Editar hora para alterar o período de retorno dos resultados.

Para mais informações sobre como usar o Explorador de registros, consulte Como usar o Explorador de registros.

CLI da gcloud

Para usar a CLI gcloud e pesquisar registros da plataforma sobre os respectivos tópicos de importação que você está usando, use o comando gcloud logging read.

Especifique um filtro para limitar os resultados aos registros da plataforma dos respectivos tópicos de importação que você está usando (tópico de importação do Cloud Storage, do Azure Event Hubs, do Amazon MSK ou do Confluent Cloud).

gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"

API Cloud Logging

Use o método entries.list da API Cloud Logging.

Para filtrar os resultados e incluir apenas registros da plataforma para tópicos de importação do Cloud Storage, use o campo filter. Confira abaixo um exemplo de objeto de solicitação JSON.

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}

Falha no Avro

{
  "insertId": "1xnzx8md4768",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "objectGeneration": "1661148924738910",
      "bucket": "bucket_in_avro_format",
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "avroFailureReason": {}
    },
    "topic": "projects/my-project/topics/avro_bucket_topic",
    "errorMessage": "Unable to parse the header of the object. The object won't be ingested."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "project_id": "my-project",
      "topic_id": "avro_bucket_topic"
    }
  },
  "timestamp": "2024-10-07T18:55:45.650103193Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}

Falha no texto

{
  "insertId": "1kc4puoag",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "bucket": "bucket_in_text_format",
      "apiViolationReason": {},
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "objectGeneration": "1727990048026758"
    },
    "topic": "projects/my-project/topics/large_text_bucket_topic",
    "errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "large_text_bucket_topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2024-10-09T14:09:07.760488386Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}

Violação da API

  {
  "insertId": "k3breb2q",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "awsMskFailure": {
      "apiViolationReason": {},
      "clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
      "kafkaTopic": "msk-topic",
      "partitionId": "1",
      "offset": "11"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/msk-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "msk-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}

Violação da API

{
  "insertId": "i1fbqnb12",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "azureEventHubsFailure": {
      "apiViolationReason": {},
      "namespace": "my-namespace",
      "eventHub": "my-event-hub",
      "partitionId": "1",
      "offset": "15"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/event-hubs-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "event-hubs-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}

Falha no texto

{
  "insertId": "i1fbqnb14",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "confluentCloudFailure": {
      "apiViolationReason": {},
      "clusterId": "lma-1x18ae",
      "kafkaTopic": "confluent-topic",
      "partitionId": "1",
      "offset": "19"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/confluent-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "confluent-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}