プラットフォームのログを使用してインポート トピックのトラブルシューティングを行う

コンソール

1. Google Cloud コンソールで、[トピック] ページに移動します。

   [トピック] に移動

2. [トピックを作成] をクリックします。

   トピックの詳細ページが開きます。

3. [トピック ID] フィールドに、インポート トピックの ID を入力します。

   トピックの命名の詳細については、命名ガイドラインをご覧ください。

4. [デフォルトのサブスクリプションを追加する] を選択します。

5. [取り込みを有効にする] を選択します。

6. 他のデフォルト設定はそのままにします。
7. [トピックを作成] をクリックします。

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. プラットフォーム ログを有効にするには、--ingestion-log-severity フラグが WARNING または INFO や DEBUG などのより低い重大度レベルに設定されていることを確認します。使用しているトピックに対応する gcloud pubsub topics create コマンドを実行します。

   • Cloud Storage のインポート トピック
   • Azure Event Hubs のインポート トピック
   • Amazon MSK インポート トピック
   • Confluent Cloud インポート トピック

   たとえば、Cloud Storage インポート トピックでプラットフォーム ログを有効にするには、gcloud pubsub topics create コマンドに --ingestion-log-severity=WARNING フラグを含めます。

   gcloud pubsub topics create TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --ingestion-log-severity=WARNING

コンソール

1. Google Cloud コンソールで、[トピック] ページに移動します。

   [トピック] に移動

2. 使用しているインポート トピック（Cloud Storage インポート トピック、Azure Event Hubs インポート トピック、Amazon MSK インポート トピック、Confluent Cloud インポート トピック）をクリックします。

3. [トピックの詳細] ページで、[編集] をクリックします。

4. [プラットフォーム ログを有効にする] を選択します。

5. [更新] をクリックします。

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. プラットフォーム ログを有効にするには、ingestion-log-severity が WARNING または INFO や DEBUG などのより低い重大度レベルに設定されていることを確認します。使用している各トピックの設定を指定するすべてのフラグを指定して、gcloud pubsub topics update コマンドを実行します。

   • Cloud Storage のインポート トピック
     • Cloud Storage インポート トピックの設定が失われないように、トピックを更新するたびに、元の create コマンドと同じ値を必ず含めてください。何かを省略すると、Pub/Sub は設定をデフォルト値にリセットします。
   • Azure Event Hubs のインポート トピック
   • Amazon MSK インポート トピック
   • Confluent Cloud インポート トピック

   たとえば、既存の Cloud Storage インポート トピックのログを更新するには、gcloud pubsub topics create コマンドに --ingestion-log-severity=WARNING フラグを含め、Cloud Storage インポート トピックの設定を指定するすべての可能なフラグ値を含めます。

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=WARNING

コンソール

1. Google Cloud コンソールで、[トピック] ページに移動します。

   [トピック] に移動

2. 使用しているインポート トピック（Cloud Storage インポート トピック、Azure Event Hubs インポート トピック、Amazon MSK インポート トピック、Confluent Cloud インポート トピック）をクリックします。

3. [トピックの詳細] ページで、[編集] をクリックします。

4. [プラットフォーム ログを有効にする] をオフにします。

5. [更新] をクリックします。

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. プラットフォーム ログを無効にするには、ingestion-log-severity が DISABLED に設定されていることを確認します。使用している各トピックの設定を指定するすべてのフラグを指定して、gcloud pubsub topics update コマンドを実行します。

   • Cloud Storage のインポート トピック
     • Cloud Storage インポート トピックの設定が失われないように、トピックを更新するたびに、元の create コマンドと同じ値を必ず含めてください。何かを省略すると、Pub/Sub は設定を元のデフォルト値にリセットします。
   • Azure Event Hubs のインポート トピック
   • Amazon MSK インポート トピック
   • Confluent Cloud インポート トピック

   たとえば、既存の Cloud Storage インポート トピックでログを無効にするには、gcloud pubsub topics update コマンドに --ingestion-log-severity=DISABLED フラグを含め、Cloud Storage インポート トピックの設定を指定する可能性のあるすべてのフラグを含めます。

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=DISABLED

Google Cloud コンソール

1. Google Cloud コンソールで、[ログ エクスプローラ] に移動します。

   [ログ エクスプローラ] に移動

2. Google Cloud プロジェクトを選択します。

3. 必要に応じて、[アップグレード] メニューで、[以前のログビューア] から [ログ エクスプローラ] に切り替えます。

4. [クエリを表示] をクリックします。

5. ログをフィルタリングして、使用しているそれぞれのインポート トピック（Cloud Storage インポート トピック、Azure Event Hubs インポート トピック、Amazon MSK インポート トピック、Confluent Cloud インポート トピック）のエントリのみを表示するには、クエリ フィールドに「resource.type="resource.type=pubsub_topic AND severity=WARNING"」と入力して、[クエリを実行] をクリックします。

6. [クエリ結果] ペインで [日時を編集する] をクリックし、結果を返す期間を変更します。

ログ エクスプローラの使用方法については、ログ エクスプローラの使用をご覧ください。

gcloud CLI

gcloud CLI を使用して、使用しているそれぞれのインポート トピックのプラットフォーム ログを検索するには、gcloud logging read コマンドを使用します。

結果を、使用しているそれぞれのインポート トピック（Cloud Storage インポート トピック、Azure Event Hubs インポート トピック、Amazon MSK インポート トピック、Confluent Cloud インポート トピック）のプラットフォーム ログに限定するフィルタを指定します。

gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"

Cloud Logging API

entries.list Cloud Logging API メソッドを使用します。

Cloud Storage インポート トピックのプラットフォーム ログのみが含まれるように結果をフィルタするには、filter フィールドを使用します。JSON リクエスト オブジェクトのサンプルを次に示します。

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}

Avro の障害

{
  "insertId": "1xnzx8md4768",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "objectGeneration": "1661148924738910",
      "bucket": "bucket_in_avro_format",
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "avroFailureReason": {}
    },
    "topic": "projects/my-project/topics/avro_bucket_topic",
    "errorMessage": "Unable to parse the header of the object. The object won't be ingested."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "project_id": "my-project",
      "topic_id": "avro_bucket_topic"
    }
  },
  "timestamp": "2024-10-07T18:55:45.650103193Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}

テキストの失敗

{
  "insertId": "1kc4puoag",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "bucket": "bucket_in_text_format",
      "apiViolationReason": {},
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "objectGeneration": "1727990048026758"
    },
    "topic": "projects/my-project/topics/large_text_bucket_topic",
    "errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "large_text_bucket_topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2024-10-09T14:09:07.760488386Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}

API 違反

  {
  "insertId": "k3breb2q",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "awsMskFailure": {
      "apiViolationReason": {},
      "clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
      "kafkaTopic": "msk-topic",
      "partitionId": "1",
      "offset": "11"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/msk-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "msk-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}

API 違反

{
  "insertId": "i1fbqnb12",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "azureEventHubsFailure": {
      "apiViolationReason": {},
      "namespace": "my-namespace",
      "eventHub": "my-event-hub",
      "partitionId": "1",
      "offset": "15"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/event-hubs-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "event-hubs-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}

テキストの失敗

{
  "insertId": "i1fbqnb14",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "confluentCloudFailure": {
      "apiViolationReason": {},
      "clusterId": "lma-1x18ae",
      "kafkaTopic": "confluent-topic",
      "partitionId": "1",
      "offset": "19"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/confluent-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "confluent-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}