プラットフォームのログを使用してインポート トピックのトラブルシューティングを行う

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

Console

1. Google Cloud コンソールの トピック ページに移動します。

   [トピック] に移動

2. [トピックを作成] をクリックします。

   トピックの詳細ページが開きます。

3. [トピック ID] フィールドに、インポート トピックの ID を入力します。

   トピックの命名の詳細については、命名ガイドラインをご覧ください。

4. [デフォルトのサブスクリプションを追加する] を選択します。

5. [取り込みを有効にする] を選択します。

6. 他のデフォルト設定はそのままにします。
7. [トピックを作成] をクリックします。

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. プラットフォーム ログを有効にするには、--ingestion-log-severity フラグが WARNING またはそれより低い重大度レベル（INFO や DEBUG など）に設定されていることを確認します。使用しているトピックごとに gcloud pubsub topics create コマンドを実行します。

   • Cloud Storage インポート トピック
   • Azure Event Hubs インポート トピック
   • Amazon MSK インポート トピック
   • Confluent Cloud のインポート トピック

   たとえば、Cloud Storage インポート トピックでプラットフォーム ログを有効にするには、gcloud pubsub topics create コマンドに --ingestion-log-severity=WARNING フラグを追加します。

   gcloud pubsub topics create TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --ingestion-log-severity=WARNING

Console

1. Google Cloud コンソールの トピック ページに移動します。

   [トピック] に移動

2. 使用しているインポート トピック（Cloud Storage インポート トピック、Azure Event Hubs インポート トピック、Amazon MSK インポート トピック、Confluent Cloud インポート トピック）をクリックします。

3. [トピックの詳細] ページで、[編集] をクリックします。

4. [プラットフォーム ログを有効にする] を選択します。

5. [更新] をクリックします。

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. プラットフォーム ログを有効にするには、ingestion-log-severity が WARNING またはそれより低い重大度レベル（INFO や DEBUG など）に設定されていることを確認します。使用している各トピックの設定を指定するすべてのフラグを指定して、gcloud pubsub topics update コマンドを実行します。

   • Cloud Storage インポート トピック
     • Cloud Storage インポート トピックの設定が失われないようにするには、トピックを更新するたびに、元の create コマンドと同じ値を再度含めるようにしてください。値を省略すると、Pub/Sub は設定をデフォルト値にリセットします。
   • Azure Event Hubs のインポート トピック
   • Amazon MSK インポート トピック
   • Confluent Cloud のインポート トピック

   たとえば、既存の Cloud Storage インポート トピックのログを更新するには、gcloud pubsub topics create コマンドに --ingestion-log-severity=WARNING フラグを含め、Cloud Storage インポート トピックの設定を指定するすべてのフラグ値を含めます。

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=WARNING

Console

1. Google Cloud コンソールの トピック ページに移動します。

   [トピック] に移動

2. 使用しているインポート トピック（Cloud Storage インポート トピック、Azure Event Hubs インポート トピック、Amazon MSK インポート トピック、Confluent Cloud インポート トピック）をクリックします。

3. [トピックの詳細] ページで、[編集] をクリックします。

4. [プラットフォーム ログを有効にする] をオフにします。

5. [更新] をクリックします。

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. プラットフォーム ログを無効にするには、ingestion-log-severity が DISABLED に設定されていることを確認します。使用している各トピックの設定を指定するすべてのフラグを指定して、gcloud pubsub topics update コマンドを実行します。

   • Cloud Storage インポート トピック
     • Cloud Storage インポート トピックの設定が失われないようにするには、トピックを更新するたびに、元の create コマンドと同じ値を再度含めるようにしてください。値を指定しない場合は、Pub/Sub によって設定が元のデフォルト値にリセットされます。
   • Azure Event Hubs のインポート トピック
   • Amazon MSK インポート トピック
   • Confluent Cloud のインポート トピック

   たとえば、既存の Cloud Storage インポート トピックでログを無効にするには、gcloud pubsub topics update コマンドに --ingestion-log-severity=DISABLED フラグを指定し、Cloud Storage インポート トピックの設定を指定するすべてのフラグを指定します。

   gcloud pubsub topics update TOPIC_ID \
       --cloud-storage-ingestion-bucket=BUCKET_NAME \
       --cloud-storage-ingestion-input-format=INPUT_FORMAT \
       --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
       --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
       --cloud-storage-ingestion-match-glob=MATCH_GLOB
       --ingestion-log-severity=DISABLED

Google Cloud コンソール

1. Google Cloud コンソールで、[ログ エクスプローラ] に移動します。

   [ログ エクスプローラ] に移動

2. Google Cloud プロジェクトを選択します。

3. 必要に応じて、[アップグレード] メニューで [以前のログビューア] から [ログ エクスプローラ] に切り替えます。

4. [クエリを表示] をクリックします。

5. ログをフィルタリングして、使用しているインポート トピック（Cloud Storage インポート トピック、Azure Event Hubs インポート トピック、Amazon MSK インポート トピック、Confluent Cloud インポート トピック）のエントリのみを表示するには、クエリ フィールドに「resource.type="resource.type=pubsub_topic AND severity=WARNING"」と入力して [クエリを実行] をクリックします。

6. [クエリ結果] ペインで [日時を編集する] をクリックし、結果を返す期間を変更します。

ログ エクスプローラの使用方法については、ログ エクスプローラの使用をご覧ください。

gcloud CLI

gcloud CLI を使用して、使用している各インポート トピックのプラットフォーム ログを検索するには、gcloud logging read コマンドを使用します。

フィルタを指定して、使用している各インポート トピック（Cloud Storage インポート トピック、Azure Event Hubs インポート トピック、Amazon MSK インポート トピック、Confluent Cloud インポート トピック）のプラットフォーム ログに結果を限定します。

gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"

Cloud Logging API

entries.list Cloud Logging API メソッドを使用します。

Cloud Storage インポート トピックのプラットフォーム ログのみを含むように結果をフィルタするには、filter フィールドを使用します。次の JSON リクエスト オブジェクトの例を示します。

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}

Avro の障害

{
  "insertId": "1xnzx8md4768",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "objectGeneration": "1661148924738910",
      "bucket": "bucket_in_avro_format",
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "avroFailureReason": {}
    },
    "topic": "projects/my-project/topics/avro_bucket_topic",
    "errorMessage": "Unable to parse the header of the object. The object won't be ingested."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "project_id": "my-project",
      "topic_id": "avro_bucket_topic"
    }
  },
  "timestamp": "2024-10-07T18:55:45.650103193Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}

テキストエラー

{
  "insertId": "1kc4puoag",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "bucket": "bucket_in_text_format",
      "apiViolationReason": {},
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "objectGeneration": "1727990048026758"
    },
    "topic": "projects/my-project/topics/large_text_bucket_topic",
    "errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "large_text_bucket_topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2024-10-09T14:09:07.760488386Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}

API 違反

  {
  "insertId": "k3breb2q",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "awsMskFailure": {
      "apiViolationReason": {},
      "clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
      "kafkaTopic": "msk-topic",
      "partitionId": "1",
      "offset": "11"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/msk-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "msk-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}

API 違反

{
  "insertId": "i1fbqnb12",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "azureEventHubsFailure": {
      "apiViolationReason": {},
      "namespace": "my-namespace",
      "eventHub": "my-event-hub",
      "partitionId": "1",
      "offset": "15"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/event-hubs-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "event-hubs-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}

テキストエラー

{
  "insertId": "i1fbqnb14",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "confluentCloudFailure": {
      "apiViolationReason": {},
      "clusterId": "lma-1x18ae",
      "kafkaTopic": "confluent-topic",
      "partitionId": "1",
      "offset": "19"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/confluent-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "confluent-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}