マネージド Cloud Service Mesh の問題の解決

このドキュメントでは、istio.istio-system によって Pod が挿入される際にインストール ツールで生成される HTTP 400 ステータス コードのエラーやクラスタ メンバーシップ エラーなどの、Cloud Service Mesh の一般的な問題とその解決方法について説明します。

Cloud Service Mesh のトラブルシューティングについてサポートが必要な場合は、サポートの利用をご覧ください。

リビジョンが異常（エラー）として報告される

マネージド Cloud Service Mesh のサービス エージェントに必要な Identity and Access Management（IAM）ロールがない場合、一般的な Revision(s) reporting unhealthy エラーが表示されることがあります。これは通常、Terraform、Puppet、CI/CD の再構成によってロールが取り消された場合に発生します。

このエラーのトラブルシューティング手順は、Google Cloud コンソールと Google Cloud CLI のどちらを使用しているかによって異なります。

インストール ツールで HTTP 400 エラーが発生する

インストール ツールで、次のような HTTP 400 エラーが発生することがあります。

HealthCheckContainerError, message: Cloud Run error: Container failed to start.
Failed to start and then listen on the port defined by the PORT environment
variable. Logs for this revision might contain more information.

このエラーは、Kubernetes クラスタで Workload Identity を有効にしていない場合に発生することがあります。次のコマンドを使用すると有効にできます。

export CLUSTER_NAME=...
export PROJECT_ID=...
export LOCATION=...
gcloud container clusters update $CLUSTER_NAME --zone $LOCATION \
    --workload-pool=$PROJECT_ID.svc.id.goog

マネージド データプレーンの状態

次のコマンドを実行すると、マネージド データプレーンの状態が表示されます。

gcloud container fleet mesh describe --project PROJECT_ID

次の表に、マネージド データプレーンのすべての状態を示します。

NEEDS_ATTENTION state

gcloud container fleet mesh describe コマンドの出力で、マネージド データプレーンの状態が NEEDS_ATTENTION で、コードが UPGRADE_FAILURES の場合、マネージド データプレーンは特定のワークロードのアップグレードに失敗しています。詳細な分析を行うため、マネージド データプレーン サービスは、これらのワークロードに dataplane-upgrade: failed というラベルを付けます。アップグレードするには、プロキシを手動で再起動する必要があります。注意が必要な Pod のリストを取得するには、次のコマンドを実行します。

kubectl get pods --all-namespaces -l dataplane-upgrade=failed

クラスタ メンバーシップ エラー（ID プロバイダが指定されていません）

インストール ツールが次のようなクラスタ メンバーシップ エラーで失敗する場合があります。

asmcli: [ERROR]: Cluster has memberships.hub.gke.io CRD but no identity
provider specified. Please ensure that an identity provider is available for the
registered cluster.

このエラーは、クラスタを登録する前に GKE Workload Identity が有効になっていない場合に発生することがあります。コマンドラインで gcloud container fleet memberships register --enable-workload-identity コマンドを使用して、クラスタを再登録できます。

マネージド コントロール プレーンのステータスを確認する

マネージド コントロール プレーンのステータスを確認するには、gcloud container fleet mesh describe --project FLEET_PROJECT_ID を実行します。

レスポンスの membershipStates[].servicemesh.controlPlaneManagement.details フィールドに特定のエラーが説明されている場合があります。

詳細が必要な場合は、クラスタ内の ControlPlaneRevision カスタム リソースを確認してください。これは、マネージド コントロール プレーンがプロビジョニングされるか、プロビジョニングに失敗すると更新されます。

リソースのステータスを確認するには、NAME を各チャネルに対応する値（asm-managed、asm-managed-stable、asm-managed-rapid）に置き換えます。

kubectl describe controlplanerevision NAME -n istio-system

出力は次のようになります。

    Name:         asm-managed

    …

    Status:
      Conditions:
        Last Transition Time:  2021-08-05T18:56:32Z
        Message:               The provisioning process has completed successfully
        Reason:                Provisioned
        Status:                True
        Type:                  Reconciled
        Last Transition Time:  2021-08-05T18:56:32Z
        Message:               Provisioning has finished
        Reason:                ProvisioningFinished
        Status:                True
        Type:                  ProvisioningFinished
        Last Transition Time:  2021-08-05T18:56:32Z
        Message:               Provisioning has not stalled
        Reason:                NotStalled
        Status:                False
        Type:                  Stalled

Reconciled 条件により、マネージド コントロール プレーンが正常に動作しているかどうかを判断します。true の場合、コントロール プレーンは正常に実行されています。 Stalled の場合は、マネージド コントロール プレーンのプロビジョニング プロセスでエラーが検出されたかどうか確認します。Stalled の場合、Message フィールドに特定のエラーに関する詳細情報が含まれています。発生する可能性があるエラーについて詳しくは、Stalled コードをご覧ください。

ControlPlaneRevision の Stalled コード

ControlPlaneRevisions ステータスで Stalled 条件が true になる理由はいくつか考えられます。

マネージド Cloud Service Mesh が GKE クラスタに接続できない

Google では、2022 年 6 月から 2022 年 9 月の期間に、Google Kubernetes Engine（GKE）上の承認済みネットワーク、Cloud Run、Cloud Run functions に関連するセキュリティに関する作業を完了しました。以前にマネージド Cloud Service Mesh を使用していて移行前に使用を停止したプロジェクトには、Cloud Run と GKE 間の通信に必要な API がありません。

このシナリオでは、マネージド Cloud Service Mesh のプロビジョニングが失敗し、Cloud Logging に次のエラー メッセージが表示されます。

Connect Gateway API has not been used in project [*PROJECT_NUMBER*] before or it is disabled.
Enable it by visiting https://console.developers.google.com/apis/api/connectgateway.googleapis.com/overview?project=[*PROJECT_NUMBER*] then retry.
If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.

このメッセージは、次のクエリを使用してフィルタします。

resource.type="istio_control_plane"
resource.labels.project_id=[*PROJECT_ID*]
resource.labels.location=[*REGION*]
severity=ERROR
jsonPayload.message=~"Connect Gateway API has not been used in project"

その間、サイドカー インジェクションや Cloud Service Mesh 関連の Kubernetes カスタム リソースのデプロイも失敗し、Cloud Logging に次の警告メッセージが表示されます。

Error creating: Internal error occurred: failed calling webhook
"rev.namespace.sidecar-injector.istio.io": failed to call webhook: an error on
the server ("unknown") has prevented the request from succeeding.

このメッセージは、次のクエリを使用してフィルタします。

resource.type="k8s_cluster"
resource.labels.project_id=[*PROJECT_ID*]
resource.labels.location=[*REGION*]
resource.labels.cluster_name=[*CLUSTER_NAME*]
severity=WARNING
jsonPayload.message=~"Internal error occurred: failed calling webhook"

問題を解決するには:

1. 必須の connectgateway API を有効にします。

    gcloud services enable connectgateway.googleapis.com --project=[*PROJECT_ID*]
   

2. マネージド Cloud Service Mesh を再インストールします。

3. ワークロードでローリング再起動を実行します。

Google Cloud APIs が有効になっていない

マネージド Cloud Service Mesh フリートで TRAFFIC_DIRECTOR コントロール プレーンの実装を使用している場合は、特定の API を有効にする必要があります。

1. マネージド Cloud Service Mesh を使用していない場合は、「無効化が可能」と記載されている API も含めて、すべての必須の API を有効にします。

   gcloud services enable --project=[*PROJECT_ID*] \
       trafficdirector.googleapis.com \
       networkservices.googleapis.com \
       networksecurity.googleapis.com
   

2. この変更を元に戻す自動ツールがないことを確認してください。エラーが繰り返し発生する場合は、関連する構成または許可リストを更新します。

NodePool の Workload Identity Federation for GKE が無効になっている

次のコマンドを実行すると、マネージド Cloud Service Mesh の状態が表示されます。

    gcloud container fleet mesh describe

メンバーシップの Conditions フィールドに NODEPOOL_WORKLOAD_IDENTITY_FEDERATION_REQUIRED エラーコードが表示されることがあります。

    membershipStates:
      projects/test-project/locations/us-central1/memberships/my-membership:
        servicemesh:
          conditions:
          - code: NODEPOOL_WORKLOAD_IDENTITY_FEDERATION_REQUIRED
            details: One or more node pools have workload identity federation disabled.
            documentationLink: https://cloud.google.com/kubernetes-engine/docs/how-to/workload-identity
            severity: ERROR
          controlPlaneManagement:
            details:
            - code: REVISION_FAILED_PRECONDITION
              details: Required in-cluster components are not ready. This will be retried
                within 15 minutes.
            implementation: TRAFFIC_DIRECTOR
            state: FAILED_PRECONDITION

このエラーは、GKE クラスタのすべてのノードプールで Workload Identity Federation が有効になっていない場合に表示されます。これが、Cloud Service Mesh のインストールの前提条件であるためです。

このエラー メッセージを解決するには、すべてのノードプールで Workload Identity Federation を有効にするの手順に沿って操作する必要があります。有効化は、個別のクラスタのケースによって異なる場合があります。

有効にすると、エラー メッセージは自動的に削除され、クラスタは ACTIVE 状態に戻ります。問題が解決せず、さらにサポートが必要な場合は、サポートの利用をご覧ください。