Ingress mTLS CA 憑證無效

您正在查看 Apigee 和 Apigee Hybrid 說明文件。
這個主題沒有對應的 Apigee Edge 說明文件。

問題

查看 apigee 命名空間中的資源時，系統會顯示含有 Reason AIS_INGRESS_MTLS_CA_CERT_INVALID 的 ApigeeIssue。

錯誤訊息

執行 kubectl -n apigee get apigeeissues 後，系統會顯示類似下列的錯誤訊息：

NAME                                    SEVERITY   REASON                             DOCUMENTATION                                                                                  AGE
ca-cert-invalid-my-org-my-virtualhost   ERROR      AIS_INGRESS_MTLS_CA_CERT_INVALID   https://cloud.google.com/apigee/docs/hybrid/troubleshooting/AIS_INGRESS_MTLS_CA_CERT_INVALID   5h18m

可能原因

原因 說明
Ingress mTLS CA 憑證未採用 PEM 編碼 已設定的 ingress mTLS CA 憑證並未採用 PEM 編碼。
Ingress mTLS CA 憑證格式錯誤 設定的 ingress mTLS CA 憑證格式錯誤。

原因：Ingress mTLS CA 憑證未採用 PEM 編碼

儲存在 ApigeeRouteConfig 參照的 Kubernetes 密鑰中，用於 ingress mTLS CA 的憑證缺少 PEM 編碼文字區塊 (或格式不正確)。

診斷

請執行下列指令：

kubectl -n apigee describe apigeeissue ISSUE_NAME

其中 ISSUE_NAME 是問題名稱。例如：ca-cert-invalid-my-org-my-virtualhost。

輸出內容應如下所示：

Name:         ca-cert-invalid-my-org-my-virtualhost
Namespace:    apigee
Labels:       ais-reason=AIS_INGRESS_MTLS_CA_CERT_INVALID
Annotations:  <none>
API Version:  apigee.cloud.google.com/v1alpha1
Kind:         ApigeeIssue
Metadata:
  Creation Timestamp:  2023-06-12T17:03:43Z
  Generation:          1
  Owner References:
    API Version:     apigee.cloud.google.com/v1alpha2
    Kind:            ApigeeOrganization
    Name:            my-org
    UID:             7e83a52c-ce00-4bed-98be-55835ada1817
  Resource Version:  3281563
  UID:               adc775c2-376d-4bf9-9860-500b2b2b8273
Spec:
  Details:        CA certificate in secret "my-org-my-virtualhost" for ApigeeRouteConfig "my-org-my-virtualhost" is not PEM encoded
  Documentation:  https://cloud.google.com/apigee/docs/hybrid/troubleshooting/AIS_INGRESS_MTLS_CA_CERT_INVALID
  Reason:         AIS_INGRESS_MTLS_CA_CERT_INVALID
  Severity:       ERROR
Events:           <none>
 
Spec:
  Details:        CA certificate in secret "my-org-my-virtualhost" for ApigeeRouteConfig "my-org-my-virtualhost" is not PEM encoded

Spec.Details 的內容會說明 ApigeeRouteConfig 的名稱，該名稱會參照含有 ingress mTLS CA 憑證的 Kubernetes 密鑰，而該憑證並未以 PEM 編碼。

解決方法

  1. 使用 kubectl describe 顯示 ApigeeRouteConfig 的名稱，該名稱包含非 PEM 編碼的 ingress mTLS CA 憑證：

    kubectl -n apigee describe apigeeissue ISSUE_NAME

    其中 ISSUE_NAME 是問題名稱。例如 ca-cert-invalid-my-org-my-virtualhost。

    在這個範例中，ApigeeRouteConfig my-org-my-virtualhost 會參照密鑰 my-org-my-virtualhost。

  2. 從 ApigeeRouteConfig 判斷 virtualhost 名稱。

    ApigeeRouteConfig 的名稱格式為 <Apigee organization>-<virtualhost name>。

    在這個範例中，my-org 是 Apigee 機構，虛擬主機名稱則為 my-virtualhost。

  3. 在 overrides.yaml 中找出對應的 virtualhost。

    virtualhosts:
...
- name: my-virtualhost
  selector:
    app: apigee-ingressgateway
  caCertPath: ./certs/ca.pem
  sslCertPath: ./certs/vhost.pem
  sslKeyPath: ./certs/vhost.key
...

  4. 透過 caCertPath 中宣告的路徑，驗證提供的檔案內容。請確認內容包含必要的開始和結束憑證區塊。例如： 

    -----BEGIN CERTIFICATE-----
MIIDYTCCAkmgAwIBAgIUSXeU0pQYRFzYlqZpKhNNJdBLFBIwDQYJKoZIhvcNAQEL
... <contents omitted> ...
eWJyaWQuZTJlLmFwaWdlZWtzLm5ldDCCASIwDQYJKoZIhvcNAQEBBQADggEPADCC
MMM=
-----END CERTIFICATE-----

  5. 修正檔案內容和格式後，請將變更套用至虛擬主機：

    helm upgrade ENV_GROUP_NAME apigee-virtualhost/ \
  --namespace apigee \
  --set envgroup=ENV_GROUP_NAME \
  -f overrides.yaml

原因：Ingress mTLS CA 憑證格式錯誤

ApigeeRouteConfig 參照的 Kubernetes 密鑰中儲存的入口 mTLS CA 憑證格式不正確。

診斷

請執行下列指令：

kubectl -n apigee describe apigeeissue ISSUE_NAME

其中 ISSUE_NAME 是問題名稱。例如：ca-cert-invalid-my-org-my-virtualhost。

輸出內容應如下所示：

Name:         ca-cert-invalid-my-org-my-virtualhost
Namespace:    apigee
Labels:       ais-reason=AIS_INGRESS_MTLS_CA_CERT_INVALID
Annotations:  <none>
API Version:  apigee.cloud.google.com/v1alpha1
Kind:         ApigeeIssue
Metadata:
  Creation Timestamp:  2023-06-12T17:03:43Z
  Generation:          1
  Owner References:
    API Version:     apigee.cloud.google.com/v1alpha2
    Kind:            ApigeeOrganization
    Name:            my-org
    UID:             7e83a52c-ce00-4bed-98be-55835ada1817
  Resource Version:  3281563
  UID:               adc775c2-376d-4bf9-9860-500b2b2b8273
Spec:
  Details:        CA certificate in secret "my-org-my-virtualhost" for ApigeeRouteConfig "my-org-my-virtualhost" is invalid
  Documentation:  https://cloud.google.com/apigee/docs/hybrid/troubleshooting/AIS_INGRESS_MTLS_CA_CERT_INVALID
  Reason:         AIS_INGRESS_MTLS_CA_CERT_INVALID
  Severity:       ERROR
Events:           <none>
 
Spec:
  Details:        CA certificate in secret "my-org-my-virtualhost" for ApigeeRouteConfig "my-org-my-virtualhost" is invalid

Spec.Details 的內容會說明 ApigeeRouteConfig 的名稱，該名稱會參照含有 ingress mTLS CA 憑證的 Kubernetes 密鑰，而這項憑證格式錯誤且無法剖析。

解決方法

  1. 使用 kubectl describe 顯示 ApigeeRouteConfig 的名稱，該名稱含有格式不正確的 ingress mTLS CA 憑證：

    kubectl -n apigee describe apigeeissue ISSUE_NAME

    其中 ISSUE_NAME 是問題名稱。例如 ca-cert-invalid-my-org-my-virtualhost。

    在這個範例中，ApigeeRouteConfig my-org-my-virtualhost 會參照密鑰 my-org-my-virtualhost。

  2. 從 ApigeeRouteConfig 判斷 virtualhost 名稱。

    ApigeeRouteConfig 的名稱格式為 <Apigee organization>-<virtualhost name>。

    在這個範例中，my-org 是 Apigee 機構，虛擬主機名稱則為 my-virtualhost。

  3. 在 overrides.yaml 中找出對應的 virtualhost。

    virtualhosts:
...
- name: my-virtualhost
  selector:
    app: apigee-ingressgateway
  caCertPath: ./certs/ca.pem
  sslCertPath: ./certs/vhost.pem
  sslKeyPath: ./certs/vhost.key
...

  4. 透過 caCertPath 中宣告的路徑，驗證提供的檔案內容。請確認內容包含整張證書。例如： 

    -----BEGIN CERTIFICATE-----
MIIDYTCCAkmgAwIBAgIUSXeU0pQYRFzYlqZpKhNNJdBLFBIwDQYJKoZIhvcNAQEL
BQAwQDE+MDwGA1UEAww1bWF4bWlsbGlvbi1oeWJyaWQtc3RhZ2luZy1kZXYuaHli
... <contents omitted> ...
0TPPaik8U9dtFXMGT1DJkjPRPO0Jw5rlU8DKlNA/Kkv52aKJZNwB/cwmvoa/BFji
PIPa9wY=
-----END CERTIFICATE-----

  5. 修正檔案內容和格式後，請將變更套用至虛擬主機：

    helm upgrade ENV_GROUP_NAME apigee-virtualhost/ \
  --namespace apigee \
  --set envgroup=ENV_GROUP_NAME \
  -f overrides.yaml

必須收集診斷資訊

如果問題在您按照上述操作說明後仍未解決，請收集下列診斷資訊，然後與 Google Cloud Customer Care 團隊聯絡：

  1. Google Cloud 專案 ID。
  2. Apigee Hybrid 機構的名稱。
  3. ApigeeIssue 的 Spec.Details 欄位。
  4. (選用) caCertPath 為受影響的虛擬主機參照的檔案。