AKS 的多區域部署

本主題說明如何在 Microsoft® Azure Kubernetes Service (AKS) 上,為 Apigee hybrid 設定多區部署。

多地區部署的拓撲包括:

  • Active-Active:如果您在多個地理位置部署應用程式,且需要低延遲的 API 回應,您可以選擇在距離客戶最近的多個地理區域部署混合式雲端。例如:美國西岸、美國東岸、歐洲、亞太/澳洲/紐西蘭。
  • 主動-被動:當您有主要區域和容錯或災難復原區域時。

多區域混合式部署中的區域會透過 Cassandra 進行通訊,如下圖所示:

必要條件

為多個區域設定混合式連線之前,您必須完成下列先決條件:

  • 請按照混合式安裝指南的說明,完成 GCP 和機構設定等先決條件,再繼續進行叢集設定步驟。

詳情請參閱 Kubernetes 說明文件。

在各個區域中建立虛擬網路

為多區域部署建立虛擬網路。舉例來說,下列範例指令會在美國中部和美國東部地區建立網路。

執行下列指令,在美國東部地區建立名為 my-hybrid-rg-vnet 的虛擬網路:

az network vnet create \
 --name my-hybrid-rg-vnet \
 --location eastus \
 --resource-group my-hybrid-rg \
 --address-prefixes 120.38.1.0/24 \
 --subnet-name my-hybrid-rg-vnet-subnet \
 --subnet-prefix 120.38.1.0/26

執行下列指令,在美國中部地區建立名為 my-hybrid-rg-vnet-ext01 的虛擬網路:

az network vnet create \
 --name my-hybrid-rg-vnet-ext01 \
 --location centralus \
 --resource-group my-hybrid-rg \
 --address-prefixes 192.138.0.0/24 \
 --subnet-name my-hybrid-rg-vnet-ext01-subnet \
 --subnet-prefix 192.138.0.0/26

建立網路對等互連

在虛擬網路之間建立網路對等互連。

取得虛擬網路 ID

對等互連會在虛擬網路 ID 之間建立。使用 az network vnet show 指令取得每個虛擬網路的 ID,並將 ID 儲存在變數中。

取得第一個虛擬網路的 ID,也就是名為 my-hybrid-rg-vnet 的網路:

vNet1Id=$(az network vnet show \
 --resource-group my-hybrid-rg \
 --name my-hybrid-rg-vnet \
 --query id --out tsv)

取得第二個虛擬網路 (名為 my-hybrid-rg-vnet-ext01) 的 ID:

vNet2Id=$(az network vnet show \
 --resource-group my-hybrid-rg \
 --name my-hybrid-rg-vnet-ext01 \
 --query id \
 --out tsv)

建立從第一個到第二個虛擬網路的對等互連

您可以使用虛擬網路 ID 建立從第一個虛擬網路 (my-hybrid-rg-vnet) 到第二個虛擬網路 (my-hybrid-rg-vnet-ext01) 的連結,如以下範例所示:

az network vnet peering create \
 --name my-hybrid-rg-vnet1-peering \     # The name of the virtual network peering.
 --resource-group my-hybrid-rg \
 --vnet-name my-hybrid-rg-vnet \         # The virtual network name.
 --remote-vnet $vNet2Id \                # Resource ID of the remote virtual network.
 --allow-vnet-access

在指令輸出內容中,請注意 peeringState啟動。在您從第二個虛擬網路建立回第一個虛擬網路的對等互連之前,對等互連會維持在「已啟動」狀態。

{
  ...
  "peeringState": "Initiated",
  ...
}

建立從第二個虛擬網路到第一個虛擬網路的對等互連

指令範例:

az network vnet peering create \
 --name my-hybrid-rg-vnet2-peering \        # The name of the virtual network peering.
 --resource-group my-hybrid-rg \
 --vnet-name my-hybrid-rg-vnet-ext01 \      # The virtual network name.
 --remote-vnet $vNet1Id \                   # Resource ID of the remote virtual network.
 --allow-vnet-access

在指令輸出內容中,請注意 peeringState 為「已連線」。Azure 也會將第一個虛擬網路對等互連的對等互連狀態變更為「已連線」

{
  ...
  "peeringState": "Connected",
  ...
}

您也可以使用下列指令,確認 my-hybrid-rg-vnet1-peeringmy-hybrid-rg-vnet2-peering 的對等連線狀態已變更為「已連線」:

az network vnet peering show \
 --name my-hybrid-rg-vnet1-peering \
 --resource-group my-hybrid-rg \
 --vnet-name my-hybrid-rg-vnet \
 --query peeringState

預期的輸出內容:

Connected

建立多區域叢集

在具有不同 CIDR 區塊的多個區域中設定 Kubernetes 叢集。另請參閱「步驟 1:建立叢集」。使用先前建立的位置和虛擬網路名稱。

在所有區域的 Kubernetes 叢集之間開啟 Cassandra 通訊埠 7000 和 7001 (7000 可用於疑難排解時做為備用選項)

設定多區域種子主機

本節說明如何將現有的 Cassandra 叢集擴展至新區域。這項設定可讓新區域啟動叢集,並加入現有的資料中心。如果沒有這項設定,多區域 Kubernetes 叢集就不會彼此互通。

  1. 擷取種子名稱前,請先將 kubectl 結構定義設為原始叢集:
    kubectl config use-context original-cluster-name
  2. 執行下列 kubectl 指令,即可找出目前區域中 Cassandra 的種子主機位址。

    種子主機位址可讓新的區域例項在首次啟動時找到原始叢集,以便瞭解叢集的拓撲。種子主機位址會指定為叢集中的聯絡點。

    kubectl get pods -o wide -n apigee | grep apigee-cassandra
    
    apigee-cassandra-default-0  1/1   Running   0   4d17h   120.38.1.9  aks-agentpool-21207753-vmss000000
    
  3. 決定先前指令傳回的哪些 IP 將成為多區域種子主機。在本例中,只有單一節點的 Cassandra 叢集在執行,因此種子主機為 120.38.1.9
  4. 在資料中心 2 中,將覆寫檔案複製到名稱包含叢集名稱的新檔案中。例如 overrides_your_cluster_name.yaml
  5. 在資料中心 2 中,在 overrides_your_cluster_name.yaml 中設定 cassandra.multiRegionSeedHostcassandra.datacenter,其中 multiRegionSeedHost 是先前指令傳回的 IP 之一:
    cassandra:
      multiRegionSeedHost: seed_host_IP
      datacenter: data_center_name
      rack: rack_name

    例如:

    cassandra:
      multiRegionSeedHost: 120.38.1.9
      datacenter: "centralus"
      rack: "ra-1"
  6. 在新資料中心/區域中,在安裝混合型服務前,請在 overrides_your_cluster_name.yaml 中設定與第一個區域相同的 TLS 憑證和憑證。

設定新區域

設定種子主機後,您就可以設定新的區域。

如要設定新的區域,請按照下列步驟操作:

  1. 將憑證從現有叢集複製到新叢集。Cassandra 和其他混合式元件會使用新的 CA 根目錄,以便進行 mTLS。因此,叢集中的憑證必須保持一致。
    1. 將內容設定為原始命名空間:
      kubectl config use-context original-cluster-name
    2. 將目前的命名空間設定匯出至檔案:
      $ kubectl get namespace namespace -o yaml > apigee-namespace.yaml
    3. apigee-ca 密鑰匯出至檔案:
      kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
    4. 將結構定義設為新區域的叢集名稱:
      kubectl config use-context new-cluster-name
    5. 將命名空間設定匯入新叢集。 如果您在新區域中使用其他命名空間,請務必更新檔案中的「命名空間」:
      kubectl apply -f apigee-namespace.yaml
    6. 將 Secret 匯入新叢集:

      kubectl -n cert-manager apply -f apigee-ca.yaml
  2. 在新區域中安裝混合式。請確認 overrides_your_cluster_name.yaml 檔案包含與第一個區域相同的 TLS 憑證,如前一個部分所述。

    執行下列兩個指令,即可在新區域中安裝混合型:

    apigeectl init -f overrides_your_cluster_name.yaml
    apigeectl apply -f overrides_your_cluster_name.yaml
  3. 在新資料中心的所有節點上依序執行 nodetool rebuild。視資料大小而定,這項作業可能需要數分鐘至數小時才能完成。
    kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u JMX_user -pw JMX_password rebuild -- dc-1

    其中 JMX_userJMX_password 分別是 Cassandra JMX 使用者的使用者名稱和密碼。

  4. 請透過記錄檔確認重建程序。此外,請使用 nodetool status 指令驗證資料大小:
    kubectl logs apigee-cassandra-default-0 -f -n apigee
    kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u JMX_user -pw JMX_password status

    以下範例顯示記錄項目:

    INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
    INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
    INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
    INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
    INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
    INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
    INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
    INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
    INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
    INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
    INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
    INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
    INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
    INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
    INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
  5. 更新種子主機。從 overrides-DC_name.yaml 中移除 multiRegionSeedHost: 10.0.0.11,然後重新套用。
    apigeectl apply -f overrides-DC_name.yaml