English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
中文 – 简体
日本語
한국어

お問い合わせ無料で利用開始

このページは Cloud Translation API によって翻訳されました。

マルチリージョンデプロイ

このトピックでは、GKE 上の Apigee ハイブリッド、オンプレミスにデプロイされた Anthos GKE、Microsoft® Azure Kubernetes Service（AKS）、Amazon Elastic Kubernetes Service（EKS）、および RedHat OpenShift のマルチリージョンデプロイについて説明します。前提条件と手順では、ご使用のプラットフォームを選択してください。

マルチリージョンデプロイのトポロジには次のものがあります。

アクティブ - アクティブ: 複数の地理的ロケーションにアプリケーションをデプロイし、それらのデプロイで API レスポンスのレイテンシを低く抑える必要がある場合。クライアントに最も近い複数の地理的ロケーションにハイブリッドをデプロイすることもできます。例: 米国西海岸、米国東海岸、ヨーロッパ、APAC。
アクティブ - パッシブ: プライマリリージョンとフェイルオーバーリージョンまたは障害復旧リージョンがある場合。

次の図に示すように、マルチリージョンハイブリッドデプロイのリージョンは Cassandra を介して通信します。

Apigee ハイブリッドのマルチリージョンデプロイアーキテクチャ

前提条件

複数のリージョンでハイブリッドを構成する前に、次の前提条件を満たす必要があります。

GKE

異なるネットワーク（異なるクラウドプロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど）間でマルチリージョンの Apigee デプロイメントをインストールする場合は、Cassandra がノード間の通信に使用できるこれらの別々のネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
1 つのクラスタで Workload Identity を使用してサービスアカウントを認証している場合は、拡張するクラスタごとに Workload Identity を使用することを強くおすすめします。Apigee ハイブリッドによる Workload Identity の有効化をご覧ください。
異なる CIDR ブロックを持つ複数のリージョンに Kubernetes クラスタを設定する
各クラスタに cert-manager がインストールされていることを確認する
地域間の通信を設定する
すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
ヒント: ホスト名の解決が機能しているかどうかを確認するには、次のコマンドを使用します。

hostNetwork が false に設定されている場合は、コマンド 1 を使用します。hostNetwork が true に設定されている場合は、コマンド 2 を使用します。

ホスト名の解決が機能している場合は、出力に IP アドレスが表示されます。ホスト名の解決に失敗した場合、出力には「Host not found」が含まれます。

コマンド 1:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i
```
コマンド 2:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i
```
Cassandra マルチリージョンの要件:
- Pod ネットワークの名前空間が、ファイアウォール、VPN、VPC ピアリング、vNet ピアリングなどのリージョン間で接続されていることを確認します。この処理は、ほとんどの GKE インストールについて実施する必要があります。
- Pod ネットワークの名前空間がクラスタ間の接続を持たない場合（クラスタが「アイランドネットワークモード」で実行されている場合）、Apigee ハイブリッドマルチリージョンインストールのリージョンのすべてのオーバーライドファイルで cassandra.hostNetwork: true を設定して Kubernetes hostNetwork 機能を有効にします。
  hostNetwork の必要性について詳しくは、以下のアイランドモードのクラスタと hostNetwork をご覧ください。
- マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで hostNetwork を有効にします。
- hostNetwork が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にホスト IP を取得するためにフォワード DNS ルックアップを使用します。
  ヒント: DNS 解決が機能しない場合は、この回避策をお試しください。
  各 Cassandra ワーカーノードの /etc/hosts ファイルに次のような静的ホストエントリを追加します。
```
echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"
```
  または
```
"\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"
```
- すべてのリージョンの Kubernetes クラスタ間で TCP ポート 7001 を開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。

詳細については、Kubernetes のドキュメントをご覧ください。

GKE On-Prem

異なるネットワーク（異なるクラウドプロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど）間でマルチリージョンの Apigee デプロイメントをインストールする場合は、Cassandra がノード間の通信に使用できるこれらの別々のネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
異なる CIDR ブロックを持つ複数のリージョンに Kubernetes クラスタを設定する
各クラスタに cert-manager がインストールされていることを確認する
地域間の通信を設定する
すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
ヒント: ホスト名の解決が機能しているかどうかを確認するには、次のコマンドを使用します。

hostNetwork が false に設定されている場合は、コマンド 1 を使用します。hostNetwork が true に設定されている場合は、コマンド 2 を使用します。

ホスト名の解決が機能している場合は、出力に IP アドレスが表示されます。ホスト名の解決に失敗した場合、出力には「Host not found」が含まれます。

コマンド 1:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i
```
コマンド 2:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i
```
Cassandra マルチリージョンの要件:
- Pod ネットワークの名前空間が異なるクラスタ内のクラスタ間で接続できない場合（クラスタが GKE On-Prem のインストールにおいて「アイランドネットワークモード」で実行されている場合など）は、Apigee ハイブリッドマルチリージョンインストールにおけるすべてのリージョンのオーバーライドファイルに cassandra.hostNetwork: true を設定することで、Kubernetes の hostNetwork 機能を有効にします。
  hostNetwork の必要性について詳しくは、以下のアイランドモードのクラスタと hostNetwork をご覧ください。
- マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで hostNetwork を有効にします。
- hostNetwork が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にホスト IP を取得するためにフォワード DNS ルックアップを使用します。
  ヒント: DNS 解決が機能しない場合は、この回避策をお試しください。
  各 Cassandra ワーカーノードの /etc/hosts ファイルに次のような静的ホストエントリを追加します。
```
echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"
```
  または
```
"\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"
```
- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。

詳細については、Kubernetes のドキュメントをご覧ください。

AKS

異なるネットワーク（異なるクラウドプロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど）間でマルチリージョンの Apigee デプロイメントをインストールする場合は、Cassandra がノード間の通信に使用できるこれらの別々のネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
クラスタの設定手順に進む前に、Google Cloud や組織の構成などの前提条件について、ハイブリッドインストールガイドに従ってください。
各クラスタに cert-manager がインストールされていることを確認する
すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
ヒント: ホスト名の解決が機能しているかどうかを確認するには、次のコマンドを使用します。

hostNetwork が false に設定されている場合は、コマンド 1 を使用します。hostNetwork が true に設定されている場合は、コマンド 2 を使用します。

ホスト名の解決が機能している場合は、出力に IP アドレスが表示されます。ホスト名の解決に失敗した場合、出力には「Host not found」が含まれます。

コマンド 1:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i
```
コマンド 2:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i
```
Cassandra マルチリージョンの要件:
- Pod ネットワークの名前空間がクラスタ間の接続を持たない場合（AKS インストールのデフォルトの場合、クラスタは「アイランドネットワークモード」で稼働します）、Apigee ハイブリッドマルチリージョンインストールのすべてのリージョンをオーバーライドするファイルで cassandra.hostNetwork: true を設定して、Kubernetes hostNetwork 機能を有効にします。
  hostNetwork の必要性について詳しくは、以下のアイランドモードのクラスタと hostNetwork をご覧ください。
- マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで hostNetwork を有効にします。
- hostNetwork が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にホスト IP を取得するためにフォワード DNS ルックアップを使用します。
  ヒント: DNS 解決が機能しない場合は、この回避策をお試しください。
  各 Cassandra ワーカーノードの /etc/hosts ファイルに次のような静的ホストエントリを追加します。
```
echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"
```
  または
```
"\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"
```
- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。

詳細については、Kubernetes のドキュメントをご覧ください。

EKS

異なるネットワーク（異なるクラウドプロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど）間でマルチリージョンの Apigee デプロイメントをインストールする場合は、Cassandra がノード間の通信に使用できるこれらの別々のネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
クラスタの設定手順に進む前に、Google Cloud や組織の構成などの前提条件について、ハイブリッドインストールガイドに従ってください。
各クラスタに cert-manager がインストールされていることを確認する
すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
ヒント: ホスト名の解決が機能しているかどうかを確認するには、次のコマンドを使用します。

hostNetwork が false に設定されている場合は、コマンド 1 を使用します。hostNetwork が true に設定されている場合は、コマンド 2 を使用します。

ホスト名の解決が機能している場合は、出力に IP アドレスが表示されます。ホスト名の解決に失敗した場合、出力には「Host not found」が含まれます。

コマンド 1:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i
```
コマンド 2:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i
```
Cassandra マルチリージョンの要件:
- Pod ネットワークの名前空間がクラスタ間の接続を持たない場合（クラスタが「アイランドネットワークモード」で実行されている場合）、Apigee ハイブリッドマルチリージョンインストールのすべてのリージョンのオーバーライドファイルで cassandra.hostNetwork: true を設定して Kubernetes hostNetwork 機能を有効にします。Amazon EKS は、デフォルトで完全統合ネットワークモデルを使用します。
  hostNetwork の必要性について詳しくは、以下のアイランドモードのクラスタと hostNetwork をご覧ください。
- マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで hostNetwork を有効にします。
- hostNetwork が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にホスト IP を取得するためにフォワード DNS ルックアップを使用します。
  ヒント: DNS 解決が機能しない場合は、この回避策をお試しください。
  各 Cassandra ワーカーノードの /etc/hosts ファイルに次のような静的ホストエントリを追加します。
```
echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"
```
  または
```
"\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"
```
- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。

詳細については、Kubernetes のドキュメントをご覧ください。

OpenShift

異なるネットワーク（異なるクラウドプロバイダ、異なる VPC ネットワーク、クラウドとオンプレミスなど）間でマルチリージョンの Apigee デプロイメントをインストールする場合は、Cassandra がノード間の通信に使用できるこれらの別々のネットワーク間の内部接続を提供する必要があります。これは、VPN またはクラウド固有の接続ソリューションで実現できます。
クラスタの設定手順に進む前に、Google Cloud や組織の構成などの前提条件について、ハイブリッドインストールガイドに従ってください。
各クラスタに cert-manager がインストールされていることを確認する
すべての Cassandra Pod が自身のホスト名を解決できることを確認します。hostNetwork が false に設定されている場合、ホスト名は Cassandra Pod の名前です。hostNetwork が true に設定されている場合、ホスト名は Cassandra Pod を実行している Kubernetes ノードのホスト名になります。
ヒント: ホスト名の解決が機能しているかどうかを確認するには、次のコマンドを使用します。

hostNetwork が false に設定されている場合は、コマンド 1 を使用します。hostNetwork が true に設定されている場合は、コマンド 2 を使用します。

ホスト名の解決が機能している場合は、出力に IP アドレスが表示されます。ホスト名の解決に失敗した場合、出力には「Host not found」が含まれます。

コマンド 1:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee -- hostname -i
```
コマンド 2:
```
kubectl run -l app=alpine --image=alpine --restart=Never --rm -i -t alpine-linux -n apigee --overrides='{"kind":"Pod", "apiVersion":"v1", "spec": {"hostNetwork":true}}' -- hostname -i
```
Cassandra マルチリージョンの要件:
- Pod ネットワークの名前空間がクラスタ間の接続を持たない場合（OpenShift インストールのデフォルトの場合、クラスタは「アイランドネットワークモード」で稼働します）は、Apigee ハイブリッドマルチリージョンインストールのすべてのリージョンをオーバーライドするファイルで cassandra.hostNetwork: true を設定して、Kubernetes hostNetwork 機能を有効にします。
  hostNetwork の必要性について詳しくは、以下のアイランドモードのクラスタと hostNetwork をご覧ください。
- マルチリージョン構成を新しいリージョンに拡張する前に、既存のクラスタで hostNetwork を有効にします。
- hostNetwork が有効になっている場合は、ワーカーノードがホスト名のフォワード DNS ルックアップを実行できることを確認してください。Apigee Cassandra は、起動時にホスト IP を取得するためにフォワード DNS ルックアップを使用します。
  ヒント: DNS 解決が機能しない場合は、この回避策をお試しください。
  各 Cassandra ワーカーノードの /etc/hosts ファイルに次のような静的ホストエントリを追加します。
```
echo -e "\\n127.0.1.1 ${HOSTNAME}" >> "/etc/hosts"
```
  または
```
"\\nWORKER-NODE-IP ${HOSTNAME}" >> "/etc/hosts"
```
- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。

詳細については、Kubernetes のドキュメントをご覧ください。

アイランドモードのクラスタと hostNetwork

Kubernetes クラスタには、完全統合（またはフラット）モードとアイランドモードという 2 つの主要なネットワークモデルがあります。Apigeeでは、マルチリージョン Cassandra 接続を簡素化するため、可能であればフラットネットワークモデルを使用することをおすすめします。Kubernetes クラスタがアイランドモードで構成されると、Pod ネットワークは分離されます。Pod は、Pod IP アドレスを使用して、他のクラスタで実行されている Pod と直接通信できません。この 2 つのネットワークモデルとそれぞれの例の違いについて詳しくは、一般的なネットワークモデルの実装をご覧ください。

アイランドモードネットワーキングモデルを使用して Apigee ハイブリッドを 2 つ以上の Kubernetes クラスタで実行する場合は、cassandra.hostNetwork プロパティで Cassandra の hostNetwork 設定を有効にする必要があります。デフォルトでは、Kubernetes Pod は個々のネットワークの名前空間に分離されるため、Kubernetes ワーカーノード IP は使用できません。hostNetwork が true に設定されている場合、Pod は独自のネットワークの名前空間内で分離されておらず、代わりに Pod がスケジュールされている Kubernetes ワーカーノードの IP アドレスとホスト名を使用します。これにより、Cassandra は Kubernetes ワーカーノード IP を IP としてネイティブに使用でき、Cassandra はアイランドモードで実行されている複数のクラスタ内のすべての Cassandra Pod 間でフルメッシュを確立できるようになります。

Cassandra のホスト名の解決

Cassandra Pod は他の Cassandra Pod をホスト名で解決しませんが、Cassandra は起動時に自身のホスト名が DNS で解決できることを確認します。hostNetwork が true に設定されている場合、Pod のホスト名は Kubernetes ワーカーノードのホスト名と同じであるため、クラスタの DNS サービスを介してワーカーノードのホスト名を IP アドレスに解決できる状態になっている必要があります。Kubernetes ワーカーノードのホスト名を解決できない場合、Cassandra Pod を完全に開始することはできません。このため、hostNetwork を true に設定する場合は、Kubernetes ワーカーノードのホスト名をクラスタ内の Pod で解決できることが重要です。

Apigee ハイブリッドをマルチリージョン用に構成する

このセクションでは、Apigee ハイブリッドをマルチリージョン用に構成する方法について説明します。

GKE

マルチリージョンシードホストを構成する

このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。

Apigee ハイブリッドの管理とインストールに使用しているツールの手順に沿って操作します。

Helm チャート

最初に作成したリージョンのために、Apigee 名前空間で Pod を取得します。
```
kubectl get pods -o wide -n apigee
```
このリージョン内の Cassandra のマルチリージョンシードホストアドレス（たとえば、10.0.0.11）を特定します。
2 番目のリージョン用の overrides.yaml ファイルを準備し、次のようにシードホストの IP アドレスを追加します。
```
cassandra:
  multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
  datacenter: "DATACENTER_NAME"
  rack: "RACK_NAME"
  hostNetwork: false
  clusterName: CLUSTER_NAME
```
次のように置き換えます。
- SEED_HOST_IP_ADDRESS は、シードホスト IP アドレス（たとえば、10.0.0.11）で。
- DATACENTER_NAME は、データセンター名（たとえば、dc-2）で。
- RACK_NAME は、ラック名で置き換えます。例: ra-1。
- CLUSTER_NAME は、Cassandra クラスタの名前に置き換えます。デフォルトでは、値は apigeecluster です。別のクラスタ名を使用する場合は、cassandra.clusterName の値を指定する必要があります。独自の値を自由に選択できますが、すべてのリージョンで同じ値にする必要があります。

2 番目のリージョンを構成する

新しいリージョンを設定するには:

リージョン 2 に cert-manager をインストールします。

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context ORIGINAL_CLUSTER_NAME
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. 新しいリージョンのクラスタ名にコンテキストを設定します。
```
kubectl config use-context NEW_CLUSTER_NAME
```
5. 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで異なる名前空間を使用する場合は、ファイル内の名前空間を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. 新しいクラスタに Secret をインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
手順に沿って、新しいリージョンに Apigee ハイブリッド CRD をインストールします。

ここで、Helm チャートを使用して、次の Helm チャートコマンド（リージョン 1 と同様）で、Apigee ハイブリッドを新しいリージョンにインストールします。

注: チャートのダウンロード先と同じフォルダを使用することで、同じ CRD を使用して一貫性を保つことができます。また、オーバーライドに overrides-region_name.yaml などの一意の名前を付けることで、オーバーライドファイルをリージョン 1 と 2 の間で一意に維持することもできます。

重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。

helm upgrade operator apigee-operator \
  --install \
  --create-namespace \
  --namespace apigee-system \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrides
helm upgrade ENV_NAME apigee-env/ \
  --install \
  --namespace apigee \
  --atomic \
  --set env=ENV_NAME \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrides
helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
  --install \
  --namespace apigee \
  --atomic \
  --set envgroup=ENV_GROUP_NAME \
  -f overrides-DATACENTER_NAME.yaml

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
-- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  次に例を示します。
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名を使用しています。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前のステップの kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値）です。
  次に例を示します。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```

次のコマンドを使用して、再ビルドのステータスを確認します。

kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

結果は次のようになります。

{
"rebuildDetails": {
"apigee-cassandra-default-0": {
"state": "complete",
"updated": 1623105760
},
"apigee-cassandra-default-1": {
"state": "complete",
"updated": 1623105765
},
"apigee-cassandra-default-2": {
"state": "complete",
"updated": 1623105770
}
},
"state": "complete",
"updated": 1623105770
}

データレプリケーションが完了し、検証されたら、シードホストを更新します。
1. multiRegionSeedHost: 10.0.0.11 を overrides-DATACENTER_NAME.yaml から削除してください。
2. 変更を再適用して、Apigee Datastore CR を更新します。
  
  重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。
```
helm upgrade datastore apigee-datastore/ \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
```

ログで再ビルドプロセスを確認します。また、nodetool status コマンドを使用してデータサイズを確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

ヒント: APIGEE_JMX_USER と APIGEE_JMX_PASSWORD は通常、環境変数 $APIGEE_JMX_USER と $APIGEE_JMX_PASSWORD で定義されます。

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

`apigeectl`

シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
```
kubectl config use-context original-cluster-name
```

次の kubectl コマンドを実行して、現在のリージョンの Cassandra のシードホストアドレスを識別します。

シードホストアドレスによって、新しいリージョンインスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホストアドレスは、クラスタ内のコンタクトポイントとして指定されます。

kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running

NAME                      READY   STATUS      RESTARTS   AGE   IP          NODE                                          NOMINATED NODE
apigee-cassandra-default-0        1/1     Running     0          5d    10.0.0.11   gke-k8s-dc-2-default-pool-a2206492-p55d
apigee-cassandra-default-1        1/1     Running     0          5d    10.0.2.4    gke-k8s-dc-2-default-pool-e9daaab3-tjmz
apigee-cassandra-default-2        1/1     Running     0          5d    10.0.3.5    gke-k8s-dc-2-default-pool-e589awq3-kjch

以前のコマンドで返された IP の中からマルチリージョンシードホストになるものを決定します。

データセンター 2 で、ランタイムプレーンコンポーネントの管理の cassandra.multiRegionSeedHost と cassandra.datacenter を構成します。ここで、multiRegionSeedHost は、前述のコマンドで返された IP の 1 つです。

cassandra:
  multiRegionSeedHost: seed_host_IP
  datacenter: data_center_name
  rack: rack_name
  hostNetwork: false
  clusterName: cluster_name # must be the same for all regions

例:

cassandra:
  multiRegionSeedHost: 10.0.0.11
  datacenter: "dc-2"
  rack: "ra-1"
  hostNetwork: false
  clusterName: my-apigee-cluster

新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を overrides.yaml に設定します。
注: 元のデータセンターで指定した Cassandra の TLS 証明書と認証情報を 2 番目のデータセンターでも使用してください。最初のデータセンターのオーバーライドファイルで設定した認証情報と 2 番目のデータセンターのオーバーライドファイルで指定する認証情報は一致している必要があります。詳細については、Cassandra 用の TLS の構成をご覧ください。

新しいリージョンの設定

シードホストを構成したら、新しいリージョンを設定できます。

新しいリージョンを設定するには:

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context original-cluster-name
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. コンテキストを新しいリージョンのクラスタ名に設定します。
```
kubectl config use-context new-cluster-name
```
5. 名前空間の構成を新しいクラスタにインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. シークレットを新しいクラスタにインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、overrides-DC_name.yaml ファイルでは、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。
次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。

重要: Apigee ハイブリッドを新しいリージョンデータセンターに拡張する場合は、既存のデータセンターと同じバージョンのハイブリッドをインストールしてください。複数のデータセンターで異なるバージョンのハイブリッドを実行しないでください。
```
apigeectl init -f overrides/overrides-DC_name.yaml
```
```
apigeectl apply -f overrides/overrides-DC_name.yaml
```
次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
```
apigeectl check-ready -f overrides_DC_name.yaml
```

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  例:
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名は使用します。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前の手順の kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョン overrides.yaml の cassandra セクションの下のデータセンターの値）です。
  例:
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```
4. 次のコマンドを使用して、再ビルドのステータスを確認します。
  注: 再ビルドオペレーションには、データサイズに応じて数時間かかることがあります。
```
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
```
  結果は次のようになります。
```
{
  "rebuildDetails": {
    "apigee-cassandra-default-0": {
      "state": "complete",
      "updated": 1623105760
    },
    "apigee-cassandra-default-1": {
      "state": "complete",
      "updated": 1623105765
    },
    "apigee-cassandra-default-2": {
      "state": "complete",
      "updated": 1623105770
    }
  },
  "state": "complete",
  "updated": 1623105770
}
```

ログで再構築プロセスを確認します。また、nodetool status コマンドを使用してデータサイズも確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

シードホストを更新します。overrides-DC_name.yaml から multiRegionSeedHost: 10.0.0.11 を削除してから再度適用します。
注: シードホストはローカルクラスタのメンバーです。新しいリージョンを起動するには、外部シードホストが必要になります。リージョンが起動したら、overrides.yaml でシードホストをローカルクラスタに戻してから構成を再度適用する必要があります。
```
apigeectl apply -f overrides/overrides-DC_name.yaml
```

Cassandra クラスタのステータスを確認する

次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドは、2 つのリージョンの nodetool ステータスをチェックします。

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

GKE On-Prem

マルチリージョンシードホストを構成する

このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。

Apigee ハイブリッドの管理とインストールに使用しているツールの手順に沿って操作します。

Helm チャート

最初に作成したリージョンのために、Apigee 名前空間で Pod を取得します。
```
kubectl get pods -o wide -n apigee
```
このリージョン内の Cassandra のマルチリージョンシードホストアドレス（たとえば、10.0.0.11）を特定します。
2 番目のリージョン用の overrides.yaml ファイルを準備し、次のようにシードホストの IP アドレスを追加します。
```
cassandra:
  multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
  datacenter: "DATACENTER_NAME"
  rack: "RACK_NAME"
  hostNetwork: false
  clusterName: CLUSTER_NAME
```
次のように置き換えます。
- SEED_HOST_IP_ADDRESS は、シードホスト IP アドレス（たとえば、10.0.0.11）で。
- DATACENTER_NAME は、データセンター名（たとえば、dc-2）で。
- RACK_NAME は、ラック名で置き換えます。例: ra-1。
- CLUSTER_NAME は、Cassandra クラスタの名前に置き換えます。デフォルトでは、値は apigeecluster です。別のクラスタ名を使用する場合は、cassandra.clusterName の値を指定する必要があります。独自の値を自由に選択できますが、すべてのリージョンで同じ値にする必要があります。

2 番目のリージョンを構成する

新しいリージョンを設定するには:

リージョン 2 に cert-manager をインストールします。

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context ORIGINAL_CLUSTER_NAME
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. 新しいリージョンのクラスタ名にコンテキストを設定します。
```
kubectl config use-context NEW_CLUSTER_NAME
```
5. 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで異なる名前空間を使用する場合は、ファイル内の名前空間を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. 新しいクラスタに Secret をインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
手順に沿って、新しいリージョンに Apigee ハイブリッド CRD をインストールします。

ここで、Helm チャートを使用して、次の Helm チャートコマンド（リージョン 1 と同様）で、Apigee ハイブリッドを新しいリージョンにインストールします。

注: チャートのダウンロード先と同じフォルダを使用することで、同じ CRD を使用して一貫性を保つことができます。また、オーバーライドに overrides-region_name.yaml などの一意の名前を付けることで、オーバーライドファイルをリージョン 1 と 2 の間で一意に維持することもできます。

重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。

helm upgrade operator apigee-operator \
  --install \
  --create-namespace \
  --namespace apigee-system \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrides
helm upgrade ENV_NAME apigee-env/ \
  --install \
  --namespace apigee \
  --atomic \
  --set env=ENV_NAME \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrides
helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
  --install \
  --namespace apigee \
  --atomic \
  --set envgroup=ENV_GROUP_NAME \
  -f overrides-DATACENTER_NAME.yaml

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
-- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  次に例を示します。
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名を使用しています。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前のステップの kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値）です。
  次に例を示します。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```

次のコマンドを使用して、再ビルドのステータスを確認します。

kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

結果は次のようになります。

{
"rebuildDetails": {
"apigee-cassandra-default-0": {
"state": "complete",
"updated": 1623105760
},
"apigee-cassandra-default-1": {
"state": "complete",
"updated": 1623105765
},
"apigee-cassandra-default-2": {
"state": "complete",
"updated": 1623105770
}
},
"state": "complete",
"updated": 1623105770
}

データレプリケーションが完了し、検証されたら、シードホストを更新します。
1. multiRegionSeedHost: 10.0.0.11 を overrides-DATACENTER_NAME.yaml から削除してください。
2. 変更を再適用して、Apigee Datastore CR を更新します。
  
  重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。
```
helm upgrade datastore apigee-datastore/ \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
```

ログで再ビルドプロセスを確認します。また、nodetool status コマンドを使用してデータサイズを確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

ヒント: APIGEE_JMX_USER と APIGEE_JMX_PASSWORD は通常、環境変数 $APIGEE_JMX_USER と $APIGEE_JMX_PASSWORD で定義されます。

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

`apigeectl`

元のクラスタの overrides.yaml ファイルで、cassandra:hostNetwork が true に設定されていることを確認します。次のような例になります。
```
cassandra:
  hostNetwork: true
```
hostNetwork: true を設定するタイミングについて詳しくは、前提条件をご覧ください。
cassandra:hostNetwork が true に設定されていない場合は、次の操作を行います。
1. cassandra.hostNetwork を true に変更します。
2. 次のコマンドを使用して overrides.yaml 構成ファイルを適用します。
```
  apigeectl apply -f overrides.yaml --datastore
  
```
3. Cassandra Pod がローリング再起動を完了するまで待ちます。
4. 次のコマンドを使用して、Cassandra クラスタが正常であることを確認します。
```
  kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
  
```
```
  nodetool -u  -pw APIGEE_JMX_PASSWORD status
  
```
  出力のすべての Cassandra ノードが UN（Up/Normal）ステータスであることを確認します。
```
  nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD describecluster
  
```
  出力にアクセス不可のノードがリストされていないことを確認します。
シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
```
kubectl config use-context original-cluster-name
```

次の kubectl コマンドを実行して、現在のリージョンの Cassandra のシードホストアドレスを識別します。

シードホストアドレスによって、新しいリージョンインスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホストアドレスは、クラスタ内のコンタクトポイントとして指定されます。

kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running

NAME                      READY   STATUS      RESTARTS   AGE   IP          NODE                                          NOMINATED NODE
apigee-cassandra-default-0        1/1     Running     0          5d    10.0.0.11   gke-k8s-dc-2-default-pool-a2206492-p55d
apigee-cassandra-default-1        1/1     Running     0          5d    10.0.2.4    gke-k8s-dc-2-default-pool-e9daaab3-tjmz
apigee-cassandra-default-2        1/1     Running     0          5d    10.0.3.5    gke-k8s-dc-2-default-pool-e589awq3-kjch

以前のコマンドで返された IP の中からマルチリージョンシードホストになるものを決定します。

データセンター 2 では、オーバーライドファイルで cassandra.multiRegionSeedHost を構成します。ここで、multiRegionSeedHost は、前のコマンドで返された IP の 1 つです。

cassandra:
  hostNetwork: true
  multiRegionSeedHost: seed_host_IP
  datacenter: data_center_name
  rack: rack_name
  clusterName: cluster_name # must be the same for all regions

例:

cassandra:
  hostNetwork: true
  multiRegionSeedHost: 10.0.0.11
  datacenter: "dc-2"
  rack: "ra-1"
  clusterName: my-apigee-cluster

新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を overrides.yaml に設定します。
注: 元のデータセンターで指定した Cassandra の TLS 証明書と認証情報を 2 番目のデータセンターでも使用してください。最初のデータセンターのオーバーライドファイルで設定した認証情報と 2 番目のデータセンターのオーバーライドファイルで指定する認証情報は一致している必要があります。詳細については、Cassandra 用の TLS の構成をご覧ください。

新しいリージョンの設定

シードホストを構成したら、新しいリージョンを設定できます。

新しいリージョンを設定するには:

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context original-cluster-name
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. コンテキストを新しいリージョンのクラスタ名に設定します。
```
kubectl config use-context new-cluster-name
```
5. 名前空間の構成を新しいクラスタにインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. シークレットを新しいクラスタにインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、overrides-DC_name.yaml ファイルでは、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。
次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。

重要: Apigee ハイブリッドを新しいリージョンデータセンターに拡張する場合は、既存のデータセンターと同じバージョンのハイブリッドをインストールしてください。複数のデータセンターで異なるバージョンのハイブリッドを実行しないでください。
```
apigeectl init -f overrides/overrides-DC_name.yaml
```
```
apigeectl apply -f overrides/overrides-DC_name.yaml
```
次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
```
apigeectl check-ready -f overrides_DC_name.yaml
```

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  例:
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名は使用します。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前の手順の kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョン overrides.yaml の cassandra セクションの下のデータセンターの値）です。
  例:
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```
4. 次のコマンドを使用して、再ビルドのステータスを確認します。
  注: 再ビルドオペレーションには、データサイズに応じて数時間かかることがあります。
```
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
```
  結果は次のようになります。
```
{
  "rebuildDetails": {
    "apigee-cassandra-default-0": {
      "state": "complete",
      "updated": 1623105760
    },
    "apigee-cassandra-default-1": {
      "state": "complete",
      "updated": 1623105765
    },
    "apigee-cassandra-default-2": {
      "state": "complete",
      "updated": 1623105770
    }
  },
  "state": "complete",
  "updated": 1623105770
}
```

ログで再構築プロセスを確認します。また、nodetool status コマンドを使用してデータサイズも確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

シードホストを更新します。overrides-DC_name.yaml から multiRegionSeedHost: 10.0.0.11 を削除してから再度適用します。
注: シードホストはローカルクラスタのメンバーです。新しいリージョンを起動するには、外部シードホストが必要になります。リージョンが起動したら、overrides.yaml でシードホストをローカルクラスタに戻してから構成を再度適用する必要があります。
```
apigeectl apply -f overrides/overrides-DC_name.yaml
```

Cassandra クラスタのステータスを確認する

次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドは、2 つのリージョンの nodetool ステータスをチェックします。

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

AKS

各リージョンに仮想ネットワークを作成する

Azure の推奨事項に従ってクロスリージョン通信を確立します。具体的には、VNet-to-VNet: 異なるリージョン間での Connecting Virtual Networks in Azureをご覧ください。

マルチリージョンクラスタを作成する

異なる CIDR ブロックを持つ複数のリージョンに Kubernetes クラスタを設定します。ステップ 1: クラスタを作成するもご覧ください。以前に作成したロケーションと仮想ネットワーク名を使用します。

すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。

マルチリージョンシードホストを構成する

このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。

Apigee ハイブリッドの管理とインストールに使用しているツールの手順に沿って操作します。

Helm チャート

最初に作成したリージョンのために、Apigee 名前空間で Pod を取得します。
```
kubectl get pods -o wide -n apigee
```
このリージョン内の Cassandra のマルチリージョンシードホストアドレス（たとえば、10.0.0.11）を特定します。
2 番目のリージョン用の overrides.yaml ファイルを準備し、次のようにシードホストの IP アドレスを追加します。
```
cassandra:
  multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
  datacenter: "DATACENTER_NAME"
  rack: "RACK_NAME"
  hostNetwork: false
  clusterName: CLUSTER_NAME
```
次のように置き換えます。
- SEED_HOST_IP_ADDRESS は、シードホスト IP アドレス（たとえば、10.0.0.11）で。
- DATACENTER_NAME は、データセンター名（たとえば、dc-2）で。
- RACK_NAME は、ラック名で置き換えます。例: ra-1。
- CLUSTER_NAME は、Cassandra クラスタの名前に置き換えます。デフォルトでは、値は apigeecluster です。別のクラスタ名を使用する場合は、cassandra.clusterName の値を指定する必要があります。独自の値を自由に選択できますが、すべてのリージョンで同じ値にする必要があります。

2 番目のリージョンを構成する

新しいリージョンを設定するには:

リージョン 2 に cert-manager をインストールします。

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context ORIGINAL_CLUSTER_NAME
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. 新しいリージョンのクラスタ名にコンテキストを設定します。
```
kubectl config use-context NEW_CLUSTER_NAME
```
5. 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで異なる名前空間を使用する場合は、ファイル内の名前空間を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. 新しいクラスタに Secret をインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
手順に沿って、新しいリージョンに Apigee ハイブリッド CRD をインストールします。

ここで、Helm チャートを使用して、次の Helm チャートコマンド（リージョン 1 と同様）で、Apigee ハイブリッドを新しいリージョンにインストールします。

注: チャートのダウンロード先と同じフォルダを使用することで、同じ CRD を使用して一貫性を保つことができます。また、オーバーライドに overrides-region_name.yaml などの一意の名前を付けることで、オーバーライドファイルをリージョン 1 と 2 の間で一意に維持することもできます。

重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。

helm upgrade operator apigee-operator \
  --install \
  --create-namespace \
  --namespace apigee-system \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrides
helm upgrade ENV_NAME apigee-env/ \
  --install \
  --namespace apigee \
  --atomic \
  --set env=ENV_NAME \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrides
helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
  --install \
  --namespace apigee \
  --atomic \
  --set envgroup=ENV_GROUP_NAME \
  -f overrides-DATACENTER_NAME.yaml

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
-- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  次に例を示します。
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名を使用しています。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前のステップの kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値）です。
  次に例を示します。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```

次のコマンドを使用して、再ビルドのステータスを確認します。

kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

結果は次のようになります。

{
"rebuildDetails": {
"apigee-cassandra-default-0": {
"state": "complete",
"updated": 1623105760
},
"apigee-cassandra-default-1": {
"state": "complete",
"updated": 1623105765
},
"apigee-cassandra-default-2": {
"state": "complete",
"updated": 1623105770
}
},
"state": "complete",
"updated": 1623105770
}

データレプリケーションが完了し、検証されたら、シードホストを更新します。
1. multiRegionSeedHost: 10.0.0.11 を overrides-DATACENTER_NAME.yaml から削除してください。
2. 変更を再適用して、Apigee Datastore CR を更新します。
  
  重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。
```
helm upgrade datastore apigee-datastore/ \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
```

ログで再ビルドプロセスを確認します。また、nodetool status コマンドを使用してデータサイズを確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

ヒント: APIGEE_JMX_USER と APIGEE_JMX_PASSWORD は通常、環境変数 $APIGEE_JMX_USER と $APIGEE_JMX_PASSWORD で定義されます。

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

`apigeectl`

元のクラスタの overrides.yaml ファイルで、cassandra:hostNetwork が true に設定されていることを確認します。次のような例になります。
```
cassandra:
  hostNetwork: true
```
hostNetwork: true を設定するタイミングについて詳しくは、前提条件をご覧ください。
cassandra:hostNetwork が true に設定されていない場合は、次の操作を行います。
1. cassandra.hostNetwork を true に変更します。
2. 次のコマンドを使用して overrides.yaml 構成ファイルを適用します。
```
  apigeectl apply -f overrides.yaml --datastore
  
```
3. Cassandra Pod がローリング再起動を完了するまで待ちます。
4. 次のコマンドを使用して、Cassandra クラスタが正常であることを確認します。
```
  kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
  
```
```
  nodetool -u  -pw APIGEE_JMX_PASSWORD status
  
```
  出力のすべての Cassandra ノードが UN（Up/Normal）ステータスであることを確認します。
```
  nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD describecluster
  
```
  出力にアクセス不可のノードがリストされていないことを確認します。
シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
```
kubectl config use-context original-cluster-name
```
次の kubectl コマンドを実行して、現在のリージョンの Cassandra のシードホストアドレスを識別します。

シードホストアドレスによって、新しいリージョンインスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホストアドレスは、クラスタ内のコンタクトポイントとして指定されます。
```
kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running
```
```
apigee-cassandra-default-0  1/1   Running   0   4d17h   120.38.1.9  aks-agentpool-21207753-vmss000000
```
以前のコマンドで返された IP の中からマルチリージョンシードホストになるものを決定します。この例では、単一ノードの cassandra クラスタのみが動作しており、シードホストは 120.38.1.9 です。
データセンター 2 では、名前にクラスタ名が含まれる新しいファイルにオーバーライドファイルをコピーします。例: overrides_your_cluster_name.yaml
データセンター 2 では、overrides_your_cluster_name.yaml で cassandra.multiRegionSeedHost と cassandra.datacenter を構成します。ここで multiRegionSeedHost は、前のコマンドで返された IP の 1 つです。
```
cassandra:
     multiRegionSeedHost: seed_host_IP
     datacenter: data_center_name
     rack: rack_name
     hostNetwork: true
```
clusterName: cluster_name # はすべてのリージョンで同じにする必要があります
次に例を示します。
```
cassandra:
  multiRegionSeedHost: 120.38.1.9
  datacenter: "centralus"
  rack: "ra-1"
  hostNetwork: true
  clusterName: my-apigee-cluster
```
新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を overrides_your_cluster_name.yaml に設定します。
注: 元のデータセンターで指定した Cassandra の TLS 証明書と認証情報を 2 番目のデータセンターでも使用してください。最初のデータセンターのオーバーライドファイルで設定した認証情報と 2 番目のデータセンターのオーバーライドファイルで指定する認証情報は一致している必要があります。詳細については、Cassandra 用の TLS の構成をご覧ください。

新しいリージョンの設定

シードホストを構成したら、新しいリージョンを設定できます。

新しいリージョンを設定するには:

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context original-cluster-name
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. コンテキストを新しいリージョンのクラスタ名に設定します。
```
kubectl config use-context new-cluster-name
```
5. 名前空間の構成を新しいクラスタにインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. シークレットを新しいクラスタにインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、overrides_your_cluster_name.yaml ファイルでは、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。
次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。

重要: Apigee ハイブリッドを新しいリージョンデータセンターに拡張する場合は、既存のデータセンターと同じバージョンのハイブリッドをインストールしてください。複数のデータセンターで異なるバージョンのハイブリッドを実行しないでください。
```
apigeectl init -f overrides_your_cluster_name.yaml
```
```
apigeectl apply -f overrides_your_cluster_name.yaml
```
次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
```
apigeectl check-ready -f overrides_your_cluster_name.yaml
```

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  例:
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名は使用します。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前の手順の kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョン overrides.yaml の cassandra セクションの下のデータセンターの値）です。
  例:
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```
4. 次のコマンドを使用して、再ビルドのステータスを確認します。
  注: 再ビルドオペレーションには、データサイズに応じて数時間かかることがあります。
```
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
```
  結果は次のようになります。
```
{
  "rebuildDetails": {
    "apigee-cassandra-default-0": {
      "state": "complete",
      "updated": 1623105760
    },
    "apigee-cassandra-default-1": {
      "state": "complete",
      "updated": 1623105765
    },
    "apigee-cassandra-default-2": {
      "state": "complete",
      "updated": 1623105770
    }
  },
  "state": "complete",
  "updated": 1623105770
}
```

ログで再構築プロセスを確認します。また、nodetool status コマンドを使用してデータサイズも確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

シードホストを更新します。overrides-DC_name.yaml から multiRegionSeedHost: 10.0.0.11 を削除してから再度適用します。
注: シードホストはローカルクラスタのメンバーです。新しいリージョンを起動するには、外部シードホストが必要になります。リージョンが起動したら、overrides.yaml でシードホストをローカルクラスタに戻してから構成を再度適用する必要があります。
```
apigeectl apply -f overrides/overrides-DC_name.yaml
```

Cassandra クラスタのステータスを確認する

次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドは、2 つのリージョンの nodetool ステータスをチェックします。

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

EKS

各リージョンに仮想ネットワークを作成する

VPC ピアリングとはで説明されているように、リージョン間の通信を確立するための AWS の推奨事項に従います。異なるリージョンを使用するための AWS 用語は、リージョン間 VPC ピアリングです。

マルチリージョンクラスタを作成する

異なる CIDR ブロックを持つ複数のリージョンに Kubernetes クラスタを設定します。ステップ 1: クラスタを作成するもご覧ください。以前に作成したロケーションと仮想ネットワーク名を使用します。

すべてのリージョンの Kubernetes クラスタ間で Cassandra ポートを開き、リージョン間とデータセンター間でワーカーノードが通信できるようにします。Cassandra のポート番号については、ポートの構成をご覧ください。

マルチリージョンシードホストを構成する

このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。

Apigee ハイブリッドの管理とインストールに使用しているツールの手順に沿って操作します。

Helm チャート

最初に作成したリージョンのために、Apigee 名前空間で Pod を取得します。
```
kubectl get pods -o wide -n apigee
```
このリージョン内の Cassandra のマルチリージョンシードホストアドレス（たとえば、10.0.0.11）を特定します。
2 番目のリージョン用の overrides.yaml ファイルを準備し、次のようにシードホストの IP アドレスを追加します。
```
cassandra:
  multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
  datacenter: "DATACENTER_NAME"
  rack: "RACK_NAME"
  hostNetwork: false
  clusterName: CLUSTER_NAME
```
次のように置き換えます。
- SEED_HOST_IP_ADDRESS は、シードホスト IP アドレス（たとえば、10.0.0.11）で。
- DATACENTER_NAME は、データセンター名（たとえば、dc-2）で。
- RACK_NAME は、ラック名で置き換えます。例: ra-1。
- CLUSTER_NAME は、Cassandra クラスタの名前に置き換えます。デフォルトでは、値は apigeecluster です。別のクラスタ名を使用する場合は、cassandra.clusterName の値を指定する必要があります。独自の値を自由に選択できますが、すべてのリージョンで同じ値にする必要があります。

2 番目のリージョンを構成する

新しいリージョンを設定するには:

リージョン 2 に cert-manager をインストールします。

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context ORIGINAL_CLUSTER_NAME
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. 新しいリージョンのクラスタ名にコンテキストを設定します。
```
kubectl config use-context NEW_CLUSTER_NAME
```
5. 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで異なる名前空間を使用する場合は、ファイル内の名前空間を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. 新しいクラスタに Secret をインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
手順に沿って、新しいリージョンに Apigee ハイブリッド CRD をインストールします。

ここで、Helm チャートを使用して、次の Helm チャートコマンド（リージョン 1 と同様）で、Apigee ハイブリッドを新しいリージョンにインストールします。

注: チャートのダウンロード先と同じフォルダを使用することで、同じ CRD を使用して一貫性を保つことができます。また、オーバーライドに overrides-region_name.yaml などの一意の名前を付けることで、オーバーライドファイルをリージョン 1 と 2 の間で一意に維持することもできます。

重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。

helm upgrade operator apigee-operator \
  --install \
  --create-namespace \
  --namespace apigee-system \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrides
helm upgrade ENV_NAME apigee-env/ \
  --install \
  --namespace apigee \
  --atomic \
  --set env=ENV_NAME \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrides
helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
  --install \
  --namespace apigee \
  --atomic \
  --set envgroup=ENV_GROUP_NAME \
  -f overrides-DATACENTER_NAME.yaml

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
-- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  次に例を示します。
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名を使用しています。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前のステップの kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値）です。
  次に例を示します。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```

次のコマンドを使用して、再ビルドのステータスを確認します。

kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

結果は次のようになります。

{
"rebuildDetails": {
"apigee-cassandra-default-0": {
"state": "complete",
"updated": 1623105760
},
"apigee-cassandra-default-1": {
"state": "complete",
"updated": 1623105765
},
"apigee-cassandra-default-2": {
"state": "complete",
"updated": 1623105770
}
},
"state": "complete",
"updated": 1623105770
}

データレプリケーションが完了し、検証されたら、シードホストを更新します。
1. multiRegionSeedHost: 10.0.0.11 を overrides-DATACENTER_NAME.yaml から削除してください。
2. 変更を再適用して、Apigee Datastore CR を更新します。
  
  重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。
```
helm upgrade datastore apigee-datastore/ \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
```

ログで再ビルドプロセスを確認します。また、nodetool status コマンドを使用してデータサイズを確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

ヒント: APIGEE_JMX_USER と APIGEE_JMX_PASSWORD は通常、環境変数 $APIGEE_JMX_USER と $APIGEE_JMX_PASSWORD で定義されます。

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

`apigeectl`

元のクラスタの overrides.yaml ファイルで、cassandra:hostNetwork が true に設定されていることを確認します。次のような例になります。
```
cassandra:
  hostNetwork: true
```
hostNetwork: true を設定するタイミングについて詳しくは、前提条件をご覧ください。
cassandra:hostNetwork が true に設定されていない場合は、次の操作を行います。
1. cassandra.hostNetwork を true に変更します。
2. 次のコマンドを使用して overrides.yaml 構成ファイルを適用します。
```
  apigeectl apply -f overrides.yaml --datastore
  
```
3. Cassandra Pod がローリング再起動を完了するまで待ちます。
4. 次のコマンドを使用して、Cassandra クラスタが正常であることを確認します。
```
  kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
  
```
```
  nodetool -u  -pw APIGEE_JMX_PASSWORD status
  
```
  出力のすべての Cassandra ノードが UN（Up/Normal）ステータスであることを確認します。
```
  nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD describecluster
  
```
  出力にアクセス不可のノードがリストされていないことを確認します。
シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
```
kubectl config use-context original-cluster-name
```
次の kubectl コマンドを実行して、現在のリージョンの Cassandra のシードホストアドレスを識別します。

シードホストアドレスによって、新しいリージョンインスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホストアドレスは、クラスタ内のコンタクトポイントとして指定されます。
```
kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running
```
```
apigee-cassandra-default-0  1/1   Running   0   4d17h   120.38.1.9  aks-agentpool-21207753-vmss000000
```
以前のコマンドで返された IP の中からマルチリージョンシードホストになるものを決定します。この例では、単一ノードの cassandra クラスタのみが動作しており、シードホストは 120.38.1.9 です。
データセンター 2 では、名前にクラスタ名が含まれる新しいファイルにオーバーライドファイルをコピーします。例: overrides_your_cluster_name.yaml
データセンター 2 では、overrides_your_cluster_name.yaml で cassandra.multiRegionSeedHost と cassandra.datacenter を構成します。ここで multiRegionSeedHost は、前のコマンドで返された IP の 1 つです。
```
cassandra:
     multiRegionSeedHost: seed_host_IP
     datacenter: data_center_name
     rack: rack_name
     hostNetwork: true
```
clusterName: cluster_name # はすべてのリージョンで同じにする必要があります
次に例を示します。
```
cassandra:
  multiRegionSeedHost: 120.38.1.9
  datacenter: "centralus"
  rack: "ra-1"
  hostNetwork: true
  clusterName: my-apigee-cluster
```
新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を overrides_your_cluster_name.yaml に設定します。
注: 元のデータセンターで指定した Cassandra の TLS 証明書と認証情報を 2 番目のデータセンターでも使用してください。最初のデータセンターのオーバーライドファイルで設定した認証情報と 2 番目のデータセンターのオーバーライドファイルで指定する認証情報は一致している必要があります。詳細については、Cassandra 用の TLS の構成をご覧ください。

新しいリージョンの設定

シードホストを構成したら、新しいリージョンを設定できます。

新しいリージョンを設定するには:

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context original-cluster-name
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. コンテキストを新しいリージョンのクラスタ名に設定します。
```
kubectl config use-context new-cluster-name
```
5. 名前空間の構成を新しいクラスタにインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. シークレットを新しいクラスタにインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、overrides_your_cluster_name.yaml ファイルでは、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。
次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。

重要: Apigee ハイブリッドを新しいリージョンデータセンターに拡張する場合は、既存のデータセンターと同じバージョンのハイブリッドをインストールしてください。複数のデータセンターで異なるバージョンのハイブリッドを実行しないでください。
```
apigeectl init -f overrides_your_cluster_name.yaml
```
```
apigeectl apply -f overrides_your_cluster_name.yaml
```
次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
```
apigeectl check-ready -f overrides_your_cluster_name.yaml
```

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  例:
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名は使用します。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前の手順の kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョン overrides.yaml の cassandra セクションの下のデータセンターの値）です。
  例:
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```
4. 次のコマンドを使用して、再ビルドのステータスを確認します。
  注: 再ビルドオペレーションには、データサイズに応じて数時間かかることがあります。
```
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
```
  結果は次のようになります。
```
{
  "rebuildDetails": {
    "apigee-cassandra-default-0": {
      "state": "complete",
      "updated": 1623105760
    },
    "apigee-cassandra-default-1": {
      "state": "complete",
      "updated": 1623105765
    },
    "apigee-cassandra-default-2": {
      "state": "complete",
      "updated": 1623105770
    }
  },
  "state": "complete",
  "updated": 1623105770
}
```

ログで再構築プロセスを確認します。また、nodetool status コマンドを使用してデータサイズも確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

シードホストを更新します。overrides-DC_name.yaml から multiRegionSeedHost: 10.0.0.11 を削除してから再度適用します。
注: シードホストはローカルクラスタのメンバーです。新しいリージョンを起動するには、外部シードホストが必要になります。リージョンが起動したら、overrides.yaml でシードホストをローカルクラスタに戻してから構成を再度適用する必要があります。
```
apigeectl apply -f overrides/overrides-DC_name.yaml
```

Cassandra クラスタのステータスを確認する

次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドは、2 つのリージョンの nodetool ステータスをチェックします。

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

OpenShift

マルチリージョンシードホストを構成する

このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成がないと、マルチリージョンの Kubernetes クラスタが相互に認識できません。

Apigee ハイブリッドの管理とインストールに使用しているツールの手順に沿って操作します。

Helm チャート

最初に作成したリージョンのために、Apigee 名前空間で Pod を取得します。
```
kubectl get pods -o wide -n apigee
```
このリージョン内の Cassandra のマルチリージョンシードホストアドレス（たとえば、10.0.0.11）を特定します。
2 番目のリージョン用の overrides.yaml ファイルを準備し、次のようにシードホストの IP アドレスを追加します。
```
cassandra:
  multiRegionSeedHost: "SEED_HOST_IP_ADDRESS"
  datacenter: "DATACENTER_NAME"
  rack: "RACK_NAME"
  hostNetwork: false
  clusterName: CLUSTER_NAME
```
次のように置き換えます。
- SEED_HOST_IP_ADDRESS は、シードホスト IP アドレス（たとえば、10.0.0.11）で。
- DATACENTER_NAME は、データセンター名（たとえば、dc-2）で。
- RACK_NAME は、ラック名で置き換えます。例: ra-1。
- CLUSTER_NAME は、Cassandra クラスタの名前に置き換えます。デフォルトでは、値は apigeecluster です。別のクラスタ名を使用する場合は、cassandra.clusterName の値を指定する必要があります。独自の値を自由に選択できますが、すべてのリージョンで同じ値にする必要があります。

2 番目のリージョンを構成する

新しいリージョンを設定するには:

リージョン 2 に cert-manager をインストールします。

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.1/cert-manager.yaml

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context ORIGINAL_CLUSTER_NAME
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. 新しいリージョンのクラスタ名にコンテキストを設定します。
```
kubectl config use-context NEW_CLUSTER_NAME
```
5. 新しいクラスタに名前空間の構成をインポートします。新しいリージョンで異なる名前空間を使用する場合は、ファイル内の名前空間を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. 新しいクラスタに Secret をインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
手順に沿って、新しいリージョンに Apigee ハイブリッド CRD をインストールします。

ここで、Helm チャートを使用して、次の Helm チャートコマンド（リージョン 1 と同様）で、Apigee ハイブリッドを新しいリージョンにインストールします。

注: チャートのダウンロード先と同じフォルダを使用することで、同じ CRD を使用して一貫性を保つことができます。また、オーバーライドに overrides-region_name.yaml などの一意の名前を付けることで、オーバーライドファイルをリージョン 1 と 2 の間で一意に維持することもできます。

重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。

helm upgrade operator apigee-operator \
  --install \
  --create-namespace \
  --namespace apigee-system \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrides
helm upgrade ENV_NAME apigee-env/ \
  --install \
  --namespace apigee \
  --atomic \
  --set env=ENV_NAME \
  -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrides
helm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \
  --install \
  --namespace apigee \
  --atomic \
  --set envgroup=ENV_GROUP_NAME \
  -f overrides-DATACENTER_NAME.yaml

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
-- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  次に例を示します。
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名を使用しています。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前のステップの kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョンの overrides.yaml の cassandra セクションの下にあるデータセンターの値）です。
  次に例を示します。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```

次のコマンドを使用して、再ビルドのステータスを確認します。

kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"

結果は次のようになります。

{
"rebuildDetails": {
"apigee-cassandra-default-0": {
"state": "complete",
"updated": 1623105760
},
"apigee-cassandra-default-1": {
"state": "complete",
"updated": 1623105765
},
"apigee-cassandra-default-2": {
"state": "complete",
"updated": 1623105770
}
},
"state": "complete",
"updated": 1623105770
}

データレプリケーションが完了し、検証されたら、シードホストを更新します。
1. multiRegionSeedHost: 10.0.0.11 を overrides-DATACENTER_NAME.yaml から削除してください。
2. 変更を再適用して、Apigee Datastore CR を更新します。
  
  重要: 移行したクラスタに対しては、‑‑atomic フラグを省略します。
```
helm upgrade datastore apigee-datastore/ \
  --install \
  --namespace apigee \
  --atomic \
  -f overrides-DATACENTER_NAME.yaml
```

ログで再ビルドプロセスを確認します。また、nodetool status コマンドを使用してデータサイズを確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

ヒント: APIGEE_JMX_USER と APIGEE_JMX_PASSWORD は通常、環境変数 $APIGEE_JMX_USER と $APIGEE_JMX_PASSWORD で定義されます。

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

`apigeectl`

元のクラスタの overrides.yaml ファイルで、cassandra:hostNetwork が true に設定されていることを確認します。次のような例になります。
```
cassandra:
  hostNetwork: true
```
hostNetwork: true を設定するタイミングについて詳しくは、前提条件をご覧ください。
cassandra:hostNetwork が true に設定されていない場合は、次の操作を行います。
1. cassandra.hostNetwork を true に変更します。
2. 次のコマンドを使用して overrides.yaml 構成ファイルを適用します。
```
  apigeectl apply -f overrides.yaml --datastore
  
```
3. Cassandra Pod がローリング再起動を完了するまで待ちます。
4. 次のコマンドを使用して、Cassandra クラスタが正常であることを確認します。
```
  kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
  
```
```
  nodetool -u  -pw APIGEE_JMX_PASSWORD status
  
```
  出力のすべての Cassandra ノードが UN（Up/Normal）ステータスであることを確認します。
```
  nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD describecluster
  
```
  出力にアクセス不可のノードがリストされていないことを確認します。
シード名を取得する前に、kubectl コンテキストを元のクラスタに設定します。
```
kubectl config use-context original-cluster-name
```

次の kubectl コマンドを実行して、現在のリージョンの Cassandra のシードホストアドレスを識別します。

シードホストアドレスによって、新しいリージョンインスタンスは最初の起動時に元のクラスタを検索し、クラスタのトポロジを学習できます。シードホストアドレスは、クラスタ内のコンタクトポイントとなります。

kubectl get pods -o wide -n apigee -l app=apigee-cassandra --field-selector status.phase=Running

NAME                      READY   STATUS      RESTARTS   AGE   IP          NODE                                          NOMINATED NODE
apigee-cassandra-default-0        1/1     Running     0          5d    10.0.0.11   gke-k8s-dc-2-default-pool-a2206492-p55d
apigee-cassandra-default-1        1/1     Running     0          5d    10.0.2.4    gke-k8s-dc-2-default-pool-e9daaab3-tjmz
apigee-cassandra-default-2        1/1     Running     0          5d    10.0.3.5    gke-k8s-dc-2-default-pool-e589awq3-kjch

マルチリージョンシードホストとして使用するソース Cassandra ホストの IP アドレスを選択します。この例では apigee-cassandra-default-0 です。クラスタは稼働中であり、シードホストは 10.0.0.11 です。
データセンター 2 では、名前にクラスタ名を含む新しいファイルにオーバーライドファイルがコピーされます。例: overrides_your_cluster_name.yaml

データセンター 2 では、overrides_your_cluster_name.yaml で cassandra.multiRegionSeedHost と cassandra.datacenter を構成します。ここで multiRegionSeedHost は、前のコマンドで返された IP の 1 つです。

cassandra:
     hostNetwork: true
     multiRegionSeedHost: seed_host_IP # Cassandra pod IP address from the source region.
     datacenter: data_center_name
     rack: rack_name
     clusterName: cluster_name # must be the same for all regions

例:

cassandra:
  hostNetwork: true
  multiRegionSeedHost: 10.0.0.11
  datacenter: "dc-2"
  rack: "ra-1"
  clusterName: my-apigee-cluster

新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したものと同じ TLS 証明書と認証情報を overrides_your_cluster_name.yaml に設定します。
注: 元のデータセンターで指定した Cassandra の TLS 証明書と認証情報を 2 番目のデータセンターでも使用してください。最初のデータセンターのオーバーライドファイルで設定した認証情報と 2 番目のデータセンターのオーバーライドファイルで指定する認証情報は一致している必要があります。詳細については、Cassandra 用の TLS の構成をご覧ください。

新しいリージョンの設定

シードホストを構成したら、新しいリージョンを設定できます。

新しいリージョンを設定するには:

証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッドコンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
1. コンテキストを元の名前空間に設定します。
```
kubectl config use-context original-cluster-name
```
2. 現在の名前空間の構成をファイルにエクスポートします。
```
kubectl get namespace namespace -o yaml > apigee-namespace.yaml
```
3. apigee-ca シークレットをファイルにエクスポートします。
```
kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
```
4. コンテキストを新しいリージョンのクラスタ名に設定します。
```
kubectl config use-context new-cluster-name
```
5. 名前空間の構成を新しいクラスタにインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
```
kubectl apply -f apigee-namespace.yaml
```
6. シークレットを新しいクラスタにインポートします。
```
kubectl -n cert-manager apply -f apigee-ca.yaml
```
新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、overrides_your_cluster_name.yaml ファイルでは、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。
次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。

重要: Apigee ハイブリッドを新しいリージョンデータセンターに拡張する場合は、既存のデータセンターと同じバージョンのハイブリッドをインストールしてください。複数のデータセンターで異なるバージョンのハイブリッドを実行しないでください。
```
apigeectl init -f overrides_your_cluster_name.yaml
```
```
apigeectl apply -f overrides_your_cluster_name.yaml
```
次のコマンドを実行して、ハイブリッドのインストールが成功したことを確認します。
```
apigeectl check-ready -f overrides_your_cluster_name.yaml
```

次のコマンドを実行して、Cassandra クラスタの設定を確認します。出力には、既存のデータセンターと新しいデータセンターの両方が表示されるはずです。

kubectl exec apigee-cassandra-default-0 -n apigee  \
  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

成功した設定を示す例:

Datacenter: dc-1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.87.93   68.07 GiB  256     ?     fb51465c-167a-42f7-98c9-b6eba1de34de  c
UN  10.132.84.94   69.9 GiB   256     ?     f621a5ac-e7ee-48a9-9a14-73d69477c642  b
UN  10.132.84.105  76.95 GiB  256     ?     0561086f-e95b-4232-ba6c-ad519ff30336  d

Datacenter: dc-2
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Tokens  Owns  Host ID                               Rack
UN  10.132.0.8     71.61 GiB  256     ?     8894a98b-8406-45de-99e2-f404ab10b5d6  c
UN  10.132.9.204   75.1 GiB   256     ?     afa0ffa3-630b-4f1e-b46f-fc3df988092e  a
UN  10.132.3.133   68.08 GiB  256     ?     25ae39ab-b39e-4d4f-9cb7-de095ab873db  b

新しいデータセンターのすべての Pod で Cassandra を設定します。
1. 次のコマンドを使用して、クラスタから apigeeorg を取得します。
```
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
```
  例:
```
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
"rg-hybrid-b7d3b9c"
```
2. cassandra データレプリケーションのカスタムリソース（YAML）ファイルを作成します。ファイルには任意の名前を付けることができます。以下の例では、datareplication.yaml というファイル名は使用します。
  このファイルには、次のものが含まれている必要があります。
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: REGION_EXPANSION
  namespace: NAMESPACE
spec:
  organizationRef: APIGEEORG_VALUE
  force: false
  source:
    region: SOURCE_REGION
```
  ここで
  - REGION_EXPANSION は、このメタデータに付ける名前です。任意の名前を使用できます。
  - NAMESPACE は、overrides.yaml で定義されている名前空間です。通常は apigee です。
  - APIGEEORG_VALUE は、前の手順の kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" コマンドの出力値です。例: rg-hybrid-b7d3b9c
  - SOURCE_REGION は、ソースリージョン（ソースリージョン overrides.yaml の cassandra セクションの下のデータセンターの値）です。
  例:
```
apiVersion: apigee.cloud.google.com/v1alpha1
kind: CassandraDataReplication
metadata:
  name: region-expansion
  namespace: apigee
spec:
  organizationRef: rg-hybrid-b7d3b9c
  force: false
  source:
    region: "dc-1"
```
3. 次のコマンドを使用して CassandraDataReplication を適用します。
```
kubectl apply -f datareplication.yaml
```
4. 次のコマンドを使用して、再ビルドのステータスを確認します。
  注: 再ビルドオペレーションには、データサイズに応じて数時間かかることがあります。
```
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
```
  結果は次のようになります。
```
{
  "rebuildDetails": {
    "apigee-cassandra-default-0": {
      "state": "complete",
      "updated": 1623105760
    },
    "apigee-cassandra-default-1": {
      "state": "complete",
      "updated": 1623105765
    },
    "apigee-cassandra-default-2": {
      "state": "complete",
      "updated": 1623105770
    }
  },
  "state": "complete",
  "updated": 1623105770
}
```

ログで再構築プロセスを確認します。また、nodetool status コマンドを使用してデータサイズも確認します。

kubectl logs apigee-cassandra-default-0 -f -n apigee

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status

次の例は、ログエントリの例を示しています。

INFO  01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens)
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild
INFO  01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB)
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36
INFO  01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB)
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete
INFO  01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed

シードホストを更新します。overrides-DC_name.yaml から multiRegionSeedHost: 10.0.0.11 を削除してから再度適用します。
注: シードホストはローカルクラスタのメンバーです。新しいリージョンを起動するには、外部シードホストが必要になります。リージョンが起動したら、overrides.yaml でシードホストをローカルクラスタに戻してから構成を再度適用する必要があります。
```
apigeectl apply -f overrides/overrides-DC_name.yaml
```

Cassandra クラスタのステータスを確認する

次のコマンドは、2 つのデータセンターでクラスタが正常に設定されているかどうかを確認するのに役立ちます。このコマンドは、2 つのリージョンの nodetool ステータスをチェックします。

kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status


Datacenter: dc-1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
Datacenter: us-west1
====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.0.4.33   78.69 KiB  256          100.0%              a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
UN  10.0.0.21   78.68 KiB  256          100.0%              9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
UN  10.0.1.26   15.46 KiB  256          100.0%              1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1

トラブルシューティング

Cassandra のデータレプリケーションの失敗をご覧ください。

特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。

最終更新日 2024-12-05 UTC。