AlloyDB Omni と他のデータベース間でデータを複製する

ドキュメントのバージョンを選択します。 15.12.0keyboard_arrow_down

• 最新（16.8.0）
• 16.8.0
• 16.3.0
• 15.12.0
• 15.7.1
• 15.7.0
• 15.5.5
• 15.5.4
• 15.5.2

このページでは、pglogical 拡張機能を使用して AlloyDB Omni と他のデータベースの間でデータを複製する手順について説明します。

詳細については、pglogical 拡張機能についてと pglogical の用語と基本コンポーネントをご覧ください。

サポートされている認証方法

pglogical 拡張機能で使用される主な認証方法は、パスワード認証と信頼認証の 2 つです。

推奨される認証方法は信頼認証です。詳細については、サポートされている認証方法をご覧ください。

始める前に

pglogical は、特定のデータベース内に拡張機能としてインストールできます。

AlloyDB Omni に pglogical 拡張機能を実装する前に、以下のシステム要件を満たしていることを確認してください。

• AlloyDB 以外の PostgreSQL クラスタに superuser としてのアクセスできる。
• pglogical 拡張機能が非 AlloyDB PostgreSQL クラスタにインストールされている。リリースとディストリビューション固有のインストール手順については、pglogical をご覧ください。
• AlloyDB Omni サーバーがインストールされ、構成されている。AlloyDB Omni のインストール手順については、AlloyDB Omni をインストールするをご覧ください。
• AlloyDB 以外の PostgreSQL クラスタと AlloyDB Omni ホストサーバーの両方の IP アドレス。
• AlloyDB 以外の PostgreSQL クラスタと AlloyDB Omni ホストサーバーとの間に安全なネットワークが確立されている。標準の PostgreSQL ポート 5432 での TCP 接続が必要です。

AlloyDB 以外のプロバイダのパラメータを調整する

1. wal_level パラメータを logical に設定し、postgresql.conf ファイル内の shared_preload_libraries パラメータに pglogical を追加します。pglogical 拡張機能を使用するには、非 AlloyDB プロバイダ クラスタで最小限のパラメータ調整を行う必要があります。

   cp postgresql.conf postgresql.bak
   sed -r -i "s|(\#)?wal_level\s*=.*|wal_level=logical|" postgresql.conf
   sed -r -i "s|(\#)?(shared_preload_libraries\s*=\s*)'(.*)'.*$|\2'\3,pglogical'|" postgresql.conf
   sed -r -i "s|',|'|" postgresql.conf

2. パラメータが正しく設定されていることを確認します。

   grep -iE 'wal_level|shared_preload_libraries' postgresql.conf

3. パラメータの変更を有効にするため、AlloyDB 以外のクラスタを再起動します。

   上記以外のパラメータは、すでに十分な値に設定されている場合もありますが、AlloyDB 以外のディストリビューションとバージョンによっては調整が必要になることもあります。

   以下のパラメータを確認します。

   • max_worker_processes: プロバイダ データベースごとに 1 つ、およびサブスクライバー ノードごとに少なくとも 1 つ。このパラメータの標準は少なくとも 10 です。
   • max_replication_slots: プロバイダ ノードごとに 1 つ。
   • max_wal_senders: プロバイダ ノードごとに 1 つ。
   • track_commit_timestamp: 最後の更新と最初の更新の競合解決が必要な場合は on に設定します。
   • listen_addresses: AlloyDB Omni の IP アドレスを含めるか、対象範囲を CIDR ブロックの形式で指定する必要があります。

4. （省略可）非 AlloyDB プロバイダが Amazon RDS または Aurora の場合は、pglogical 拡張機能を有効にし、cluster parameter group を使用して必要なパラメータを調整する必要があります。

   1. 既存または新しいクラスタのパラメータ グループ内で、以下のパラメータを設定します。

      • rds.logical_replication を 1 に設定
      • max_replication_slots を 50 に設定
      • max_wal_senders を 50 に設定
      • max_worker_processes を 64 に設定
      • shared_preload_libraries を pg_stat_statements, pglogical に設定

   2. クラスタ パラメータ グループの調整を有効にするため、Amazon RDS または Aurora クラスタを再起動します。

5. すべてのパラメータ値が適切であることを確認します。

   SELECT name, setting
   FROM pg_catalog.pg_settings
    WHERE name IN ('listen_addresses',
                   'wal_level',
                   'shared_preload_libraries',
                   'max_worker_processes',
                   'max_replication_slots',
                   'max_wal_senders',
                   'track_commit_timestamp')
    ORDER BY name;
   

AlloyDB Omni 以外のプロバイダ クラスタに対するホストベースの認証の調整

pglogical は、ローカル TCP 接続を使用してプロバイダ データベースに接続します。そのため、ホストサーバーの IP アドレスを AlloyDB Omni の DATA_DIR/pg_hba.conf ファイルに追加する必要があります。ここで、DATA_DIR はデータ ディレクトリへのファイル システムのパスです（例: /home/$USER/alloydb-data）。

1. ローカル サーバーにおける新しい pglogical_replication ユーザーに固有の信頼認証エントリを DATA_DIR/pg_hba.conf ファイルに追加します。

   また、サブスクライバー ノードをプロバイダ ノードに対して認証できる必要があります。各サブスクライバー ノードの IP アドレスまたは適切な CIDR ブロック IP 範囲を DATA_DIR/pg_hba.conf ファイルに追加します。

   echo -e "# pglogical entries:
   host all pglogical_replication samehost trust
   host all pglogical_replication SERVER_IP_ADDRESS/32 trust
   " | column -t | sudo tee -a DATA_DIR/pg_hba.conf

   SERVER_IP_ADDRESS は、複製元のプライマリ AlloyDB Omni インスタンスの IP アドレスに置き換えます。

2. エントリが正しいことを確認します。

   tail -3 DATA_DIR/pg_hba.conf

3. パラメータの変更を有効にするため、AlloyDB 以外のクラスタを再起動します。

AlloyDB Omni サブスクライバー クラスタのパラメータを調整する

pglogical を使用するには、AlloyDB Omni サブスクライバー クラスタでも最小限のパラメータ調整を行う必要があります。DATA_DIR/postgresql.conf ファイル内の shared_preload_libraries パラメータに pglogical を追加する必要があります。クラスタ内のいずれかのデータベースがプロバイダ データベースとなる場合は、プロバイダ データベースに必要なパラメータの変更を行います。

1. パラメータを調整します。

   sudo sed -r -i "s|(shared_preload_libraries\s*=\s*)'(.*)'.*$|\1'\2,pglogical'|" DATA_DIR/postgresql.conf

2. パラメータが適切に設定されていることを確認します。

   grep -iE 'shared_preload_libraries' DATA_DIR/postgresql.conf

3. パラメータの変更を有効にするため、AlloyDB Omni を再起動します。

   Docker

    docker container restart CONTAINER_NAME

   CONTAINER_NAME は、起動時に AlloyDB Omni コンテナに割り当てた名前に置き換えます。

   Podman

    podman container restart CONTAINER_NAME

   CONTAINER_NAME は、起動時に AlloyDB Omni コンテナに割り当てた名前に置き換えます。

4. 他のプロバイダ データベース パラメータに AlloyDB Omni のデフォルト値を設定します。

   • max_worker_processes: プロバイダ データベースごとに 1 つ、およびサブスクライバー ノードごとに 1 つ。
   • track_commit_timestamp: 最後の更新と最初の更新の競合解決が必要な場合は on に設定します。

5. すべてのパラメータ値が適切であることを確認します。

   Docker

   docker exec CONTAINER_NAME psql -h localhost -U postgres -c "
   SELECT name, setting
     FROM pg_catalog.pg_settings
    WHERE name IN ('listen_addresses',
                   'wal_level',
                   'shared_preload_libraries',
                   'max_worker_processes',
                   'max_replication_slots',
                   'max_wal_senders',
                   'track_commit_timestamp')
        ORDER BY name;
   "

   Podman

   podman exec CONTAINER_NAME psql -h localhost -U postgres -c "
   SELECT name, setting
     FROM pg_catalog.pg_settings
    WHERE name IN ('listen_addresses',
                   'wal_level',
                   'shared_preload_libraries',
                   'max_worker_processes',
                   'max_replication_slots',
                   'max_wal_senders',
                   'track_commit_timestamp')
        ORDER BY name;
   "

AlloyDB Omni サブスクライバー クラスタに対するホストベースの認証の調整

pglogical は、ローカル TCP 接続を使用して AlloyDB Omni サブスクライバー データベースに接続します。そのため、サブスクライバーのホストサーバーの IP アドレスを AlloyDB Omni の DATA_DIR/pg_hba.conf ファイルに追加する必要があります。

1. ローカル サーバーにおける新しい pglogical_replication ユーザーに固有の信頼認証エントリを DATA_DIR/pg_hba.conf ファイルに追加します。

   echo -e "# pglogical entries:
   host all pglogical_replication samehost trust
   " | column -t | sudo tee -a DATA_DIR/pg_hba.conf

2. エントリが正しいことを確認します。

   tail -2 DATA_DIR/pg_hba.conf

3. 認証の変更を有効にするため、AlloyDB Omni を再起動します。

   docker container restart CONTAINER_NAME

プロバイダ クラスタとサブスクライバー クラスタの両方に pglogical ユーザーを作成する

プロバイダ クラスタとサブスクライバー クラスタの両方で新しいユーザーを作成する必要があります。pglogical ユーザーには superuser と replication の両方の属性が必要です。

1. AlloyDB for PostgreSQL プロバイダ クラスタで、ユーザーロールを作成します。

   CREATE USER pglogical_replication LOGIN PASSWORD 'secret';
   ALTER USER pglogical_replication WITH replication;
   ALTER USER pglogical_replication WITH superuser;
   

2. （省略可）非 AlloyDB プロバイダが Amazon RDS または Aurora の場合は、次のロールを付与する必要があります。

   GRANT rds_superuser TO replication_user;
   

AlloyDB 以外のプロバイダ データベースに pglogical とノードを追加する

1. 必要な権限を付与します。

   各データベースに pglogical 拡張機能をインストールし、pglogical データベース ユーザーに usage 権限を付与する必要があります。

   たとえば、データベースが my_test_db の場合は、次のコマンドを実行します。

   CREATE EXTENSION IF NOT EXISTS pglogical;
   GRANT usage ON SCHEMA pglogical TO pglogical_replication;
   

2. プロバイダ データベースの pglogical ノードを作成します。node_name の指定は任意で、dsn 文字列には同じデータベースへの有効な TCP 接続を指定する必要があります。

   たとえば、my_test_db データベースの場合は、次のコマンドを実行します。

   SELECT pglogical.create_node(node_name := 'provider', dsn := 'host=SERVER_IP_ADDRESS port=5432 dbname=my_test_db user=pglogical_replication password=secret');
   

テーブルを作成してデフォルト レプリケーション セットに追加する

テーブルを作成し、AlloyDB 以外のプロバイダ データベースのデフォルト レプリケーション セットに追加します。

1. プロバイダ データベースに test_table_1 という名前のテストテーブルを作成します。

   CREATE TABLE test_table_1 (col1 INT PRIMARY KEY);
   INSERT INTO test_table_1 VALUES (1),(2),(3);
   

2. このテストテーブルを手動でデフォルト レプリケーション セットに追加します。カスタムの pglogical レプリケーション セットを作成することも、デフォルトのレプリケーション セットを使用することもできます。拡張機能の作成時に、default、default_insert_only、ddl_sql などのデフォルト レプリケーション セットが作成されています。テーブルとシーケンスをレプリケーション セットに個別に追加することも、指定したスキーマに対応するものをすべて一度に追加することもできます。

   -- Add the specified table to the default replication set:
   SELECT pglogical.replication_set_add_table(set_name := 'default', relation := 'test_table_1', synchronize_data := TRUE);
   
   -- Check which tables have been added to all replication sets:
   SELECT * FROM pglogical.replication_set_table;
   

3. （省略可）指定したスキーマ（public など）内のすべてのテーブルを追加します。

   -- Add all "public" schema tables to the default replication set:
   SELECT pglogical.replication_set_add_all_tables('default', ARRAY['public']);
   
   -- Check which tables have been added to all replication sets:
   SELECT * FROM pglogical.replication_set_table;
   
   -- Add all "public" schema sequences to the default replication:
   SELECT pglogical.replication_set_add_all_sequences('default', ARRAY['public']);
   
   -- Check which sequences have been added to all replication sets:
   SELECT * FROM pglogical.replication_set_seq;
   

4. default レプリケーション セットからテーブルを削除します。主キーまたはレプリカ ID を持たないテーブルがスキーマ内にある場合、複製できるのは INSERT ステートメントのみです。このようなテーブルを replication_set_add_all_tables 関数によって default レプリケーション セットに自動的に追加した場合は、それらのテーブルをそのレプリケーション セットから手動で削除し、default_insert_only セットに追加する必要があります。

   -- Remove the table from the **default** replication set:
   SELECT pglogical.replication_set_remove_table(set_name := 'default', relation := 'test_table_2');
   
   -- Manually add to the **default_insert_only** replication set:
   SELECT pglogical.replication_set_add_table(set_name := 'default_insert_only', relation := 'test_table_2');
   

   （省略可）新しく作成したテーブルをレプリケーション セットに自動的に追加したい場合は、pglogical のソースに示されている pglogical_assign_repset トリガーを追加します。

データベースを AlloyDB Omni サブスクライバー クラスタにコピーする

1. pg_dump ユーティリティを使用して、ソース データベースのスキーマのみのバックアップを作成します。

2. AlloyDB Omni サブスクライバー サーバーから、AlloyDB 以外のサーバーの IP アドレスまたはエンドポイントを使用して pg_dump コマンドを実行します。

   pg_dump -h SERVER_IP_ADDRESS -U postgres --create --schema-only my_test_db > my_test_db.schema-only.sql

3. 作成したバックアップを、サブスクライバー AlloyDB Omni サーバーのサブスクライバー データベースにインポートします。

   Docker

   docker exec -i CONTAINER_NAME psql -h localhost -U postgres < my_test_db.schema-only.sql

   Podman

   podman exec -i CONTAINER_NAME psql -h localhost -U postgres < my_test_db.schema-only.sql

これにより、行データのないデータベースとスキーマが作成されます。行データは pglogical 拡張機能によって複製されます。他に必要なユーザーまたはロールがあれば、手動でコピーするか再作成します。

AlloyDB Omni サブスクライバー データベースにノードとサブスクリプションを作成する

1. AlloyDB Omni サブスクライバー データベースにノードを作成します。パスワード認証を使用する場合は、パスワードを dsn に追加します。

   Docker

   docker exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
   SELECT pglogical.create_node(node_name := 'subscriber', dsn := 'host=localhost port=5432 dbname=my_test_db user=pglogical_replication');
   "

   Podman

   podman exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
   SELECT pglogical.create_node(node_name := 'subscriber', dsn := 'host=localhost port=5432 dbname=my_test_db user=pglogical_replication');
   "

2. AlloyDB Omni プロバイダ サーバーのプロバイダ データベースを指すサブスクリプションをサブスクライバー データベースに作成します。

   Docker

   docker exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
   SELECT pglogical.create_subscription(subscription_name := 'test_sub_1', provider_dsn := 'host=SERVER_IP_ADDRESS port=5432 dbname=my_test_db user=pglogical_replication password=secret');
   "

   Podman

   podman exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
   SELECT pglogical.create_subscription(subscription_name := 'test_sub_1', provider_dsn := 'host=SERVER_IP_ADDRESS port=5432 dbname=my_test_db user=pglogical_replication password=secret');
   "

3. 数秒または数分以内に、初期データがプロバイダからサブスクライバーに複製されます。

   Docker

   docker exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
   SELECT * FROM test_table_1 ORDER BY 1;
   "

   Podman

   podman exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
   SELECT * FROM test_table_1 ORDER BY 1;
   "

   プロバイダ データベースに新しく追加された行も、リアルタイムで（数秒以内に）複製されます。

pglogical デプロイに関するその他の考慮事項

pglogical 拡張機能には、このドキュメントでは取り上げていない高度な機能が多数あります。これらの機能の多くをご使用の環境に実装できます。たとえば、次のような高度な機能があります。

• 競合の解決
• マルチマスター レプリケーションと双方向レプリケーション
• シーケンスの包含
• スイッチオーバーとフェイルオーバーの手順

次のステップ

• AlloyDB for PostgreSQL と AlloyDB Omni の間でデータを複製する
• pglogical レプリケーションによるスイッチオーバーとフェイルオーバー