Aerospike から Bigtable に移行する

環境の準備

Aerospike から Bigtable への移行環境を準備するには、Cloud Shell から直接次のツールを実行します。

• Google Cloud CLI
• Bigtable コマンドライン ツール、cbt
• Terraform
• Apache Maven

これらのツールは Cloud Shell ですでに利用できる状態になっています。再度インストールする必要はありません。

プロジェクトを構成する

1. Cloud Shell で、Cloud Shell が自動的に構成するプロジェクト ID を調べます。現在アクティブなプロジェクトを反映するようにコマンド プロンプトが更新されます。プロジェクトは USERNAME@cloudshell:~ (PROJECT_ID)$ の形式で表示されます。

   プロジェクト ID が正しく構成されていない場合は、手動で構成できます。

   gcloud config set project <var>PROJECT_ID</var>
   

   PROJECT_ID は、実際の Google Cloud プロジェクト ID に置き換えます。

2. us-east1 をリージョンとして、us-east1-b をゾーンとして構成します。

   gcloud config set compute/region us-east1
   gcloud config set compute/zone us-east1-b
   

   リージョンとゾーンの詳細については、地域とリージョンをご覧ください。

チュートリアル環境をデプロイする

1. Cloud Shell で、コード リポジトリのクローンを作成します。

    git clone https://github.com/fakeskimo/as2bt.git/
   

2. Cloud Shell で、Terraform の作業ディレクトリを初期化します。

   cd "$HOME"/as2bt/bookshelf/terraform
   terraform init
   

3. デプロイに使用する Terraform 環境変数を構成します。

   export TF_VAR_gce_vm_zone="$(gcloud config get-value compute/zone)"
   export TF_VAR_gcs_bucket_location="$(gcloud config get-value compute/region)"
   

4. Terraform の実行プランを確認します。

   terraform plan
   

   出力は次のようになります。

   Terraform will perform the following actions:
   # google_bigtable_instance.bookshelf_bigtable will be created
   + resource "google_bigtable_instance" "bookshelf_bigtable" {
     + display_name  = (known after apply)
     + id            = (known after apply)
     + instance_type = "DEVELOPMENT"
     + name          = "bookshelf-bigtable"
     + project       = (known after apply)
     + cluster {
         + cluster_id   = "bookshelf-bigtable-cluster"
         + storage_type = "SSD"
         + zone         = "us-east1-b"
       }
   }
   

5. （省略可）Terraform によってデプロイされる依存関係のあるリソースを可視化するには、グラフを表示します。

   terraform graph | dot -Tsvg > graph.svg
   

6. チュートリアル環境をプロビジョニングします。

   terraform apply
   

チュートリアル環境と Bookshelf アプリの確認

環境をプロビジョニングした後、データ移行ジョブを開始する前に、すべてのリソースがデプロイされて構成されていることを確認する必要があります。このセクションでは、プロビジョニング プロセスの検証方法を説明し、環境内で構成されているコンポーネントを確認します。

チュートリアル環境を確認する

1. Cloud Shell で、bookshelf-aerospike Compute Engine インスタンスを確認します。

   gcloud compute instances list
   

   出力に、インスタンスが us-east1-b ゾーンにデプロイされていることが示されます。

   NAME                 ZONE        MACHINE_TYPE   PREEMPTIBLE  INTERNAL_IP  EXTERNAL_IP  STATUS
   bookshelf-aerospike  us-east1-b  n1-standard-2               10.142.0.4   34.74.72.3   RUNNING
   

2. bookshelf-bigtable Bigtable インスタンスを検証します。

   gcloud bigtable instances list
   

   出力は次のようになります。

   NAME                DISPLAY_NAME        STATE
   bookshelf-bigtable  bookshelf-bigtable  READY
   

   この Bigtable インスタンスは、後のステップで移行のターゲットとして使用します。

3. bookshelf Cloud Storage バケットが Dataflow パイプライン ジョブにあることを確認します。

   gcloud storage ls gs://bookshelf-* --buckets
   

   Cloud Storage バケット名は、グローバルに一意であることが必要なため、バケット名はランダムな接尾辞を使用して作成されます。出力は次のようになります。

   gs://bookshelf-616f60d65a3abe62/
   

Bookshelf アプリに書籍を追加する

1. Cloud Shell で、bookshelf-aerospike インスタンスの外部 IP アドレスを取得します。

   gcloud compute instances list --filter="name:bookshelf-aerospike" \
       --format="value(networkInterfaces[0].accessConfigs.natIP)"
   

   次のステップで必要になるため、IP アドレスをメモしておきます。

2. Bookshelf アプリを開くには、ウェブブラウザで http://IP_ADDRESS:8080 に移動します。

   IP_ADDRESS は、前の手順でコピーした外部 IP アドレスに置き換えます。

3. 新しい書籍を作成するには、add [Add book] をクリックします。

4. [Add boo] ウィンドウで、次のフィールドに入力して [Save] をクリックします。

   • [Title] フィールドに「Aerospike-example」と入力します。
   • [Author] フィールドに「Aerospike-example」と入力します。
   • [Date Published] フィールドに今日の日付を入力します。
   • [Description] フィールドに「Aerospike-example」と入力します。

   この書籍は、Bookshelf アプリが書籍のストレージとして Aerospike を使用していることを確認するために使用します。

5. Bookshelf アプリの URL で書籍 ID をメモします。たとえば、URL が 34.74.80.160:8080/books/10000 の場合、書籍 ID は 10000 です。

   

6. Cloud Shell で、SSH を使用して bookshelf-aerospike インスタンスに接続します。

   gcloud compute ssh bookshelf-aerospike
   

7. bookshelf-aerospike インスタンス セッションで、先ほどメモした書籍 ID を使用して新しい書籍が作成されたことを確認します。

   aql -c 'select * from bookshelf.books where id = "BOOK_ID"'
   

   出力は次のようになります。

   +----------------------+----------------------+---------------+----------------------+----------+---------+
   | title                | author               | publishedDate | description          | imageUrl | id      |
   +----------------------+----------------------+---------------+----------------------+----------+---------+
   | " Aerospike-example" | " Aerospike-example" | "2000-01-01"  | " Aerospike-example" | ""       | "10000" |
   +----------------------+----------------------+---------------+----------------------+----------+---------+
   1 row in set (0.001 secs)
   

   書籍 ID がリストにない場合は、新しい書籍を追加する手順を繰り返してください。

Aerospike から Cloud Storage へのバックアップ データの転送

1. Cloud Shell で、bookshelf-aerospike インスタンス セッションから Aerospike バックアップ ファイルを作成します。

   aql -c "select * from bookshelf.books" --timeout=-1 --outputmode=json \`
       | tail -n +2 | jq -c '.[0] | .[]' \
       | gcloud storage cp - $(gcloud storage ls gs://bookshelf-* --buckets)bookshelf-backup.json
   

   このコマンドはデータを処理し、次のプロセスでバックアップ ファイルを作成します。

   • Aerospike から書籍情報を選択し、JSON prettyprint 形式で出力します。
   • 出力から最初の 2 つの見出しを削除し、jq コマンドラインの JSON プロセッサを使用して、データを改行区切りの JSON（ndjson）形式に変換します。
   • gcloud CLI を使用して、Cloud Storage バケットにデータをアップロードします。

2. Aerospike バックアップ ファイルがアップロードされ、Cloud Storage バケットに存在することを確認します。

   gcloud storage ls gs://bookshelf-*/bookshelf-*\
       gs://bookshelf-616f60d65a3abe62/bookshelf-backup.json
   

3. （省略可）Cloud Storage バケットでバックアップ ファイルの内容を確認します。

   gcloud storage cat -r 0-1024 gs://bookshelf-*/bookshelf-backup.json | head -n 2
   

   出力は次のようになります。

   {"title":"book_2507","author":"write_2507","publishedDate":"1970-01-01","imageUrl":"https://storage.googleapis.com/aerospike2bt-bookshelf/The_Home_Edit-2019-06-24-044906.jpg","description":"test_2507","createdBy":"write_2507","createdById":"2507_anonymous","id":"2507"}
   {"title":"book_3867","author":"write_3867","publishedDate":"1970-01-01","imageUrl":"https://storage.googleapis.com/aerospike2bt-bookshelf/The_Home_Edit-2019-06-24-044906.jpg","description":"test_3867","createdBy":"write_3867","createdById":"3867_anonymous","id":"3867"}
   

4. SSH セッションを終了して、Cloud Shell に戻ります。

   exit
   

Dataflow を使用して Bigtable にバックアップ データを移行する

これで、Cloud Storage から Bigtable インスタンスにバックアップ データを移行できるようになりました。このセクションでは、Bigtable スキーマと互換性のあるデータを、Dataflow パイプラインを使用して移行する方法について説明します。

Dataflow 移行ジョブを構成する

1. Cloud Shell で、コードサンプル リポジトリの dataflow ディレクトリに移動します。

   cd "$HOME"/as2bt/dataflow/
   

2. Dataflow ジョブの環境変数を構成します。

   export BOOKSHELF_BACKUP_FILE="$(gcloud storage ls
   gs://bookshelf*/bookshelf-backup.json)"
   export BOOKSHELF_DATAFLOW_ZONE="$(gcloud config get-value compute/zone)"
   

3. 環境変数が正しく構成されていることを確認します。

   env | grep BOOKSHELF
   

   環境変数が正しく構成されている場合、出力は次のようになります。

   BOOKSHELF_BACKUP_FILE=gs://bookshelf-616f60d65a3abe62/bookshelf-backup.json
   BOOKSHELF_DATAFLOW_ZONE=us-east1-b
   

Dataflow ジョブを実行する

1. Cloud Shell で、Cloud Storage から Bigtable インスタンスにデータを移行します。

   ./run_oncloud_json.sh
   

2. バックアップ データの移行ジョブをモニタリングするには、Google Cloud Console で [ジョブ] ページに移動します。

   [ジョブ] に移動

   ジョブが正常に完了するまで待ちます。ジョブが正常に完了すると、Cloud Shell の出力は次のようになります。

   Dataflow SDK version: 2.13.0
   Submitted job: 2019-12-16_23_24_06-2124083021829446026
   [INFO] ------------------------------------------------------------------------
   [INFO] BUILD SUCCESS
   [INFO] ------------------------------------------------------------------------
   [INFO] Total time:  08:20 min
   [INFO] Finished at: 2019-12-17T16:28:08+09:00
   [INFO] ------------------------------------------------------------------------
   

移行ジョブの結果を確認する

• Cloud Shell で、バックアップ データが Bigtable に正しく転送されていることを確認します。

  cbt -instance bookshelf-bigtable lookup books 00001
  

  出力は次のようになります。

    ----------------------------------------
  00001
    info:author                              @ 2019/12/17-16:26:04.434000
      "Aerospike-example"
    info:description                         @ 2019/12/17-16:26:04.434000
      "Aerospike-example"
    info:id                                  @ 2019/12/17-16:26:04.434000
      "00001"
    info:imageUrl                            @ 2019/12/17-16:26:04.434000
      ""
    info:publishedDate                       @ 2019/12/17-16:26:04.434000
      "2019-10-01"
    info:title                               @ 2019/12/17-16:26:04.434000
      "Aerospike-example"
  

Bookshelf データベースを Aerospike から Bigtable に変更する

Aerospike から Bigtable にデータを移行したら、Bigtable を使用するように Bookshelf アプリの構成を変更します。この構成を行うと、新しい書籍は Bigtable インスタンスに保存されます。

Bookshelf アプリの構成を変更する

1. Cloud Shell で、SSH を使用して bookshelf-aerospike アプリに接続します。

   gcloud compute ssh bookshelf-aerospike
   

2. 現在の DATA_BACKEND の構成が aerospike であることを確認します。

   grep DATA_BACKEND /opt/app/bookshelf/config.py
   

   次のような出力が表示されます。

   DATA_BACKEND = 'aerospike'
   

3. DATA_BACKEND の構成を aerospike から bigtable に変更します。

   sudo sed -i "s/DATA_BACKEND =.*/DATA_BACKEND = 'bigtable'/g" /opt/app/bookshelf/config.py
   

4. DATA_BACKEND の構成が bigtable に変更されたことを確認します。

   grep DATA_BACKEND /opt/app/bookshelf/config.py
   

   次のような出力が表示されます。

   DATA_BACKEND = 'bigtable'
   

5. 新しい bigtable のバックエンド構成を使用する Bookshelf アプリを再起動します。

   sudo supervisorctl restart bookshelf
   

6. Bookshelf アプリが再起動され、正常に実行されていることを確認します。

   sudo supervisorctl status bookshelf
   

   出力は次のようになります。

   bookshelf  RUNNING   pid 18318, uptime 0:01:00
   

Bookshelf アプリが Bigtable バックエンドを使用していることを確認する

1. ブラウザで、http://IP_ADDRESS:8080 にアクセスします。

2. Bigtable-example という名前で新しい書籍を追加します。

3. Bookshelf アプリから Bigtable インスタンスに Bigtable-example 書籍が作成されたことを確認するには、ブラウザのアドレスバーから書籍 ID をコピーします。

4. Cloud Shell で、Bigtable インスタンスから Bigtable-example 書籍データを検索します。

   cbt -instance bookshelf-bigtable lookup books 7406950188
   

   出力は次のようになります。

   ----------------------------------------
   7406950188
     info:author                              @ 2019/12/17-17:28:25.592000
       "Bigtable-example"
     info:description                         @ 2019/12/17-17:28:25.592000
       "Bigtable-example"
     info:id                                  @ 2019/12/17-17:28:25.592000
       "7406950188"
     info:image_url                           @ 2019/12/17-17:28:25.592000
       ""
     info:published_date                      @ 2019/12/17-17:28:25.592000
       "2019-10-01"
     info:title                               @ 2019/12/17-17:28:25.592000
       "Bigtable-example"
   

Aerospike から Bigtable へのデータ移行が正常に完了し、Bigtable バックエンドに接続するように本棚の構成を変更しました。