AWS Glue 連携データセットを作成する

コンソール

1. Google Cloud コンソールで [BigQuery] ページを開きます。

   BigQuery ページに移動

2. [エクスプローラ] パネルで、データセットを作成するプロジェクトを選択します。

3. more_vert アクション オプションを開いて、[データセットを作成] をクリックします。

4. [データセットを作成する] ページで、次の操作を行います。

   • [Dataset ID] に、データセットの一意の名前を入力します。
   • [ロケーション タイプ] で、データセットの AWS ロケーション（aws-us-east-1 など）を選択します。データセットを作成した後で、そのロケーションを変更することはできません。

   • [外部データセット] で、次の操作を行います。

     • [外部データセットへのリンク] の横にあるチェックボックスをオンにします。
     • [外部データセットのタイプ] で [AWS Glue] を選択します。
     • [外部ソース] に aws-glue:// と AWS Glue データベースの Amazon Resource Name（ARN）を入力します（例: aws-glue://arn:aws:glue:us-east-1:123456789:database/test_database）。
     • [接続 ID] で、AWS 接続を選択します。

   • 他のデフォルト設定はそのままにします。

5. [データセットを作成] をクリックします。

SQL

CREATE EXTERNAL SCHEMA データ定義言語（DDL）ステートメントを使用します。

1. Google Cloud コンソールで [BigQuery] ページに移動します。

   BigQuery に移動

2. クエリエディタで次のステートメントを入力します。

   CREATE EXTERNAL SCHEMA DATASET_NAME
   WITH CONNECTION PROJECT_ID.CONNECTION_LOCATION.CONNECTION_NAME
     OPTIONS (
       external_source = 'AWS_GLUE_SOURCE',
       location = 'LOCATION');

   次のように置き換えます。

   • DATASET_NAME: BigQuery の新しいデータセットの名前。
   • PROJECT_ID: プロジェクト ID。
   • CONNECTION_LOCATION: AWS 接続のロケーション（例: aws-us-east-1）。
   • CONNECTION_NAME: AWS 接続の名前。
   • AWS_GLUE_SOURCE: ソースを識別する接頭辞が付いた AWS Glue データベースの Amazon Resource Name（ARN）（例: aws-glue://arn:aws:glue:us-east-1:123456789:database/test_database）。
   • LOCATION: BigQuery での新しいデータセットのロケーション（例: aws-us-east-1）。データセットを作成した後に、そのロケーションを変更することはできません。

3. [play_circle 実行] をクリックします。

クエリの実行方法については、インタラクティブ クエリを実行するをご覧ください。

bq

コマンドライン環境で bq mk コマンドを使用してデータセットを作成します。

bq --location=LOCATION mk --dataset \
    --external_source aws-glue://AWS_GLUE_SOURCE \
    --connection_id PROJECT_ID.CONNECTION_LOCATION.CONNECTION_NAME \
    DATASET_NAME

以下を置き換えます。

• LOCATION: BigQuery での新しいデータセットのロケーション（例: aws-us-east-1）。データセットの作成後にそのロケーションを変更することはできません。デフォルトのロケーション値を設定するには、.bigqueryrc ファイルを使用します。
• AWS_GLUE_SOURCE: AWS Glue データベースの Amazon Resource Name（ARN）（例: arn:aws:glue:us-east-1:123456789:database/test_database）。
• PROJECT_ID: BigQuery プロジェクト ID。
• CONNECTION_LOCATION: AWS 接続のロケーション（例: aws-us-east-1）。
• CONNECTION_NAME: AWS 接続の名前。
• DATASET_NAME: BigQuery での新しいデータセットの名前。デフォルト プロジェクト以外のプロジェクトにデータセットを作成するには、PROJECT_ID:DATASET_NAME の形式で、そのプロジェクト ID をデータセット名に追加します。

Terraform

google_bigquery_dataset リソースを使用します。

BigQuery に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、クライアント ライブラリの認証を設定するをご覧ください。

次の例では、AWS Glue 連携データセットを作成します。

resource "google_bigquery_dataset" "dataset" {
  provider                    = google-beta
  dataset_id                  = "example_dataset"
  friendly_name               = "test"
  description                 = "This is a test description."
  location                    = "aws-us-east-1"

external_dataset_reference {
  external_source = "aws-glue://arn:aws:glue:us-east-1:999999999999:database/database"
  connection      = "projects/project/locations/aws-us-east-1/connections/connection"
  }
}

Google Cloud プロジェクトで Terraform 構成を適用するには、次のセクションの手順を完了します。

Cloud Shell を準備する

1. Cloud Shell を起動します。

2. Terraform 構成を適用するデフォルトの Google Cloud プロジェクトを設定します。

   このコマンドは、プロジェクトごとに 1 回だけ実行する必要があります。これは任意のディレクトリで実行できます。

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   Terraform 構成ファイルに明示的な値を設定すると、環境変数がオーバーライドされます。

ディレクトリを準備する

Terraform 構成ファイルには独自のディレクトリ（ルート モジュールとも呼ばれます）が必要です。

1. Cloud Shell で、ディレクトリを作成し、そのディレクトリ内に新しいファイルを作成します。ファイルの拡張子は .tf にする必要があります（例: main.tf）。このチュートリアルでは、このファイルを main.tf とします。

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. チュートリアルを使用している場合は、各セクションまたはステップのサンプルコードをコピーできます。

   新しく作成した main.tf にサンプルコードをコピーします。

   必要に応じて、GitHub からコードをコピーします。Terraform スニペットがエンドツーエンドのソリューションの一部である場合は、この方法をおすすめします。

3. 環境に適用するサンプル パラメータを確認し、変更します。
4. 変更を保存します。
5. Terraform を初期化します。これは、ディレクトリごとに 1 回だけ行う必要があります。

   terraform init

   必要に応じて、最新バージョンの Google プロバイダを使用する場合は、-upgrade オプションを使用します。

   terraform init -upgrade

変更を適用する

1. 構成を確認して、Terraform が作成または更新するリソースが想定どおりであることを確認します。

   terraform plan

   必要に応じて構成を修正します。

2. 次のコマンドを実行し、プロンプトで「yes」と入力して、Terraform 構成を適用します。

   terraform apply

   Terraform に「Apply complete!」のメッセージが表示されるまで待ちます。

3. Google Cloud プロジェクトを開いて結果を表示します。Google Cloud コンソールの UI でリソースに移動して、Terraform によって作成または更新されたことを確認します。

API

datasets.insert メソッドを、定義済みのデータセット リソースと AWS Glue データベースの externalDatasetReference フィールドを指定して呼び出します。