Redshift
Redshift コネクタを使用すると、Redshift データベースに対して挿入、削除、更新、読み取りのオペレーションを実行できます。
始める前に
Redshift コネクタを使用する前に、次の作業を行います。
- Google Cloud プロジェクトで次の操作を行います。
- ネットワーク接続が設定されていることを確認します。ネットワーク パターンの詳細については、Network Connectivity をご覧ください。
- コネクタを構成するユーザーに roles/connectors.admin IAM ロールを付与します。
- コネクタに使用するサービス アカウントに、次の IAM ロールを付与します。
roles/secretmanager.viewerroles/secretmanager.secretAccessor
サービス アカウントは特別なタイプの Google アカウントで、Google API のデータにアクセスするのに認証を受ける必要がある人間以外のユーザーを表します。サービス アカウントがない場合は、サービス アカウントを作成する必要があります。コネクタとサービス アカウントは同じプロジェクトに属している必要があります。詳細については、サービス アカウントを作成するをご覧ください。
- 次のサービスを有効にします。
secretmanager.googleapis.com(Secret Manager API)connectors.googleapis.com(Connectors API)
サービスを有効にする方法については、サービスを有効にするをご覧ください。
以前にプロジェクトでこうしたサービスを有効にしていない場合は、コネクタを構成するときにそれを有効にすることを求められます。
- Redshift クラスタを作成するには、Redshift のクイックスタートと Amazon Redshift クラスタの作成をご覧ください。Redshift データベースの作成の詳細については、 Redshift データベースの作成をご覧ください。
- Redshift インスタンスをセットアップするには、Redshift をセットアップするをご覧ください。Redshift の詳細については、Redshift プラットフォームの概要をご覧ください。
コネクタを構成する
接続はデータソースに特有です。つまり、多数のデータソースがある場合は、データソースごとに別々の接続を作成する必要があります。接続を作成する手順は次のとおりです。
- Cloud コンソールで、[Integration Connectors] > [接続] ページに移動し、Google Cloud プロジェクトを選択または作成します。
- [+ 新規作成] をクリックして [接続の作成] ページを開きます。
- [ロケーション] セクションで、接続のロケーションを選択します。
- リージョン: プルダウン リストからロケーションを選択します
サポートされているすべてのリージョンの一覧については、ロケーションをご覧ください。
- [NEXT] をクリックします。
- リージョン: プルダウン リストからロケーションを選択します
- [接続の詳細] セクションで、次の操作を行います。
- コネクタ: 使用可能なコネクタのプルダウン リストから [Redshift] を選択します。
- コネクタのバージョン: 使用可能なバージョンのプルダウン リストからコネクタのバージョンを選択します。
- [接続名] フィールドに、接続インスタンスの名前を入力します。
接続名は次の条件を満たす必要があります。
- 接続名には英字、数字、ハイフンを使用できます。
- 文字は小文字のみを使用できます。
- 接続名の先頭には英字を設定し、末尾には英字または数字を設定する必要があります。
- 接続名は 49 文字以内で指定してください。
- 必要に応じて、接続インスタンスの [説明] を入力します。
- 必要に応じて、Cloud Logging を有効にして、ログレベルを選択します。デフォルトのログレベルは
Errorに設定されています。 - サービス アカウント: 必要なロールを持つサービス アカウントを選択します。
- 必要に応じて、接続ノードの設定を構成します。
- ノードの最小数: 接続ノードの最小数を入力します。
- ノードの最大数: 接続ノードの最大数を入力します。
ノードは、トランザクションを処理する接続の単位(またはレプリカ)です。1 つの接続でより多くのトランザクションを処理するには、より多くのノードが必要になります。逆に、より少ないトランザクションを処理するには、より少ないノードが必要になります。ノードがコネクタの料金に与える影響については、接続ノードの料金をご覧ください。値を入力しない場合は、デフォルトで最小ノード数は 2 に設定され(可用性を高めるため)、最大ノード数は 50 に設定されます。
- データベース: Amazon Redshift データベースの名前。
- 自動作成: true を指定すると、IAM 認証情報との接続中に存在しない場合にユーザーに対して指定した名前でデータベース ユーザーが作成されます。AuthScheme をご覧ください。
- Db グループ: IAM 認証情報を使用して接続するときに、現在のセッションでデータベース ユーザーが参加する 1 つ以上の既存のデータベース グループ名のカンマ区切りリスト。AuthScheme をご覧ください。
- BrowsableSchemas: このプロパティは、利用可能なスキーマのサブセットに報告されるスキーマを制限します。例: BrowsableSchemas=SchemaA,SchemaB,SchemaC。
- 無視されるスキーマ: メタデータのクエリによってスキーマのリストを非表示にするために使用される可視性制限フィルタ。たとえば、「info_schema, pg_catalog」。スキーマ名では大文字と小文字が区別されます。
- テーブルタイプを含める: true に設定すると、プロバイダは個々のテーブルとビューのタイプをクエリします。
- Null の削除: 設定すると、一括オペレーションで文字値から Null 文字が削除されます。
- 公開設定: 現在のユーザーに付与された権限でテーブルの公開メタデータをフィルタするために使用される公開設定の制限。たとえば、「SELECT,INSERT」フィルタは、メタデータの公開設定の対象を SELECT オペレーションと INSERT オペレーションで現在のユーザーがアクセスできるテーブルのみに制限します。サポートされている権限の値は、SELECT、INSERT、UPDATE、DELETE、REFERENCES です。
- (省略可)[詳細設定] セクションで、[プロキシを使用する] チェックボックスをオンにして、接続用のプロキシ サーバーを構成し、次の値を構成します。
-
Proxy Auth Scheme: プロキシ サーバーで認証する認証タイプを選択します。次の認証タイプがサポートされています。
- 基本: 基本的な HTTP 認証。
- ダイジェスト: ダイジェスト HTTP 認証。
- Proxy User: プロキシ サーバーでの認証に使用されるユーザー名。
- プロキシ パスワード: ユーザーのパスワードの Secret Manager シークレット。
-
Proxy SSL Type: プロキシ サーバーへの接続時に使用する SSL タイプ。次の認証タイプがサポートされています。
- 自動: デフォルトの設定。URL が HTTPS URL の場合は、[トンネル] オプションが使用されます。URL が HTTP URL の場合、[なし] オプションが使用されます。
- 常に: 接続は常に SSL 対応です。
- なし: 接続は SSL に対応していません。
- トンネル: 接続はトンネリング プロキシ経由で行われます。プロキシ サーバーがリモートホストへの接続を開き、トラフィックはプロキシを経由するようになります。
- [Proxy Server] セクションで、プロキシ サーバーの詳細を入力します。
- [+ 宛先を追加] をクリックします。
- [宛先の種類] を選択します。
- Host address: 宛先のホスト名または IP アドレスを指定します。
バックエンドへのプライベート接続を確立する場合は、次のようにします。
- PSC サービス アタッチメントを作成します。
- エンドポイント アタッチメントを作成し、続いて [Host address] フィールドにあるエンドポイント アタッチメントの詳細を入力します。
- Host address: 宛先のホスト名または IP アドレスを指定します。
- 必要に応じて、[+ ラベルを追加] をクリックして Key-Value ペアの形式でラベルを接続に追加します。
- [NEXT] をクリックします。
- [宛先] セクションに、接続するリモートホスト(バックエンド システム)の詳細を入力します。
- 宛先の種類: 宛先の種類を選択します。
- 宛先のホスト名または IP アドレスを指定するには、[ホストアドレス] を選択し、[ホスト 1] フィールドにアドレスを入力します。
- プライベート接続を確立するには、[エンドポイント アタッチメント] を選択し、[エンドポイント アタッチメント] リストから必要なアタッチメントを選択します。
セキュリティをさらに強化してバックエンドシステムへのパブリック接続を確立する場合は、接続用の静的アウトバウンド IP アドレスの構成を検討してから、特定の静的 IP アドレスのみを許可リストに登録するようファイアウォール ルールを構成します。
他の宛先を入力するには、[+ 宛先を追加] をクリックします。
- [NEXT] をクリックします。
- 宛先の種類: 宛先の種類を選択します。
-
[認証] セクションで、認証の詳細を入力します。
- [認証タイプ] を選択し、関連する詳細を入力します。
Redshift 接続でサポートされる認証タイプは次のとおりです。
- ユーザー名とパスワードを指定する
- [NEXT] をクリックします。
これらの認証タイプを構成する方法については、認証を構成するをご覧ください。
- [認証タイプ] を選択し、関連する詳細を入力します。
- Review: 接続と認証の詳細を確認します。
- [作成] をクリックします。
認証を構成する
使用する認証に基づいて詳細を入力します。
-
ユーザー名とパスワード
- ユーザー名: コネクタのユーザー名
- パスワード: コネクタに関連付けられたパスワードを含む Secret Manager の Secret。
接続構成のサンプル
このセクションでは、Redshift 接続を作成するときに構成するさまざまなフィールドのサンプル値を示します。
基本認証接続タイプ
次の表に、Redshift 接続を作成するときに構成するさまざまなフィールドのサンプル値を示します。
| フィールド | 値のサンプル |
|---|---|
| リージョン | us-central1 |
| コネクタ | Redshift コネクタ |
| Connector Version | 1 |
| コネクタ名 | google-cloud-redshiftdb-basicauth-conn |
| サービス アカウント | SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com |
| データベース | dev |
| BrowsableSchemas | public,test |
| Db グループ | なし |
| Null を削除 | ○ |
| 公開設定 | SELECT,INSERT |
| ノードの最小数 | 02 |
| ノードの最大数 | 50 |
| ホストアドレス | redshift-cluster-xxx-integration.HOST_NAME.us-east-1.redshift.amazonaws.com |
| 認証 | ユーザー パスワード |
| ユーザー名 | ユーザー名 |
| パスワード | パスワード |
| バージョン | 1 |
エンティティ、オペレーション、アクション
すべての Integration Connectors が、接続されたアプリケーションのオブジェクトを抽象化するレイヤを提供します。アプリケーションのオブジェクトには、この抽象化を通じてのみアクセスできます。抽象化は、エンティティ、オペレーション、アクションとして公開されます。
- エンティティ: エンティティは、接続されているアプリケーションやサービスのオブジェクト、またはプロパティのコレクションと考えることができます。エンティティの定義は、コネクタによって異なります。たとえば、データベース コネクタでは、テーブルがエンティティであり、ファイル サーバー コネクタでは、フォルダがエンティティです。また、メッセージング システム コネクタでは、キューがエンティティです。
ただし、コネクタでいずれのエンティティもサポートされていない、またはエンティティが存在しない可能性があります。その場合、
Entitiesリストは空になります。 - オペレーション: エンティティに対して行うことができるアクティビティです。エンティティに対して次のいずれかのオペレーションを行うことができます。
使用可能なリストからエンティティを選択すると、そのエンティティで使用可能なオペレーションのリストが生成されます。オペレーションの詳細については、コネクタタスクのエンティティ オペレーションをご覧ください。ただし、コネクタがいずれかのエンティティ オペレーションをサポートしていない場合、サポートされていないオペレーションは
Operationsリストに含まれません。 - アクション: コネクタ インターフェースを介して統合で使用できる主要な関数の一つです。アクションを使用すると、1 つまたは複数のエンティティに対して変更を加えることができます。また、使用できるアクションはコネクタごとに異なります。通常、アクションには入力パラメータと出力パラメータがあります。ただし、コネクタがどのアクションもサポートしていない可能性があります。その場合は、
Actionsリストが空になります。
システムの上限
Redshift コネクタは、ノードごとに 1 秒あたり最大 3 件のトランザクションを処理することができ、この上限を超えるトランザクションはすべてスロットルされます。 デフォルトでは、Integration Connectors は、接続に 2 つのノードを割り当てます(可用性を高めるため)。
Integration Connectors に適用される上限の詳細については、上限をご覧ください。
アクションの例
例 - 大きい方の値を求める
この例では、ユーザー定義関数の実行方法を示します。この例の find_greater 関数は、2 つの整数を比較し、大きい方の整数を返します。
- [
Configure connector task] ダイアログで、[Actions] をクリックします。 - [
find_greater] アクションを選択してから、[完了] をクリックします。 - [コネクタ] タスクの [タスク入力] セクションで、
connectorInputPayloadをクリックし、Default Valueフィールドに次のような値を入力します。{ "$1": 1.0, "$2": 5.0 }
アクションの実行に成功すると、コネクタタスクの connectorOutputPayload フィールドの値は次のようになります。
[{ "bignum": 5.0 }]
エンティティ オペレーションの例
例 - エンティティのレコードを一覧表示する
この例では、Users エンティティのレコードを一覧表示します。
- [
Configure connector task] ダイアログで、[Entities] をクリックします。 EntityからUsersを選択します。- [
List] オペレーションを選択してから、[完了] をクリックします。 - [コネクタ] タスクの [タスク入力] セクションで、要件に応じて filterClause を設定できます。
たとえば、フィルタ句を
employeeCode='5100' and startDate='2010-01-01 00:00:00'に設定すると、employeeCode が 5100 であり、startDate が 2010-01-01 00:00:00 であるレコードのみが一覧表示されます。
例 - エンティティから単一のレコードを取得する
この例では、Users エンティティからレコードを取得します。
- [
Configure connector task] ダイアログで、[Entities] をクリックします。 EntityからUserを選択します。- [
Get] オペレーションを選択してから、[完了] をクリックします。 - [コネクタタスクの [タスク入力 セクションで [entityId] をクリックし、[デフォルト値] フィールドに
103032を入力します。ここで、
103032はUsersエンティティの主キー値です。
例 - エンティティからレコードを削除する
この例では、Users エンティティからレコードを削除します。
- [
Configure connector task] ダイアログで、[Entities] をクリックします。 EntityからUsersを選択します。- [
Delete] オペレーションを選択してから、[完了] をクリックします。 - [コネクタタスクの [タスク入力] セクションの [entityId] をクリックし、[デフォルト値] フィールドに
113132を入力します。または、エンティティに複合主キーがある場合、entityId を指定する代わりに、filterClause を設定できます。たとえば、
employeeCode='5100' and startDate='2010-01-01 00:00:00'です。
例 - エンティティにレコードを作成する
この例では、Users エンティティに レコードを作成します。
- [
Configure connector task] ダイアログで、[Entities] をクリックします。 EntityからUsersを選択します。- [
Create] オペレーションを選択してから、[完了] をクリックします。 - [コネクタ] タスクの [タスク入力] セクションで、
connectorInputPayloadをクリックし、Default Valueフィールドに次のような値を入力します。{ "employeeCode": "5100", "startDate": "2010-01-01 00:00:00.0", "country": "US" }
統合が成功すると、コネクタタスクの connectorOutputPayload フィールドに create オペレーションのレスポンスが返されます。
例 - エンティティ内のレコードを更新する
この例では、Users エンティティに レコードを作成します。
- [
Configure connector task] ダイアログで、[Entities] をクリックします。 EntityからUsersを選択します。- [
Update] オペレーションを選択してから、[完了] をクリックします。 - [コネクタ] タスクの [タスク入力] セクションで、
connectorInputPayloadをクリックし、Default Valueフィールドに次のような値を入力します。{ "country": "IN" }
- [コネクタタスクの [タスク入力] セクションの [entityId] をクリックし、[デフォルト値] フィールドに
113132を入力します。または、エンティティに複合主キーがある場合、entityId を指定する代わりに、filterClause を設定できます。たとえば、
employeeCode='5100' and startDate='2010-01-01 00:00:00'です。
統合が成功すると、コネクタタスクの connectorOutputPayload フィールドに update オペレーションのレスポンスが返されます。
Terraform を使用して接続を作成する
Terraform リソースを使用して、新しい接続を作成できます。
Terraform 構成を適用または削除する方法については、基本的な Terraform コマンドをご覧ください。
接続作成用の Terraform テンプレートのサンプルを表示するには、サンプル テンプレートをご覧ください。
Terraform を使用してこの接続を作成する場合は、Terraform 構成ファイルで次の変数を設定する必要があります。
| パラメータ名 | データ型 | 必須 | 説明 |
|---|---|---|---|
| データベース | STRING | True | Amazon Redshift データベースの名前。 |
| browsable_schemas | STRING | False | このプロパティは、利用可能なスキーマのサブセットに報告されるスキーマを制限します。例: BrowsableSchemas=SchemaA,SchemaB,SchemaC。 |
| db_groups | STRING | False | IAM 認証情報を使用して接続するときに、現在のセッションでデータベース ユーザーが参加する 1 つ以上の既存のデータベース グループ名のカンマ区切りリスト。AuthScheme をご覧ください。 |
| ignored_schemas | STRING | False | メタデータのクエリによってスキーマのリストを非表示にするために使用される公開設定の制限フィルタ。たとえば、「info_schema, pg_catalog」。スキーマ名では大文字と小文字が区別されます。 |
| include_table_types | BOOLEAN | False | true に設定した場合、プロバイダは個々のテーブルとビューのタイプをクエリします。 |
| strip_out_nulls | BOOLEAN | False | 設定すると、一括オペレーションで文字値から Null 文字が削除されます。 |
| visibility | STRING | False | 現在のユーザーに付与された権限でテーブルの公開メタデータをフィルタするために使用される公開設定の制限。たとえば、「SELECT,INSERT」フィルタは、メタデータの公開設定の対象を SELECT オペレーションと INSERT オペレーションで現在のユーザーがアクセスできるテーブルのみに制限します。サポートされている権限の値は、SELECT、INSERT、UPDATE、DELETE、REFERENCES です。 |
統合で Redshift 接続を使用する
接続を作成すると、Apigee Integration と Application Integration の両方で使用できるようになります。この接続は、コネクタタスクを介して統合で使用できます。
- Apigee Integration で Connectors タスクを作成して使用する方法については、Connectors タスクをご覧ください。
- Application Integration で Connectors タスクを作成して使用する方法については、Connectors タスクをご覧ください。
Google Cloud コミュニティの助けを借りる
Google Cloud コミュニティの Cloud フォーラムで質問を投稿したり、このコネクタについてディスカッションしたりできます。次のステップ
- 接続を一時停止して再開する方法を確認する。
- コネクタの使用状況をモニタリングする方法を確認する。
- コネクタログを表示する方法を確認する。