プラグインの種類

このページでは、Cloud Data Fusion インスタンスの作成時にデフォルトでインストールされるプラグインの種類について説明します。これらのプラグインは、インスタンスのデフォルトの名前空間と、作成した新しい名前空間で使用できます。追加のプラグインは Hub からダウンロードできます。

Cloud Data Fusion では、プラグインには次のカテゴリがあります。これらは、Cloud Data Fusion の [Studio] ページの左側のパネルに表示されます。

ソース

ソース プラグインは、パイプラインがデータを読み取るデータベース、ファイル、リアルタイム ストリームに接続します。ウェブ インターフェースを使用してデータ パイプラインのソースを設定するため、コードを使用して低レベルの接続を構成する必要はありません。

変換

変換プラグインは、データがソースから読み込まれた後にデータを変更します。たとえば、これらのプラグインを使用して、レコードのクローンを作成したり、ファイル形式を JSON に変更したり、JavaScript を使用してカスタム変換を作成したりできます。

分析

分析プラグインは、さまざまなソースからのデータの結合、分析と ML オペレーションの実行など、集約を行います。

シンク

シンク プラグインは、Cloud Storage、BigQuery、Spanner、リレーショナル データベース、ファイル システム、メインフレームなどのリソースにデータを書き込みます。シンクに書き込まれるデータをクエリするには、Cloud Data Fusion ウェブ インターフェースまたは REST API を使用します。

Conditions and Actions

条件プラグインとアクション プラグインは、ワークフロー中に実行されるアクションをスケジュールしますが、ワークフロー内のデータを直接操作することはありません。

サンプル ユースケース:

  • データベース アクション プラグインをパイプラインに追加して、パイプラインの最後に実行されるデータベース コマンドをスケジュールします。
  • ファイル移動プラグインをパイプラインに追加して、Cloud Storage 内でファイルを移動するアクションをトリガーします。

Error handlers and alerts

パイプラインのステージで null 値、論理エラー、その他のエラーが発生すると、エラーハンドラ プラグインがエラーをキャッチします。パイプライン内の変換プラグインまたは分析プラグインの後に、これらのプラグインを使用して出力のエラーを見つけます。エラーをデータベースに書き込んで分析できます。

次のステップ