HDFS

接続構成のサンプル

このセクションでは、接続の作成時に構成するさまざまなフィールドのサンプル値を示します。

ユーザー名とパスワードの接続タイプ

操作

このセクションでは、このコネクタでアクションの一部を実行する方法について説明します。

MakeDirectory アクション

このアクションにより、指定されたパスにディレクトリが作成されます。

MakeDirectory アクションの入力パラメータ

MakeDirectory アクションの構成例については、例をご覧ください。

ListStatus アクション

このアクションは、指定されたパスの内容を一覧表示します。

ListStatus アクションの入力パラメータ

ListStatus アクションの構成例については、例をご覧ください。

GetHomeDirectory アクション

このアクションは、現在のユーザーのホーム ディレクトリを取得します。

GetHomeDirectory アクションの入力パラメータ

GetHomeDirectory アクションの構成例については、例をご覧ください。

DeleteFile アクション

このアクションにより、ファイルまたはディレクトリが削除されます。

DeleteFile アクションの入力パラメータ

DeleteFile アクションの構成例については、例をご覧ください。

GetContentSummary アクション

このアクションは、ファイルまたはフォルダのコンテンツの概要を取得します。

GetContentSummary アクションの入力パラメータ

GetContentSummary アクションの構成例については、例をご覧ください。

RenameFile アクション

このアクションにより、ファイルまたはディレクトリの名前が変更されます。

RenameFile アクションの入力パラメータ

RenameFile アクションの構成例については、例をご覧ください。

SetPermission アクション

このアクションは、パスの権限を設定します。

SetPermission アクションの入力パラメータ

SetPermission アクションの構成例については、例をご覧ください。

SetPermission アクション

このアクションは、パスの権限を設定します。

SetPermission アクションの入力パラメータ

SetPermission アクションの構成例については、例をご覧ください。

SetOwner アクション

このアクションは、パスのオーナーとグループを設定します。

SetOwner アクションの入力パラメータ

SetOwner アクションの構成例については、例をご覧ください。

UploadFile アクション

このアクションは、ファイルをアップロードします。

UploadFile アクションの入力パラメータ

UploadFile アクションの構成例については、例をご覧ください。

DownloadFile アクション

このアクションでは、ファイルをダウンロードします。

DownloadFile アクションの入力パラメータ

DownloadFile アクションの構成例については、例をご覧ください。

AppendToFile アクション

このアクションは、ファイルを付加します。

AppendToFile アクションの入力パラメータ

AppendToFile アクションの構成例については、例をご覧ください。

GetFileChecksum アクション

このアクションは、ファイルのチェックサムを取得します。

GetFileChecksum アクションの入力パラメータ

GetFileChecksum アクションの構成例については、例をご覧ください。

アクションの例

このセクションでは、このコネクタでアクションの例の一部を実行する方法について説明します。

例 - ディレクトリを作成する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [MakeDirectory] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   {
     "Path": "/user/hduser"
   }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[{
  "Success": true
}]

例 - ホーム ディレクトリを取得する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [GetHomeDirectory] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

     {}
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[{
  "Path": "/user/hduser"
}]

例 - ファイルを削除する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [DeleteFile] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   {
     "Path": "/user/hduser/testFile"
   }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[{
  "Success": true
}]

例 - ファイルのステータスを一覧表示する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [ListStatus] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   {
     "path": "/user/hduser/deletefile"
   }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[{
  "fileId": 16471.0,
  "PathSuffix": "data.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 38.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.921",
  "accessTime": "2024-08-16 16:12:01.888",
  "type": "FILE"
}, {
  "fileId": 16469.0,
  "PathSuffix": "file2.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 53.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.762",
  "accessTime": "2024-08-16 16:12:01.447",
  "type": "FILE"
}]

例 - ファイルのコンテンツの概要を取得する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [GetContentSummary] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   {
     "Path": "/user/hduser/appendtofile"
   }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

  [{
  "DirectoryCount": "1",
  "FileCount": "1",
  "Length": 52.0,
  "Quota": -1.0,
  "SpaceConsumed": 52.0,
  "SpaceQuota": -1.0,
  "ecpolicy": "",
  "snapshotdirectorycount": "0",
  "snapshotfilecount": "0",
  "snapshotlength": "0",
  "snapshotspaceconsumed": "0"
}]

例 - ファイルの名前を変更する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [hdfs_RenameFile_action] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   {
     "Path": "/user/hduser/renamefile_second/file1.txt",
     "Destination": "/user/hduser/renamefile_second/file1rename"
   }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[{
  "Success": true
}]

例 - ファイルの権限を設定する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [SetPermission] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   {
     "Path": "/user/hduser/gcpdirectory",
     "Permission": "777"
   }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[{
  "Success": true
}]

例 - ファイルのオーナーを設定する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [SetOwner] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   {
     "Path": "/user/hduser/gcpdirectory",
     "Owner": "newowner"
   }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[{
  "Success": true
}]

例 - ファイルをアップロードする

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [UploadFile] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

      { "Path": "/user/newfile9087.txt", "Content": "string" }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[{
  "Success": true
}]

例 - ファイルをダウンロードする

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [DownloadFile] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   { "Path": "/user/sampleFile/file1.txt" }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[ { "Output": "This is sample File\nfor this testing\ncontent" } ]

例 - ファイルを追加する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [AppendToFile ] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   { "Path": "/user/sampleFile/file1.txt", "Content": "content" }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[ { "Success": true } ]

例 - ファイルのチェックサムを取得する

1. [Configure connector task] ダイアログで、[Actions] をクリックします。
2. [GetFileChecksum ] アクションを選択してから、[完了] をクリックします。
3. [データ マッピング] セクションで Open Data Mapping Editor をクリックし、Input フィールドに次のような値を入力します。

   { "Path": "/user/sampleFile/file1.txt" }
   

アクションが成功すると、コネクタタスクの connectorOutputPayload レスポンス パラメータの値は次のようになります。

[ { "Algorithm": "MD5-of-0MD5-of-512CRC32C", "Bytes": "00000200000000000000000080f5b53ae8c165ae56e86109b8bb2a1700000000", "Length": 28 } ]

エンティティ オペレーションの例

このセクションでは、このコネクタでエンティティ オペレーションの一部を実行する方法について説明します。

例 - すべてのファイルのデータを一覧表示する

この例では、Files エンティティ内のすべてのファイルのデータを取得します。

1. [Configure connector task] ダイアログで、[Entities] をクリックします。
2. Entity から Object を選択します。
3. [List] オペレーションを選択してから、[完了] をクリックします。

例 - 権限のデータを取得する

この例では、Permission エンティティから、指定した ID の権限のデータを取得します。

1. [Configure connector task] ダイアログで、[Entities] をクリックします。
2. Entity から Permission を選択します。
3. [Get] オペレーションを選択してから、[完了] をクリックします。
4. [コネクタタスクの [タスク入力 セクションで [entityId] をクリックし、[デフォルト値] フィールドに /user/hduser/appendfile を入力します。

   ここで、/user/hduser/appendfile は Permission エンティティ内の一意の ID です。