Dataplex メタデータ

エンティティの一覧表示

サービスから返されるエンティティのリストを制限するには、list entities リクエスト URL にフィルタ クエリ パラメータを追加します。

エンティティの取得

デフォルトでは、Get Entity レスポンスには基本的なエンティティ メタデータが含まれます。追加のスキーマ メタデータを取得するには、リクエスト URL に view クエリ パラメータを追加します。

互換性の詳細: Dataplex メタデータはメタデータ API に一元的に登録されますが、BigQuery と Apache Hive Metastore と互換性のあるエンティティ テーブル メタデータのみが BigQuery と Dataproc Metastore に公開されます。Get Entity API は、CompatibilityStatus メッセージを返します。これは、テーブル メタデータが BigQuery と Hive Metastore と互換性があるかどうかと、互換性がない場合はその理由を示します。

エンティティを更新する

この API を使用して、エンティティ メタデータを編集します。これには、ユーザーまたは Dataplex がエンティティのメタデータを管理するかどうかも含まれます。

• この API は、すべての可変エンティティ フィールドの完全な置換を実行します。次のエンティティ フィールドは変更不可であり、更新リクエストで指定された場合は無視されます。
  • asset
  • dataPath
  • type
  • system
• すべての可変エンティティ フィールドの値を指定します。これには、値が変更されていない場合でも、すべてのスキーマ フィールドを含みます。
• etag フィールドを指定します。etag を取得するには、まず entities.get リクエストを送信します。このリクエストによって、レスポンスにエンティティの etag が返されます。
• スキーマ フィールドの更新: Dataplex が検出したテーブル スキーマを更新して、精度を改善できます。
  • スキーマが fileset の場合は、すべてのスキーマ フィールドを空のままにします。
  • 繰り返しフィールドを定義するには、モードを REPEATED に設定します。構造体フィールドを定義するには、型を RECORD に設定します。
  • スキーマの userManaged フィールドを設定して、ユーザーまたは Dataplex がテーブルのメタデータを管理するかどうかを指定できます。デフォルトの設定は Dataplex マネージドです。userManaged が true に設定されている場合、この設定は、EntityView が SCHEMA または FULL に設定されている場合に entities.get リクエストから返される情報に含まれます。
• パーティション フィールドの更新:
  • Hive スタイル以外のパーティション分割データの場合、Dataplex ディスカバリはパーティション キーを自動生成します。たとえば、データパス gs://root/2020/12/31 の場合、パーティション キー p0、p1、p2 が生成されます。クエリをより直感的にするために、次のように更新できます。p0、p1、p2 をそれぞれ year、month、day に更新できます。
  • パーティション スタイルを HIVE スタイルに更新すると、パーティション フィールドは変更不可になります。
• 他のメタデータ フィールドの更新: 自動生成された mimeType、CompressionFormat、CsvOptions、JsonOptions の各フィールドを更新して、Dataplex の検出を支援できます。Dataplex の検出は、次の実行時に新しい値を使用します。

エンティティを作成

entities.create API を使用して、テーブルまたはファイルセットのメタデータ エンティティを作成します。必須フィールドと関連するオプション フィールドに入力するか、Dataplex 検出サービスにオプション フィールドに入力させます。

エンティティの削除

• etag フィールドを指定します。etag を取得するには、まず entities.get リクエストを送信します。このリクエストによって、レスポンスにエンティティの etag が返されます。

未加工のゾーン内のテーブルまたはファイルセットの基になるデータが削除されると、次の Discovery スキャン時に、テーブルまたはファイルセットのメタデータは自動的に削除されます。キュレートされたゾーン内のテーブルの基になるデータが削除された場合、それに応じてテーブル メタデータは削除されませんが、欠落しているデータ アクションが報告されます。この問題を解決するには、メタデータ API を介してテーブル メタデータ エンティティを明示的に削除します。

パーティションを一覧表示する

サービスから返されるパーティションのリストを制限するには、list partitions リクエスト URL に filter クエリ パラメータを追加します。

例:

• ?filter="Country=US AND State=CA AND City=Sunnyvale"
• ?filter="year < 2000 AND month > 12 AND Date > 10"

パーティションの取得

パーティションを取得するには、partitions/value1/value2/…./value10 として読まれるようにフォーマットして、パーティション キー値を URL の末尾に追加して、リクエスト URL を完成させる必要があります。

例: パーティションに値 {Country=US, State=CA, City=Sunnyvale} がある場合、取得リクエスト URL の末尾は /partitions/US/CA/Sunnyvale になる必要があります。

重要: 追加する URL の値は二重エンコードする必要があります。たとえば、url_encode(url_encode(value)) を使用して「US:CA/CA#Sunnyvale」をエンコードして、リクエスト URL の末尾が /partitions/US%253ACA/CA%2523Sunnyvale となるようにできます。レスポンスの名前フィールドには、エンコードされた形式が保持されます。

パーティションの作成

データソース用にカスタマイズされたパーティションを作成するには、partitions.create API を使用します。必須の location フィールドに Cloud Storage パスを指定します。

パーティションを削除する

partitions/value1/value2/…./value10 として読まれるようにフォーマットして、リクエスト URL の末尾にパーティション Key-Value を追加して、リクエスト URL を完成させます。

例: パーティションに値 {Country=US, State=CA, City=Sunnyvale} がある場合、リクエスト URL の末尾は /partitions/US/CA/Sunnyvale になる必要があります。

重要: 追加する URL 値は RFC-1034 に準拠しているか、二重エンコードする（US:/CA#/Sunnyvale を US%3A/CA%3A/Sunnyvale とするなど）必要があります。