変換と評価のためのメタデータを生成する

データベース ログを生成するとき、またはメタデータを抽出するときに評価モードを有効にすること。dwh-migration-dumper ツールは、メタデータ抽出に使用された場合、BigQuery 移行評価に必要なメタデータ統計を生成します。クエリログに使用された場合、BigQuery 移行評価の追加列を抽出します。

抽出するデータベースのカンマ区切りのリスト。Teradata サーバーの構成によっては、データベース名で大文字と小文字が区別される場合があります。

このフラグを teradata コネクタと組み合わせて使用すると、dwh-migration-dumper ツールは、指定されたデータベースのリストでメタデータのテーブルとビューをフィルタリングします。例外は DatabasesV ビューと RoleMembersV ビューです。dwh-migration-dumper ツールは、データベース名でフィルタリングせずに、これらのビューからデータベースとユーザーを抽出します。

このフラグは、teradata-logs コネクタと組み合わせて使用することはできません。クエリログは、すべてのデータベースに対して常に抽出されます。

データベース接続に使用するユーザー名。

teradata-logs コネクタの場合のみ。

クエリログを別の場所から抽出するには、代わりに -Dteradata-logs.query-logs-table フラグと -Dteradata-logs.sql-logs-table フラグを使用することをおすすめします。

デフォルトでは、クエリログは dbc.DBQLogTbl テーブルと dbc.DBQLSQLTbl テーブルから抽出されます。--assessment フラグを使用した場合、クエリログは dbc.QryLogV ビューと dbc.DBQLSQLTbl テーブルから抽出されます。クエリログを別の場所から抽出する必要がある場合は、--query-log-alternates フラグを使用してテーブルまたはビューの完全修飾名を指定できます。最初のパラメータは dbc.DBQLogTbl テーブルの代わりのテーブルを参照し、2 番目のパラメータは dbc.DBQLSQLTbl テーブルの代わりのテーブルを参照します。どちらのパラメータも必須です。
-Dteradata-logs.log-date-column フラグを使用すると、両方のテーブルに DATE 型のインデックス付きの列がある場合に、抽出のパフォーマンスを向上させることができます。

例: --query-log-alternates historicdb.ArchivedQryLogV,historicdb.ArchivedDBQLSqlTbl

接続のトランザクション モードです。次の値を使用できます。

• ANSI: ANSI モード。これはデフォルトのモードです（フラグが指定されていない場合）
• TERA: Teradata トランザクション モード（BTET）
• DEFAULT: データベース サーバーで構成されたデフォルトのトランザクション モードを使用します
• NONE: 接続にモードが設定されていません

例（Bash）:
-Dteradata.tmode=TERA

例（Windows PowerShell）:
"-Dteradata.tmode=TERA"

teradata-logs コネクタの場合のみ。

-Dteradata-logs.query-logs-table フラグと -Dteradata-logs.sql-logs-table フラグで指定されたテーブルの結合のパフォーマンスを向上させるには、JOIN 条件に DATE 型の列を追加します。この列は両方のテーブルで定義する必要があり、パーティション プライマリ インデックスの一部である必要があります。

例（Bash）:
-Dteradata-logs.log-date-column=ArchiveLogDate

例（Windows PowerShell）:
"-Dteradata-logs.log-date-column=ArchiveLogDate"

teradata-logs コネクタの場合のみ。

デフォルトでは、クエリログは dbc.DBQLogTbl テーブルから抽出されます。--assessment フラグを使用した場合、クエリログは dbc.QryLogV ビューから抽出されます。クエリログを別の場所から抽出する必要がある場合は、このフラグを使用してテーブルまたはビューの完全修飾名を指定できます。
抽出のパフォーマンスを改善するには、-Dteradata-logs.log-date-column フラグをご覧ください。

例（Bash）:
-Dteradata-logs.query-logs-table=historicdb.ArchivedQryLogV

例（Windows PowerShell）:
"-Dteradata-logs.query-logs-table=historicdb.ArchivedQryLogV"

teradata-logs コネクタの場合のみ。

デフォルトでは、SQL テキストを含むクエリログは dbc.DBQLSqlTbl テーブルから抽出されます。別の場所から抽出する必要がある場合は、このフラグを使用してテーブルまたはビューの完全修飾名を指定できます。
抽出のパフォーマンスを改善するには、-Dteradata-logs.log-date-column フラグをご覧ください。

例（Bash）:
-Dteradata-logs.sql-logs-table=historicdb.ArchivedDBQLSqlTbl

例（Windows PowerShell）:
"-Dteradata-logs.sql-logs-table=historicdb.ArchivedDBQLSqlTbl"

teradata-logs コネクタの場合のみ。

デフォルトでは、ユーティリティ ログは dbc.DBQLUtilityTbl テーブルから抽出されます。ユーティリティ ログを別の場所から抽出する必要がある場合は、-Dteradata-logs.utility-logs-table フラグを使用してテーブルの完全修飾名を指定できます。

例（Bash）:
-Dteradata-logs.utility-logs-table=historicdb.ArchivedUtilityLogs

例（Windows PowerShell）:
"-Dteradata-logs.utility-logs-table=historicdb.ArchivedUtilityLogs"

teradata-logs コネクタの場合のみ。

デフォルトでは、SCPU リソースの使用状況ログは dbc.ResUsageScpu テーブルから抽出されます。これらを別の場所から抽出する必要がある場合は、-Dteradata-logs.res-usage-scpu-table フラグを使用してテーブルの完全修飾名を指定できます。

例（Bash）:
-Dteradata-logs.res-usage-scpu-table=historicdb.ArchivedResUsageScpu

例（Windows PowerShell）:
"-Dteradata-logs.res-usage-scpu-table=historicdb.ArchivedResUsageScpu"

teradata-logs コネクタの場合のみ。

デフォルトでは、SPMA リソースの使用状況ログは dbc.ResUsageSpma テーブルから抽出されます。これらのログを別の場所から抽出する必要がある場合は、-Dteradata-logs.res-usage-spma-table フラグを使用してテーブルの完全修飾名を指定できます。

例（Bash）:
-Dteradata-logs.res-usage-spma-table=historicdb.ArchivedResUsageSpma

例（Windows PowerShell）:
"-Dteradata-logs.res-usage-spma-table=historicdb.ArchivedResUsageSpma"

クエリログ抽出の開始時間（指定した時間を含む）。値を切り捨てて時間にします。このフラグは、teradata-logs コネクタでのみ使用できます。

例: --query-log-start "2023-01-01 14:00:00"

クエリログを抽出する終了時間（独占的）。値を切り捨てて時間にします。このフラグは、teradata-logs コネクタでのみ使用できます。

例: --query-log-end "2023-01-15 22:00:00"

teradata コネクタの場合のみ。

ビュー TableSizeV から抽出される行数を制限します。 行は列 DatabaseName、AccountName、TableName によってグループ化されてから、永続領域のサイズ（式 SUM(CurrentPerm)）で降順に並べ替えられます。その後、指定した行数が抽出されます。

例（Bash）:
-Dteradata.metadata.tablesizev.max-rows=100000

例（Windows PowerShell）:
"-Dteradata.metadata.tablesizev.max-rows=100000"

teradata コネクタの場合のみ。

ビュー DiskSpaceV から抽出される行数を制限します。 行は永続領域（列 CurrentPerm）のサイズで降順に並べ替えられてから、指定された行数が抽出されます。

例（Bash）:
-Dteradata.metadata.diskspacev.max-rows=100000

例（Windows PowerShell）:
"-Dteradata.metadata.diskspacev.max-rows=100000"

teradata コネクタの場合のみ。

ビュー DatabasesV から抽出されるユーザー（DBKind='U'）を表す行数を制限します。 行が列 PermSpace で降順に並べ替えられてから、指定された行数が抽出されます。

例（Bash）:
-Dteradata.metadata.databasesv.users.max-rows=100000

例（Windows PowerShell）:
"-Dteradata.metadata.databasesv.users.max-rows=100000"

teradata コネクタの場合のみ。

ビュー DatabasesV から抽出されるデータベース（DBKind='D'）を表す行数を制限します。 行が列 PermSpace で降順に並べ替えられてから、指定された行数が抽出されます。

例（Bash）:
-Dteradata.metadata.databasesv.dbs.max-rows=100000

例（Windows PowerShell）:
"-Dteradata.metadata.databasesv.dbs.max-rows=100000"

teradata コネクタの場合のみ。

TableTextV ビューからデータを抽出するときのテキスト列の最大長。定義された上限を超えるテキストは、複数の行に分割されます。指定可能な範囲: 5,000～32,000（両端を含む）。

例（Bash）:
-Dteradata.metadata.max-text-length=10000

例（Windows PowerShell）:
"-Dteradata.metadata.max-text-length=10000"

teradata-logs コネクタの場合のみ。

DBQLSqlTbl.SqlTextInfo 列の最大長。 定義された上限より長いクエリテキストは複数の行に分割されます。指定可能な範囲: 5,000～31,000（両端を含む）。

例（Bash）:
-Dteradata-logs.max-sql-length=10000

例（Windows PowerShell）:
"-Dteradata-logs.max-sql-length=10000"

データベース ログを生成するとき、またはメタデータを抽出するときに評価モードを有効にすること。メタデータ抽出に使用された場合、BigQuery 移行評価に必要なメタデータ統計を生成します。クエリログの抽出に使用すると、BigQuery 移行評価のクエリ指標統計が生成されます。

接続先のデータベースの名前。

認証に使用する AWS IAM アクセスキー ID。アクセスキーは AKIAIOSFODNN7EXAMPLE のような文字列です。

--iam-secretaccesskey フラグと組み合わせて使用します。--iam-profile または --password フラグを指定するときは、このフラグを使用しないでください。

明示的ではなくでも、次のいずれかの方法で認証情報を指定する必要があります。

• このフラグを --iam-secretaccesskey フラグと組み合わせて使用する
• --iam-profile フラグを使用する
• --password フラグを --user フラグと組み合わせて使用する

認証に使用する AWS IAM プロファイル。使用するプロファイル値を取得するには、$HOME/.aws/credentials ファイルを調べるか、aws configure list-profiles を実行します。

このフラグは、--iam-accesskeyid フラグ、--iam-secretaccesskey フラグ、または --password フラグと併用しないでください。

明示的ではなくでも、次のいずれかの方法で認証情報を指定する必要があります。

• このフラグを使用する
• --iam-accesskeyid フラグを --iam-secretaccesskey フラグと組み合わせて使用する
• --password フラグを --user フラグと組み合わせて使用する

認証に使用する AWS IAM シークレット アクセスキー。シークレット アクセスキーは、wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY のような文字列です。

--iam-accesskeyid フラグと組み合わせて使用します。このフラグは、--iam-profile フラグや --password フラグと併用しないでください。

明示的ではなくでも、次のいずれかの方法で認証情報を指定する必要があります。

• このフラグを --iam-accesskeyid フラグと組み合わせて使用する
• --iam-profile フラグを使用する
• --password フラグを --user フラグと組み合わせて使用する

このフラグは、--iam-accesskeyid フラグ、--iam-secretaccesskey フラグ、または --iam-profile フラグと併用しないでください。

明示的ではなくでも、次のいずれかの方法で認証情報を指定する必要があります。

• このフラグを --user フラグと組み合わせて使用する
• --iam-accesskeyid フラグを --iam-secretaccesskey フラグと組み合わせて使用する
• --password フラグを使用する

クエリログ抽出の開始時間（指定した時間を含む）。値を切り捨てて時間にします。このフラグは、redshift-raw-logs コネクタでのみ使用できます。

例: --query-log-start "2023-01-01 14:00:00"

クエリログを抽出する終了時間（独占的）。値を切り捨てて時間にします。このフラグは、redshift-raw-logs コネクタでのみ使用できます。

例: --query-log-end "2023-01-15 22:00:00"

メタデータを抽出するときに評価モードを有効にします。 dwh-migration-dumper ツールは、メタデータ抽出に使用された場合、BigQuery 移行評価に必要なメタデータ統計を生成します。

dwh-migration-dumper ツールによりパーティション メタデータが抽出されます。Thrift クライアントのパフォーマンスに影響するため、このフラグは、多数のパーティションを持つ本番環境のメタストアでは false に設定することをおすすめします。これにより、抽出ツールのパフォーマンスは向上しますが、BigQuery 側ではパーティションの最適性が一部失われます。

効果がないので、このフラグは --assessment フラグと併用しないでください。

dwh-migration-dumper ツールを実行すると、このフラグの値に基づいて、Apache Hive サーバーとの通信に使用する適切な Thrift 仕様が選択されます。抽出ツールに適切な Thrift 仕様がない場合、2.3.6 クライアントを使用して stdout に警告を出力します。この場合は、サポートに連絡し、リクエストした Apache Hive のバージョン番号をお知らせください。

RPC 保護の構成レベル。これにより、クラスタと dwh-migration-dumper ツール間の Simple Authentication and Security Layer（SASL）接続の保護の質（QOP）が決まります。

クラスタの /etc/hadoop/conf/core-site.xml ファイル内の hadoop.rpc.protection パラメータの値と等しくする必要があります。次のいずれかの値を指定します。

• authentication
• integrity
• privacy

例（Bash）:
-Dhiveql.rpc.protection=privacy

例（Windows PowerShell）:
"-Dhiveql.rpc.protection=privacy"

接続先のデータベースの名前。

接続先のデータベースの名前。

抽出するデータベースのカンマ区切りのリスト。

接続先のデータベースの名前。

接続に使用する Oracle サービス名。

接続に使用する Oracle システム ID（SID）。

データベース接続に使用するユーザー名。

メタデータを抽出するには、指定したユーザーにロール SELECT_CATALOG_ROLE を付与する必要があります。ユーザーに必要なロールが付与されているかを確認するには、Oracle データベースに対してクエリ select granted_role from user_role_privs; を実行します。

接続先のデータベースの名前。

Snowflake から一度に抽出できるのは 1 つのデータベースのみです。

データベース接続に使用するユーザー名。

メタデータ クエリの処理に使用する Snowflake ウェアハウス。

接続先のデータベースの名前。