Mainframe Connector コマンドライン リファレンス

このドキュメントでは、Mainframe Connector コマンドライン ツールの構文、コマンド、フラグ、引数について説明します。

コマンド

bq export

BigQuery からテーブルをエクスポートします。

概要

bq export [options]

フラグと引数

このコマンドを実行するには、SQL クエリ（--sql フラグと query_dsn フラグを参照）とコピーブック（cobDsn フラグを参照）を指定する必要があります。このコマンドは、ローカルモード、リモートモード、スタンドアロン モードで実行できます。リモートモードについては、--bucket、--remoteHost、--remotePort、--remoteUrl のフラグをご覧ください。bq export コマンドでは、次のフラグと引数を使用します。

--project_id=ID
このコマンドの実行に使用するプロジェクトを指定します。
--allow_large_results
（省略可）レガシー SQL クエリで大きいサイズの宛先テーブルを使用します。
--batch
（省略可）クエリをバッチモードで実行します。
--bucket=BUCKET
（省略可）コマンドの出力を書き込む Cloud Storage 内のロケーションを指定します。run_mode が gcsoutput の場合、このパラメータは gs://example-bucket/example-prefix/example-filename.orc 形式の Cloud Storage URI に設定する必要があります。それ以外の場合、出力ファイルは宛先パス gs://BUCKET/EXPORT/ に書き込まれます。この引数はリモートモードで必要です。
--cobDsn=DSN
（省略可）使用するコピーブック DSN を指定します。値を指定しない場合、Mainframe Connector は DD COPYBOOK から読み取ります。
--dataset_id=ID
（省略可）コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--destination_table=TABLE
（省略可）クエリ結果の書き込み先となる宛先テーブルを指定します。
--dry_run
（省略可）クエリを実行せずに検証します。
--encoding=ENCODING
（省略可）文字フィールドのエンコードとデコードに使用する文字セットを指定します。この値を指定すると、ENCODING 環境変数で設定されたデフォルト値がオーバーライドされます。
--exporter_thread_count=COUNT
（省略可）エクスポータ スレッドの数を設定します。デフォルト値は 4 です。
--help または -h
このヘルパー テキストを表示します。
--keepAliveTimeInSeconds=SECONDS
（省略可）HTTP チャネルのキープアライブ タイムアウトを秒単位で指定します。デフォルト値は 480 秒です。
--location=LOCATION
（省略可）コマンドを実行するリージョンまたはマルチリージョン ロケーションを指定します。デフォルト値は US です。
--max_read_queue=NUMBER
（省略可）Avro レコードキューの最大サイズを設定します。デフォルト値はスレッド数の 2 倍です。
--max_read_streams=NUMBER
（省略可）読み取りストリーム スレッドの最大数を設定します。デフォルト値は 4 です。
--maximum_bytes_billed=BYTES
（省略可）クエリに対して課金されるバイト数を制限します。
--order_response
（省略可）BigQuery から返された順序でレスポンスを維持します。
--outDD=OUTPUT
（省略可）出力レコードを z/OS の指定されたデータセットに書き込みます。デフォルト値は DD OUTFILE です。
--parser_type=TYPE
（省略可）構成パーサーを legacy、copybook、または auto に設定します。デフォルト値は auto です。
--query_dsn=DSN
（省略可）z/OS の指定されたデータセットからクエリを読み取ります。HLQ.MEMBER または HLQ.PDS(MEMBER) の形式を使用します。値を指定しない場合、Mainframe Connector は DD QUERY から読み取ります。
--remoteHost=HOST
（省略可）リモートホストの IP アドレスを指定します。リモートモードで Mainframe Connector を実行するには、--bucket フラグを設定します。
--remotePort=PORT
（省略可）リモートポートを指定します。デフォルト値は 51770 です。リモートモードで Mainframe Connector を実行するには、--bucket フラグを設定します。
--remoteUrl=URL
（省略可）リモート URL を指定します。リモートモードで Mainframe Connector を実行するには、--bucket フラグを設定します。
--run_mode=MODE
（省略可）エクスポートの実装を選択します。次のいずれかの方法を使用できます。
  • directstorage: バイナリ ファイルがローカルに保存されます（デフォルト）。
  • gcsoutput: バイナリ ファイルが Cloud Storage に保存されます
--sql=SQL
（省略可）実行する BigQuery SQL クエリを指定します。
--stats_table=TABLE
（省略可）統計情報を挿入するテーブルを指定します。
--timeOutMinutes=MINUTES
（省略可）リモート grpc 呼び出しのタイムアウトを分単位で設定します。デフォルト値は 90 分です。
--transcoding_buffer=BUFFER
（省略可）スレッドあたりのトランスコーディング バッファのサイズを MB 単位で設定します。デフォルト値は 20 です。
--use_cache={true|false}
（省略可）クエリ結果をキャッシュに保存するには、true に設定します。
--use_legacy_sql
（省略可）標準 SQL ではなくレガシー SQL を使用します。

bq load

BigQuery テーブルにデータを読み込む。

概要

bq load [options] tablespec path

フラグと引数

bq load コマンドでは、次のフラグと引数を使用します。

path
ソースファイル URI のカンマ区切りリストを指定します。サポートされている形式は gs://bucket/path です。例: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc
tablespec
データの宛先テーブルを指定します。サポートされている形式は [PROJECT]:[DATASET].[TABLE]
です。
--project_id=ID
このコマンドの実行に使用するプロジェクトを指定します。
--allow_jagged_rows
（省略可）CSV データで末尾の必須でない列の欠落を許可します。
--allow_quoted_newlines
（省略可）CSV データ内で引用符で囲まれた改行を許可します。
--append_table
（省略可）読み込んだデータを宛先テーブルの既存のデータに追加します。
--autodetect
（省略可）CSV データと JSON データのスキーマの自動検出を有効にします。
--clustering_fields=FIELDS
（省略可）指定した場合、クエリ内の宛先テーブルのクラスタ化にカンマ区切りの列のリストが使用されます。このフラグは、取り込み時間パーティション分割テーブル、または DATE 列や TIMESTAMP 列で分割されたテーブルのいずれかを作成するときに、時間パーティショニング フラグとともに使用する必要があります。指定すると、テーブルはまず分割され、その後、指定された列を使用してクラスタ化されます。
--dataset_id=ID
（省略可）コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--debug_mode={true|false}
（省略可）ロギングレベルをデバッグに設定します。
--destination_kms_key=KEY
（省略可）宛先テーブルデータの暗号化に使用される Cloud KMS 鍵。
--encoding または -E=ENCODING
（省略可）文字フィールドのエンコードとデコードに使用する文字セットを指定します。指定すると、この値は ENCODING 環境変数で設定されたデフォルトをオーバーライドします。
--field_delimiter または -F=FIELD
（省略可）CSV データの列区切り文字を指定します。タブ区切り文字には \t または tab を使用します。
--help または -h
このヘルパー テキストを表示します。
--ignore_unknown_values=VALUES
（省略可）CSV または JSON データで認識されない余分な値を無視します。
--location=LOCATION
（省略可）コマンドを実行するリージョンまたはマルチリージョン ロケーションを指定します。デフォルト値は US です。
--max_bad_records=RECORDS
（省略可）ジョブが失敗する前に許容される無効なレコードの最大数を設定します。--max_bad_records の値にかかわらず、最大で 5 つの任意のタイプのエラーが返されます。このフラグは、CSV、JSON、Google スプレッドシートのデータの読み込みにのみ適用されます。デフォルト値は 0 です。
--max_polling_interval_ms=MILLISECONDS
（省略可）BigQuery ジョブの最大待機時間。
--null_marker=MARKER
（省略可）CSV データの NULL 値を表すカスタム文字列を指定します。
--projection_fields=FIELDS
（省略可）--source_format を DATASTORE_BACKUP に設定すると、このフラグは Datastore エクスポートから読み込むエンティティ プロパティを示します。プロパティ名は、カンマ区切りのリストで指定します。プロパティ名では大文字と小文字が区別され、最上位のプロパティを参照する必要があります。このフラグは Firestore のエクスポートでも使用できます。
--quote=QUOTE
（省略可）CSV データのフィールドを囲む引用符を指定します。引数には任意の 1 バイト文字を指定できます。デフォルト値は二重引用符（"）です。引用符なしを指定するには、空の文字列を使用します。
--replace
（省略可）コピー先テーブル内の既存のデータを読み込まれたデータに置き換えます。
--require_partition_filter={true|false}
（省略可）指定したテーブルのクエリにパーティション フィルタを設定するには、true に設定します。この引数は、パーティション分割テーブルにのみ適用され、--time_partitioning_field フラグが true に設定されている場合に適用されます。デフォルト値は false です。
--schema=SCHEMA
（省略可）宛先テーブルのスキーマを定義します。値は、[FIELD]:[DATA_TYPE] 形式の列定義のカンマ区切りリストとして指定します。例: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
（省略可）テーブルにデータを追加するとき（読み込みジョブまたはクエリジョブ）、またはテーブル パーティションを上書きするときに、宛先テーブルのスキーマを更新する方法を指定します。次の値のいずれかを使用できます。
  • ALLOW_FIELD_ADDITION: 新しいフィールドの追加を許可します。
  • ALLOW_FIELD_RELAXATION: REQUIRED フィールドを NULLABLE に緩和することを許可します。
複数のスキーマ更新オプションを指定するには、このフラグを繰り返します。
--skip_leading_rows=NUMBER
（省略可）ソースファイルの先頭でスキップする行数を指定します。デフォルト値は 0 です。
--source_format=FORMAT
（省略可）ソースデータの形式を指定します。次のいずれかの値を使用できます。CSV、NEWLINE_DELIMITED_JSON、AVRO、DATASTORE_BACKUP（Filestore にはこの値を使用）、PARQUET、ORC。デフォルト値は ORC です。
--stats_table=TABLE
（省略可）統計情報を挿入するテーブルを指定します。
--time_partitioning_expiration=SECONDS
（省略可）時間ベースのパーティションを削除するタイミングを秒単位で指定します。パーティションの日付（UTC）に、指定された値を足した値が有効期限になります。負の数を指定すると、時間ベースのパーティションは期限切れになりません。
--time_partitioning_field=FIELD
（省略可）時間ベースのパーティションの作成方法を決定するために使用するフィールドを指定します。この値を指定せずに時間ベースのパーティショニングを有効にすると、テーブルは読み込み時間に基づいてパーティショニングされます。
--time_partitioning_type=TYPE
（省略可）テーブルで時間ベースのパーティショニングを有効にし、次の値 DAY を使用してパーティション タイプを設定します。
--use_avro_logical_types={true|false}
（省略可）--source_format が AVRO に設定されている場合、このフラグを true に設定すると、未加工型（INTEGER など）を使用するだけではなく、論理型を対応する型（TIMESTAMP など）に変換できます。デフォルト値は false です。

bq mk

パーティショニングとクラスタリングの設定が必要な BigQuery リソース（組み込みテーブルや外部テーブルなど）を作成します。bq mk コマンドと --schema_from_copybook フラグを使用して、COBOL コピーブックの解析から BigQuery テーブルを直接生成することもできます。

概要

bq mk [options]

フラグと引数

bq mk コマンドでは、次のフラグと引数を使用します。

--project_id=ID
このコマンドの実行に使用するプロジェクトを指定します。
--tablespec=TABLE
データの宛先テーブルを指定します。サポートされている形式は [PROJECT]:[DATASET].[TABLE] です。
--clustering_fields=FIELDS
（省略可）テーブルのクラスタリングに使用するフィールドを指定する、最大 4 つの列名のカンマ区切りリストを指定します。
--dataset_id=ID
（省略可）コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--description=DESCRIPTION
（省略可）データセットまたはテーブルの説明を指定します。
--dry_run
（省略可）テーブルのデータ定義言語（DDL）ステートメントを出力します。
--encoding=ENCODING
（省略可）文字フィールドのエンコードとデコードに使用する文字セットを指定します。指定すると、この値は ENCODING 環境変数で設定されたデフォルトをオーバーライドします。
--expiration=EXPIRATION
（省略可）テーブルの存続期間を指定します。値を指定しない場合、BigQuery はデータセットのデフォルトのテーブル存続期間でテーブルを作成するか、テーブルの有効期限が無期限になります。
--external_table_definition または -e=TABLE
（省略可）名前とスキーマ定義を指定して、外部テーブルを作成します。例: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help または -h
このヘルパー テキストを表示します。
--location=LOCATION
（省略可）コマンドを実行するリージョンまたはマルチリージョン ロケーションを指定します。デフォルト値は US です。
--parser_type=TYPE
（省略可）構成パーサーを legacy、copybook、または auto に設定します。デフォルト値は auto です。
--require_partition_filter={true|false}
（省略可）指定したテーブルのクエリにパーティション フィルタを設定するには、true に設定します。この引数は、パーティション分割テーブルにのみ適用され、--time_partitioning_field フラグが true に設定されている場合に適用されます。デフォルト値は true です。
--schema=SCHEMA
（省略可）ローカルの JSON スキーマ ファイルへのパス、または FIELD:DATA_TYPE、FIELD:DATA_TYPE などの形式の列定義のカンマ区切りリストのいずれかを指定します。
--schema_from_copybook=SCHEMA
（省略可）コピーブックからスキーマを生成します。
--table または -t=TABLE
（省略可）テーブルを作成します。
--time_partitioning_expiration=SECONDS
（省略可）時間ベースのパーティションを削除するタイミングを秒単位で指定します。パーティションの日付（UTC）に、指定された値を足した値が有効期限になります。負の数を指定すると、時間ベースのパーティションは期限切れになりません。
--time_partitioning_field=FIELD
（省略可）時間ベースのパーティションの作成方法を決定するために使用するフィールドを指定します。この値を指定せずに時間ベースのパーティショニングを有効にすると、テーブルは読み込み時間に基づいてパーティショニングされます。
--view
（省略可）ビューを作成します。

bq query

BigQuery クエリを実行します。

概要

bq query [options]

フラグと引数

このコマンドは、ローカルモードとリモートモードで実行できます。リモートモードについては、フラグ --remoteHost、--remotePort、--remoteUrl と環境変数 BQ_QUERY_REMOTE_EXECUTION をご覧ください。bq query コマンドでは、次のフラグと引数を使用します。

--project_id=ID
このコマンドの実行に使用するプロジェクトを指定します。
--allow_large_results
（省略可）レガシー SQL クエリで大きいサイズの宛先テーブルを使用します。
--append_table
（省略可）読み込んだデータを宛先テーブルの既存のデータに追加します。
--batch
（省略可）クエリをバッチモードで実行します。
--clustering_fields=FIELDS
（省略可）テーブルのクラスタリングに使用するフィールドを指定する、最大 4 つの列名のカンマ区切りリストを指定します。この値をパーティショニングとともに指定すると、テーブルはまず分割され、各パーティションは指定した列を使用してクラスタ化されます。
--create_if_needed
（省略可）宛先テーブルが存在しない場合は作成します。
--dataset_id=ID
（省略可）コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--destination_table=TABLE
（省略可）クエリ結果の書き込み先となる宛先テーブルを指定します。
--dry_run
（省略可）クエリを実行せずに検証します。
--follow={true|false}
（省略可）個々のクエリステップまたはスクリプト全体を追跡するには、true に設定します。デフォルト値は false です。
--help または -h
このヘルパー テキストを表示します。
--location=LOCATION
（省略可）コマンドを実行するリージョンまたはマルチリージョン ロケーションを指定します。デフォルト値は US です。
--maximum_bytes_billed=BYTES
（省略可）クエリに対して課金されるバイト数の上限を指定します。
--parameters=PARAMETERS
（省略可）カンマ区切りのクエリ パラメータを [NAME]:[TYPE]:[VALUE] の形式で指定します。空の名前を指定すると、位置パラメータが作成されます。name::value または ::value の形式で STRING 値を使用する場合は、[TYPE] を省略できます。NULL を指定すると、null 値が生成されます。
--query_dsn=DSN
（省略可）クエリの読み取り元となる DSN を HLQ.MEMBER または HLQ.PDS(MEMBER) 形式で指定します。query_dsn が指定されていない場合、QUERY DD が使用されます。
--remoteHost=HOST
（省略可）リモートホストの IP アドレスを指定します。リモートモードでクエリを実行するには、BQ_QUERY_REMOTE_EXECUTION 環境変数を設定します。
--remotePort=PORT
（省略可）リモートポートを指定します。デフォルト値は 51770 です。リモートモードでクエリを実行するには、BQ_QUERY_REMOTE_EXECUTION 環境変数を設定します。
--remoteUrl=URL
（省略可）リモート URL を指定します。リモートモードでクエリを実行するには、BQ_QUERY_REMOTE_EXECUTION 環境変数を設定します。
--replace
（省略可）クエリ結果で宛先テーブルを上書きします。
--report_row_limit=LIMIT
（省略可）監査レポートに出力する最大行数を指定します。デフォルト値は 30 です。
--require_partition_filter={true|false}
（省略可）指定したテーブルのクエリにパーティション フィルタを設定するには、true に設定します。デフォルト値は true です。
--schema_update_option=OPTION
（省略可）データを追加するときに、宛先テーブルのスキーマを更新します。次の値を使用します。
  • ALLOW_FIELD_ADDITION: 新しいフィールドの追加を許可します。
  • ALLOW_FIELD_RELAXATION: REQUIRED フィールドを NULLABLE に緩和することを許可します。
--split_sql={true|false}
（省略可）入力 SQL スクリプトを個々のクエリに分割するには、true に設定します。デフォルト値は true です。
--stats_table=TABLE
（省略可）統計情報を挿入するテーブルを指定します。
--sync={true|false}
（省略可）コマンドを同期モードで実行します。
--synchronous_mode={true|false}
（省略可）--sync の代替。
--timeOutMinutes=MINUTES
（省略可）BigQuery ジョブ レスポンスのタイムアウトを分単位で指定します。デフォルト値は 240 分です。
--time_partitioning_expiration=SECONDS
（省略可）時間ベースのパーティションを削除するタイミングを秒単位で指定します。パーティションの日付（UTC）に、指定された値を足した値が有効期限になります。負の数を指定すると、時間ベースのパーティションは期限切れになりません。
--time_partitioning_field=FIELD
（省略可）時間ベースのパーティションの作成方法を決定するために使用するフィールドを指定します。この値を指定せずに時間ベースのパーティショニングを有効にすると、テーブルは読み込み時間に基づいてパーティショニングされます。
--time_partitioning_type=TYPE
（省略可）テーブルで時間ベースのパーティショニングを有効にし、DAY、HOUR、MONTH、YEAR のいずれかの値を使用してパーティション タイプを設定します。
--use_cache={true|false}
（省略可）クエリ結果をキャッシュに保存するには、true に設定します。デフォルト値は true です。
--use_legacy_sql
（省略可）標準 SQL ではなくレガシー SQL を使用します。

cloud run job cancel

特定のジョブ実行をキャンセルします。

概要

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

フラグと引数

cloud run job cancel コマンドでは、次のフラグと引数を使用します。

EXECUTION
Cloud Run ジョブ実行 ID の名前を指定します。
--help または -h
（省略可）このヘルプ メッセージを表示します。
--project=PROJECT
プロジェクト ID を指定します。
--region=REGION
: リソースが存在するリージョンを指定します。

cloud run job execute

特定のジョブを実行します。

概要

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

フラグと引数

cloud run job execute コマンドでは、次のフラグと引数を使用します。

JOB
実行する Cloud Run ジョブの名前を指定します。
--args=ARGS
（省略可）コンテナ イメージによって実行されるコマンドに渡されるカンマ区切りの引数。指定すると、入力値を使用して実行が作成されます。
--async
（省略可）: 処理中のオペレーションの完了を待たずに、直ちにシェルに戻る場合は、このフラグを指定します。
--dump-execution-id=EXECUTION-ID : DataPath
（省略可）実行 ID の書き込み先ファイルを指定します。
--help または -h
（省略可）このヘルプ メッセージを表示します。
--polling-interval=POLLINGINTERVAL
（省略可）: --tail_logs が有効になっている場合にログを表示するポーリング間隔を設定します。デフォルト値は 60 秒です。
--project=PROJECT
プロジェクト ID を指定します。
--region=REGION
リソースが存在するリージョンを指定します。
--tail-logs
（省略可）--tail_logs フラグを指定して同期モードでコマンドを実行すると、Mainframe Connector は進行状況ログを画面に表示します。--tail_logs フラグと --async フラグの両方を指定すると、エラー メッセージが表示されます。Cloud Logging はリアルタイム ロギングをサポートしていないため、このコマンドはログにすでに記録されているログのみを表示します。そのため、--tail_logs フラグを使用すると、一部のログが欠落する可能性があります。ジョブが完了したら、cloud run job log コマンドを使用してジョブの完全なログを表示します。
--task-timeout=TIMEOUT
（省略可）ジョブタスクの試行を実行できる既存の最大時間（期限）を表示します。指定しない場合は、ジョブのデフォルトが使用されます。
--update-env-vars=ENVVARS
（省略可）ジョブの実行の環境変数オーバーライドとして設定する Key-Value ペアのリスト。
--wait
（省略可）実行が完了するまでコマンドを待機させてから終了する場合は、このフラグを指定します。

cloud run job log

Cloud Run ログを表示する

概要

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION-ID

フラグと引数

cloud run job log コマンドでは、次のフラグと引数を使用します。

EXECUTION-ID
Cloud Run ジョブ実行 ID の名前。
--help または -h
（省略可）このヘルプ メッセージを表示します。
--log-filter=FILTER
（省略可）返すログエントリを指定するフィルタ式。
--polling-interval=POLLINGINTERVAL
（省略可）: --tail_logs が有効になっている場合にログを表示するポーリング間隔を設定します。デフォルト値は 60 秒です。
--project=PROJECT
プロジェクト ID を指定します。
--region=REGION
リソースが存在するリージョンを指定します。
--tail
（省略可）設定すると、現在から始まる新しいログのみが表示されます。設定しない場合、すべてのジョブログが表示されます。
--timeout=TIMEOUT
（省略可）コマンドが終了するまでのタイムアウト。設定されていない場合、実行が終了するとコマンドはタイムアウトします。

copy binary

バイナリ データセットをソースパスから宛先パスにコピーします。

概要

copy binary [-h] [--compress] [--buffer-size=BUFFERSIZE]
                   INPUT OUTPUT

フラグと引数

copy binary コマンドでは、次のフラグと引数を使用します。

INPUT : DataPath
コピーする入力ファイルのデータパスを指定します。
OUTPUT : DataPath
コピー先の出力ファイルのデータパスを指定します。
--buffer-size=BUFFERSIZE : DataSize
（省略可）データの各チャンクのメモリ読み取りサイズを指定します。デフォルト値は 64 MiB です。
--compress
（省略可）true の場合、出力ファイルは GZIP を使用して圧縮されます。
--help または -h
（省略可）このヘルプ メッセージを表示します。

copy text

テキスト データセットをコピーします。

概要

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

フラグと引数

copy text コマンドでは、次のフラグと引数を使用します。

INPUT : DataPath
コピーする入力ファイルのデータパスを指定します。
OUTPUT : DataPath
コピーしてエンコードする出力ファイルのデータパスを指定します。
--buffer-size=BUFFERSIZE : DataSize
（省略可）データの各チャンクのメモリ読み取りサイズを指定します。デフォルト値は 64 MiB です。
--help または -h
（省略可）このヘルプ メッセージを表示します。

gsutil cp

メインフレームから Cloud Storage バケットにデータをトランスコードします。

概要

gsutil cp [options] gcsUri [dest]

フラグと引数

このコマンドは、次のさまざまな目的で使用できます。

  • メインフレームまたは Linux 環境から Cloud Storage にファイルをコピーしてコード変換します。
    • 出典: --inDSN。指定しない場合は、DD INFILE で指定します。
    • 宛先: gcsUri
  • Cloud Storage 内でファイルをコピーしてトランスコードする
    • ソース: gcsUri
    • 宛先: --destPath
  • Cloud Storage からメインフレームにファイルをコピーします。
    • ソース: gcsUri
    • 宛先: --destDSN
    • 関連するフラグ: --lrecl、--blksize、--recfm、--noseek。
  • Cloud Storage から Linux 環境にファイルをコピーします。
    • ソース: gcsUri
    • 宛先: --destPath
このコマンドは、ローカルモード、リモートモード、スタンドアロン モードで実行できます。リモートモードについては、--remote、--remoteHost、--remotePort、--remoteUrl のフラグをご覧ください。gsutil cp コマンドでは、次のフラグと引数を使用します。

dest
（省略可）ローカルパスまたはデータソース名（DSN）。形式の例: /path/to/file、DATASET.MEMBER
gcsUri
gs://bucket/path 形式の Cloud Storage URI。使用状況に応じて、出発地と目的地の両方を表すことができます。
--batchSize=SIZE
（省略可）バッチごとに使用するブロックを指定します。デフォルト値は 1000 です。
--blksize=SIZE
（省略可）Mainframe にコピーするファイルのブロックサイズを指定します。blksize=0 と recfm が U 以外の場合、メインフレーム システムはファイルの最適なブロックサイズを決定します。
--cobDsn=DSN
（省略可）使用するコピーブック DSN を指定します。値を指定しない場合、Mainframe Connector は DD COPYBOOK から読み取ります。
--connections=NUMBER
（省略可）リモート レシーバーに接続できる接続の数を指定します。デフォルト値は 10 です。
--dataset_id=ID
（省略可）コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--destDSN=OUTPUT
（省略可）移行先の DSN を指定します。
--destPath=OUTPUT
（省略可）宛先のパスを指定します。
--dry_run
（省略可）QSAM ファイルのコピーブックの解析とデコードをテストします。
--encoding=ENCODING
（省略可）文字フィールドのエンコードとデコードに使用する文字セットを指定します。指定すると、この値は ENCODING 環境変数で設定されたデフォルトをオーバーライドします。
--help または -h
このヘルパー テキストを表示します。
--inDsn=DSN
（省略可）使用する infile DSN を指定します。値を指定しない場合、Mainframe Connector は DD INFILE から読み取ります。
--keepAliveTimeInSeconds=SECONDS
（省略可）HTTP チャネルのキープアライブ タイムアウトを秒単位で指定します。デフォルト値は 480 秒です。
--location=LOCATION
（省略可）コマンドを実行するリージョンまたはマルチリージョン ロケーションを指定します。デフォルト値は US です。
--lowerCaseColumnNames
（省略可）Copybook フィールドの小文字の列名を作成します。
--lrecl=LRECL
（省略可）メインフレームにコピーするファイルの論理レコード長（lrecl）を指定します。
--maxChunkSize=SIZE
（省略可）バッチあたりの最大チャンクサイズを指定します。サイズを記述するには、K、KiB、KB、M、MiB、MB、G、GiB、GB、T、TiB、TB を使用する必要があります。デフォルト値は 128 MiB です。
--max_error_pct=PCT
（省略可）行のデコードエラーのジョブ失敗しきい値を指定します。有効な値は [0.0, 1.0] の範囲内です。デフォルト値は 0 です。
--noseek
（省略可）Cloud Storage からメインフレームへのダウンロード パフォーマンスを改善します。
--parallel または -m
（省略可）同時書き込みの数を 4 に設定します。
--parallelism または -p=NUMBER
（省略可）同時書き込みの数を指定します。デフォルト値は 4 です。
--parser_type=TYPE
（省略可）構成パーサーを legacy、copybook、または auto に設定します。デフォルト値は auto です。
--preload_chunk_count=NUMBER
（省略可）すべてのワーカーが使用中のときにディスクからプリロードするチャンクの数を指定します。デフォルト値は 2 です。
--project_id=ID
（省略可）このコマンドの実行に使用するプロジェクトを指定します。
--recfm=REFCM
（省略可）Mainframe にコピーするファイルの recfm を指定します。次のいずれかの値を使用できます。F、FB、V、VB、U。デフォルト値は FB です。
--remote
（省略可）リモート デコーダを使用します。
--remoteHost=HOST
（省略可）リモートホストの IP アドレスを指定します。リモートモードで Mainframe Connector を実行するには、--remote フラグを設定します。
--remotePort=PORT
（省略可）使用するリモートポートを指定します。デフォルト値は 51770 です。リモートモードで Mainframe Connector を実行するには、--remote フラグを設定します。
--remoteUrl=URL
（省略可）リモート URL を指定します。リモートモードで Mainframe Connector を実行するには、--remote フラグを設定します。
--replace
（省略可）アップロードする前に、宛先を再帰的に削除します。
--stats_table=TABLE
（省略可）統計情報を挿入するテーブルを指定します。
--tfDSN=DSN
（省略可）DSN、DATASET.MEMBER、PDS(MBR) から変換を指定します。
--tfGCS=GCS
（省略可）Cloud Storage から変換ファイルを指定します。
--timeOutMinutes=MINUTES
（省略可）リモート grpc 呼び出しのタイムアウトを分単位で指定します。デフォルト値は、Cloud Storage の場合は 90 分、メインフレームの場合は 50 分です。

gsutil rm

Cloud Storage オブジェクトを削除します。

概要

gsutil rm [-hR] URL...

フラグと引数

gsutil rm コマンドでは、次のフラグと引数を使用します。

URL
Cloud Storage のロケーションを gs://bucket/prefix 形式で指定します。
--help または -h
（省略可）このヘルプ メッセージを表示します。
-R または -r
（省略可）パス式に一致するディレクトリまたはオブジェクトの内容を再帰的に削除します。ディレクトリまたはオブジェクトが存在しない場合、エラーはスローされません。

pubsub topics publish

Pub/Sub トピックにメッセージをパブリッシュします。

このコマンドを使用すると、--data フラグを使用してメッセージ データを直接送信するか、--data-path フラグを使用してファイルを介して送信できます。属性や順序指定キーを含めたり、メッセージ プロパティを適用することもできます。また、メッセージ コンテンツに動的文字列置換を適用することもできます。

概要

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

フラグと引数

pubsub topics publish コマンドでは、次のフラグと引数を使用します。

TOPIC
トピックの名前を projects/{project}/topics/{topic} 形式で指定します。
--attributes=NAME=VALUE
（省略可）属性のカンマ区切りリストを指定します。各 ATTRIBUTE の形式は name=value です。最大 100 個の属性を指定できます。属性のガイドラインの完全なリストについては、属性を使用してメッセージをパブリッシュするをご覧ください。
--data-path=DATAPATH : DataPath
（省略可）メッセージのデータを含むファイルのパスを指定します。--data または --data-path のいずれかのフラグを設定する必要があります。両方を設定することはできません。メッセージの形式とサイズの上限の詳細については、メッセージをトピックにパブリッシュするをご覧ください。
--data=DATA
（省略可）指定されたトピック名にパブリッシュするメッセージの本文を指定します。--data または --data-path のいずれかのフラグを設定する必要があります。両方を設定することはできません。メッセージの形式とサイズの上限の詳細については、メッセージをトピックにパブリッシュするをご覧ください。
--help または -h
（省略可）このヘルプ メッセージを表示します。
--message-property=KEY=VALUE
（省略可）メッセージに適用するプロパティを指定します。有効なプロパティ キーは encoding です。このプロパティ キーは、メッセージ文字列に使用する文字エンコードを指定します。メッセージ文字列は、このエンコードを使用してバイトに変換されてから、Pub/Sub トピックに送信されます。サポートされているエンコード値の一覧については、サポートされているエンコードをご覧ください。デフォルトは UTF-8 です。
--ordering-key=ORDERING-KEY
（省略可）サブスクライバーへのメッセージの順序指定配信のキーを指定します。同じ順序指定キーを持つすべてのメッセージは、Pub/Sub が受信した順序でサブスクライバーに送信されます。
--substitution=KEY=VALUE

（省略可）--data または --data-path を使用して、Pub/Sub メッセージ データに適用される動的置換に使用する Key-Value ペアを指定します。Mainframe Connector は、メッセージ データをスキャンしてプレースホルダを探し、対応する値に置き換えます。${KEY} 構文（例: ${NAME}）を使用して、データ内のプレースホルダを定義します。各置換を KEY=VALUE 形式で Key-Value ペアとして指定します。オプション --substitution key1=value1 --substitution key2=value2 を繰り返すことで、複数の置換を指定できます。

たとえば、入力データが Hello, ${username}! で、--substitution username=World を使用すると、Pub/Sub に送信されるメッセージは Hello, World! になります。

qsam decode

QSAM データをデコードします。

このコマンドは、QSAM ファイルから --output-format 引数で指定した形式にレコードをデコードします。元の QSAM ファイルは、--max-chunk-size 引数で指定した値に基づいてチャンクに分割されます。トランスコードされた出力は、辞書順に並べ替えられたファイルとしてターゲット パスに保存されます。

概要

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

フラグと引数

qsam decode コマンドでは、次のフラグと引数を使用します。

INPUT : DataPath
デコードする QSAM ファイルのデータパスを指定します。
OUTPUT : DataPath
出力接頭辞のデータパスを指定します。すべての出力はこの接頭辞の下に保存されます。
--chunk-size=CHUNK-SIZE : DataSize
（省略可）各出力ファイルに含める入力データの量を指定します。出力ファイルは、元のファイルより大きくなることも小さくなることもあります。チャンク サイズは、論理レコード長の最も近い倍数に切り捨てられます。デフォルト値は 128 MiB です。
--copybook=COPYBOOK : DataPath
コピーブックを含むファイルのデータパスを指定します。
--help または -h
（省略可）このヘルプ メッセージを表示します。
--input-parameter=KEY=VALUE

（省略可）入力を構成するパラメータを指定します。各パラメータは KEY=VALUE として定義されます。サポートされている入力パラメータ キーは次のとおりです。

  • csv-dialect: CSV の解析を構成します。値は、CSV 構成ファイルを指す DataPath です。
  • json-dialect: JSON の解析を構成します。値は、JSON 構成ファイルを指す DataPath です。
  • pubsub-publish-configuration: Pub/Sub に送信されるメッセージを構成します。値は、Pub/Sub 構成ファイルを指す DataPath です。
  • output-prefix: 出力ファイルに接頭辞を追加します。
--max-error-percent=MAX_ERROR_PERCENT

（省略可）トランスコード プロセスが失敗する前にエラーが許容される処理済みレコードの割合を指定します。値の範囲は 0.0（トランスコード エラーがある場合は失敗）～ 1.0（トランスコード エラーがある場合は失敗しない）です。デフォルト値は 0 です。

--output-format=FORMAT : TranscodeFormat

（省略可）出力ファイルの形式を指定します。OUTPUT の値として Pub/Sub トピックの DataPath を指定すると、デフォルトの出力形式は JSONL になります。他のすべての DataPaths の場合、デフォルトの出力形式は ORC です。

--parallelism=COUNT

（省略可）処理スレッドの数を指定します。値は、使用可能なコア数以下にする必要があります。デフォルト値は 1 です。

--preload-chunk-count=PRELOAD_CHUNK_COUNT

（省略可）すべてのスレッドが処理中のときにプリロードするデータチャンクの数を指定します。デフォルト値は 1 です。

--replace

（省略可）指定すると、デコード結果を書き込む前に、出力パスを再帰的に削除します。

--transcode-configuration=CONFIG : DataPath

（省略可）トランスコーディング構成を含むファイルを指定します。トランスコーダ構成の形式の詳細については、トランスコーダ構成をご覧ください。

qsam encode

QSAM データをエンコードします。

このコマンドは、外部ソースからデータを取得し、QSAM ファイルに変換します。入力は、--input-format 引数で指定した値で定義されます。

概要

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

フラグと引数

qsam encode コマンドでは、次のフラグと引数を使用します。

INPUT : DataPath
QSAM ファイルにエンコードする入力ファイルのデータパスを指定します。
OUTPUT : DataPath
エンコードする QSAM ファイルのデータパスを指定します。
--copybook=COPYBOOK : DataPath
コピーブックを含むファイルのデータパスを指定します。
--help または -h
（省略可）このヘルプ メッセージを表示します。
--input-format=FORMAT : TranscodeInputFormat
入力の形式を指定します。
--input-parameter=KEY=VALUE

（省略可）入力を構成するパラメータを指定します。各パラメータは KEY=VALUE として定義されます。サポートされている入力パラメータ キーは次のとおりです。

  • csv-dialect: CSV の解析を構成します。値は、CSV 構成ファイルを指す DataPath です。
  • json-dialect: JSON の解析を構成します。値は、JSON 構成ファイルを指す DataPath です。
  • project-id: ORC の場合の Cloud Storage プロジェクト ID。
--input-stream-count=COUNT

（省略可）入力ストリームの数を指定します。これは最大値であり、実際にはより少ないストリームが使用される可能性があります。デフォルト値は 1 です。

--max-error-percent=MAX_ERROR_PERCENT

（省略可）トランスコード プロセスが失敗する前にエラーが許容される処理済みレコードの割合を指定します。値の範囲は 0.0（トランスコード エラーがある場合は失敗）～ 1.0（トランスコード エラーがある場合は失敗しない）です。デフォルト値は 0 です。

--parallelism=COUNT

（省略可）処理スレッドの数を指定します。値は、使用可能なコア数以下にする必要があります。デフォルト値は 1 です。

--spillover=SPILLOVER : DataPath

（省略可）スピルオーバー データセットのデータパスを指定します。この情報を指定しない場合、エラーの詳細は破棄されます。

--transcode-configuration=CONFIG : DataPath

（省略可）トランスコーディング構成を含むファイルを指定します。トランスコーダ構成の形式の詳細については、トランスコーダ構成をご覧ください。

scp

ファイルを Cloud Storage にコピーします。

概要

scp [options] [input] [output]

フラグと引数

このコマンドを使用するには、次のことを確認する必要があります。

  • input、--inDD、--inDsn のいずれかを使用して、一意の入力値を 1 つ設定します。
  • 出力または --gcsOutUri を介して 1 つの固有の出力値を設定します。

scp コマンドでは、次のフラグと引数を使用します。

input
（省略可）コピーする DD または DSN を指定します。代わりに --inDD または --inDsn を使用できます。
output
（省略可）gs://[BUCKET]/[PREFIX] 形式で出力の URI を指定します。代わりに --gcsOutUri を使用できます。
--compress
（省略可）gzip で出力を圧縮します。
--count または -n=RECORDS
（省略可）コピーするレコード数を指定します。デフォルトは無制限です。
--encoding=ENCODING
（省略可）入力文字エンコードを指定します。デフォルト値は CP037 です。
--gcsOutUri=URI
（省略可）ファイルコピーの宛先 Cloud Storage URI を指定します。
--help または -h
このヘルパー テキストを表示します。
--inDD=INPUT
（省略可）コピーする DD ファイルを指定します。デフォルト値は DD INFILE です。
--inDsn=INPUT
（省略可）コピーする DSN を指定します。
--noConvert
（省略可）文字入力の ASCII への変換を無効にします。文字変換はデフォルトで有効になっています。

systemreport

システム レポートを提供します。

概要

systemreport [-h] [--available-security-providers] [--supported-ciphers]

フラグと引数

systemreport コマンドでは、次のフラグと引数を使用します。

--available-security-providers
（省略可）サポートされているセキュリティ プロバイダを出力します。
--help または -h
（省略可）このヘルプ メッセージを表示します。
--supported-ciphers
（省略可）サポートされている暗号を印刷します。

vsam decode

VSAM データをデコードします。

このコマンドは、--output-format 引数で指定した形式に VSAM ファイルからレコードをデコードします。元の VSAM ファイルは、--max-chunk-size 引数で指定した値に基づいてチャンクに分割されます。トランスコードされた出力は、辞書順に並べ替えられたファイルとしてターゲット パスに保存されます。

概要

vsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

フラグと引数

vsam decode コマンドでは、次のフラグと引数を使用します。

INPUT : DataPath
デコードする VSAM ファイルのデータパスを指定します。
OUTPUT : DataPath
出力接頭辞のデータパスを指定します。すべての出力はこの接頭辞の下に保存されます。
--chunk-size=CHUNK-SIZE : DataSize
（省略可）各出力ファイルに含める入力データの量を指定します。出力ファイルは、元のファイルより大きくなることも小さくなることもあります。チャンク サイズは、論理レコード長の最も近い倍数に切り捨てられます。デフォルト値は 128 MiB です。
--copybook=COPYBOOK : DataPath
コピーブックを含むファイルのデータパスを指定します。
--help または -h
（省略可）このヘルプ メッセージを表示します。
--input-parameter=KEY=VALUE

（省略可）入力を構成するパラメータを指定します。各パラメータは KEY=VALUE として定義されます。サポートされている入力パラメータ キーは次のとおりです。

  • csv-dialect: CSV の解析を構成します。値は、CSV 構成ファイルを指す DataPath です。
  • json-dialect: JSON の解析を構成します。値は、JSON 構成ファイルを指す DataPath です。
  • pubsub-publish-configuration: Pub/Sub に送信されるメッセージを構成します。値は、Pub/Sub 構成ファイルを指す DataPath です。
  • output-prefix: 出力ファイルに接頭辞を追加します。
--max-error-percent=MAX_ERROR_PERCENT

（省略可）トランスコード プロセスが失敗する前にエラーが許容される処理済みレコードの割合を指定します。値の範囲は 0.0（トランスコード エラーがある場合は失敗）～ 1.0（トランスコード エラーがある場合は失敗しない）です。デフォルト値は 0 です。

--output-format=FORMAT : TranscodeFormat

（省略可）出力ファイルの形式を指定します。OUTPUT の値として Pub/Sub トピックの DataPath を指定すると、デフォルトの出力形式は JSONL になります。他のすべての DataPaths の場合、デフォルトの出力形式は ORC です。

--parallelism=COUNT

（省略可）処理スレッドの数を指定します。値は、使用可能なコア数以下にする必要があります。デフォルト値は 1 です。

--preload-chunk-count=PRELOAD_CHUNK_COUNT

（省略可）すべてのスレッドが処理中のときにプリロードするデータチャンクの数を指定します。デフォルト値は 1 です。

--replace

（省略可）指定すると、デコード結果を書き込む前に、出力パスを再帰的に削除します。

--transcode-configuration=CONFIG : DataPath

（省略可）トランスコーディング構成を含むファイルを指定します。トランスコーダ構成の形式の詳細については、トランスコーダ構成をご覧ください。

パラメータ タイプ

Mainframe Connector コマンドで使用される一般的な型。

DataPath

DataPath は、入力または出力を表す文字列です。各 DataPath タイプには、次のように独自の接頭辞と引数があります。

  • DD: - この接頭辞が付いたデータパスは、ジョブ制御言語（JCL）ジョブで実行されるときにデータ定義ステートメント（DD）を指します。DD に encoding= を追加することで、DD エンコードを変更できます。たとえば、DD:DDNAME や DD:DDNAME?encoding=UTF-8 です。デフォルトの DD エンコードは、デフォルトの OS エンコードです。

  • DSN: - この接頭辞が付いたデータパスは、メインフレームで実行されるときにデータソース名（DSN）を指します。DSN エンコードを変更するには、DSN に encoding= を追加します。たとえば、DSN:HQ.FOO.BAR や DSN:HQ.FOO.BAR?encoding=cp037 です。

  • file: - この接頭辞が付いたデータパスは、Unix ファイルを指します。Unix ファイルでは、次の項目を指定できます。

    • : の前に #lrecl を追加して、論理レコード長（LRECL）を指定します。
    • : の前に &recfm を追加して、レコード形式（RECFM）を指定します。デフォルトの RECFM は F です。
    • : の前に &encoding を追加してエンコードします。デフォルトのエンコードは UTF-8 です。

    たとえば、file:/path/to/file、file?80:/path/to/file、file?80&recfm=FB:/path/to/file、file?80&recfm=FB&encoding=cp037:/path/to/file などです。

  • gs:// - この接頭辞が付いたデータパスは、Cloud Storage 内のファイルを指します。ファイルには次の項目を指定できます。

    • バケット プレフィックスの後に ?lrecl=lrecl を追加して LRECL を指定します。
    • バケットの接頭辞の後に ?recfm=recfm を追加して RECFM を指定します。デフォルトの RECFM は F です。
    • バケットの接頭辞の後に ?encoding= を追加してエンコードします。デフォルトのエンコードは UTF-8 です。

    たとえば、gs://my_bucket/my/file.txt、gs://my_bucket/my/file.txt?encoding=cp037、gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037、gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=cp037 などです。

  • pubsub: - この接頭辞が付いたデータパスは、Pub/Sub リソースを指します。例: pubsub:projects/projectId/topics/topicId

Cloud Storage ファイルまたは Unix ファイルの場合、RECFM が V に設定されていると、Mainframe Connector は LLzz 形式でファイルを読み書きします。

  • 最初の 2 バイトは、データサイズ + 4 バイトを表します。
  • 後続の 2 バイトは常に 0x0000 です。
  • 残りのバイトは実際のレコードデータです。

Cloud Storage ファイルまたは Unix ファイルの場合、RECFM が VC に設定されていると、Mainframe Connector は次のように zzLL 形式でファイルを読み書きします。

  • 最初の 2 バイトは常に 0x0000 です。
  • 次の 2 バイトはデータサイズを表します。
  • 残りのバイトは実際のレコードデータです。

DataSize

DataSize は、量と測定単位の形式でサイズを表します（例: 5 MiB）。量と大きさの間に空白文字を使用できます。データサイズの解析では大文字と小文字が区別されないため、大文字と小文字の両方で測定単位を指定できます。

値は次の形式で指定できます。

  • Java 形式: b/k/m/g/t（バイト、kibibyte、mebibyte、gibibyte、tebibyte 用）。
  • 国際形式: KiB/MiB/GiB/TiB（kibibyte、mebibyte、gibibyte、tebibyte 用）。
  • 指標形式: b/kb/mb/gb/tb（kilobyte、megabyte、gigabyte、terabyte 用）。

TranscodeFormat

TranscodeFormat は、トランスコード プロセスで使用する形式を表します。

指定できる値は次のとおりです。

  • ORC - ORC は、自己記述型の型認識カラム型ファイル形式です。
  • CSV - CSV は、各行が 1 つの行を表す表形式のデータを保存するプレーン テキスト形式です。csv-dialect 入力パラメータを使用して CSV パラメータを指定できます。--input-parameter csv-dialect=DataPath として定義できます。ここで、DataPath はこれらのパラメータの場所を指します。
  • JSONL - JSONL は、各行が 1 つの行を表す表形式のデータを保存するプレーン テキスト形式です。JSON パラメータは、json-dialect 入力パラメータを使用して指定できます。--input-parameter json-dialect=DataPath として定義できます。ここで、DataPath はこれらのパラメータの場所を指します。

TranscodeInputFormat

トランスコード中に使用される形式。

指定できる値は次のとおりです。

  • BIGQUERY - BigQuery からデータを直接取得します。INPUT はクエリ ファイルのパスである必要があります。

    使用可能な入力パラメータは次のとおりです。

    • keep-order - レコードの正確な順序が重要な場合に使用します。これにより、入力ストリームが制限されます。
    • project-id - ジョブの実行時に使用するプロジェクト ID。
    • location - ジョブの実行時に使用するロケーション。

  • CSV - CSV は、各行が 1 つの行を表す表形式のデータを保存するプレーン テキスト形式です。csv-dialect 入力パラメータを使用して CSV パラメータを指定できます。--input-parameter csv-dialect=DataPath として定義できます。ここで、DataPath はこれらのパラメータの場所を指します。

  • JSONL - JSONL は、各行が 1 つの行を表す表形式のデータを保存するプレーン テキスト形式です。JSON パラメータは、json-dialect 入力パラメータを使用して指定できます。--input-parameter json-dialect=DataPath として定義できます。ここで、DataPath はこれらのパラメータの場所を指します。

  • ORC - ORC は、型を認識する自己記述型の列形式のファイル形式です。Cloud Storage から ORC ファイルをトランスコードするには、project-id の値を Cloud Storage が存在するプロジェクトのプロジェクト ID に設定します。