Mainframe Connector コマンドライン リファレンス

このドキュメントでは、Mainframe Connector コマンドライン ツールの構文、コマンド、フラグ、引数について説明します。

コマンド

bq export

BigQuery からテーブルをエクスポートします。

概要

bq export [options]

フラグと引数

このコマンドを実行するには、SQL クエリ(フラグ --sqlquery_dsn を参照)とコピーブック(フラグ cobDsn を参照)を指定する必要があります。このコマンドは、ローカルモード、リモートモード、スタンドアロン モードで実行できます。リモートモードについては、--bucket--remoteHost--remotePort--remoteUrl のフラグをご覧ください。bq export コマンドでは、次のフラグと引数を使用します。

--project_id=ID
このコマンドの実行に使用するプロジェクトを指定します。
--allow_large_results
(省略可)レガシー SQL クエリで大きいサイズの宛先テーブルを使用します。
--batch
(省略可)クエリをバッチモードで実行します。
--bucket=BUCKET
(省略可)コマンドの出力を Cloud Storage バケット内の場所に書き込みます。出力ファイルは宛先パス gs://BUCKET/EXPORT/ に書き込まれます。この引数はリモートモードで必須です。
--cobDsn=DSN
(省略可)使用するコピーブック DSN を指定します。値を指定しない場合、Mainframe Connector は DD COPYBOOK から読み取ります。
--dataset_id=ID
(省略可)コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--destination_table=TABLE
(省略可)クエリ結果を書き込む宛先テーブルを指定します。
--dry_run
(省略可)クエリを実行せずに検証します。
--encoding=ENCODING
(省略可)文字フィールドのエンコードとデコードに使用する文字セットを指定します。この値を指定すると、この値は ENCODING 環境変数で設定されたデフォルト値をオーバーライドします。
--exporter_thread_count=COUNT
(省略可)エクスポータ スレッドの数を設定します。デフォルト値は 4 です。
--help または -h
このヘルパー テキストを表示します。
--keepAliveTimeInSeconds=SECONDS
(省略可)HTTP チャネルのキープアライブ タイムアウトを秒単位で指定します。デフォルト値は 480 秒です。
--location=LOCATION
(省略可)コマンドを実行するリージョンまたはマルチリージョンのロケーションを指定します。デフォルト値は US です。
--max_read_queue=NUMBER
(省略可)Avro レコード キューの最大サイズを設定します。デフォルト値はスレッド数の 2 倍です。
--max_read_streams=NUMBER
(省略可)読み取りストリーム スレッドの最大数を設定します。デフォルト値は 4 です。
--maximum_bytes_billed=BYTES
(省略可)クエリに対して課金されるバイト数を制限します。
--order_response
(省略可)BigQuery から返された順序でレスポンスを保持します。
--outDD=OUTPUT
(省略可)出力レコードを z/OS の指定されたデータセットに書き込みます。デフォルト値は DD OUTFILE です。
--parser_type=TYPE
(省略可)構成パーサーを legacycopybook、または auto に設定します。デフォルト値は auto です。
--query_dsn=DSN
(省略可)z/OS で指定されたデータセットからクエリを読み取ります。HLQ.MEMBER 形式または HLQ.PDS(MEMBER) 形式を使用します。値を指定しない場合、Mainframe Connector は DD QUERY から読み取ります。
--remoteHost=HOST
(省略可)リモートホストの IP アドレスを指定します。Mainframe Connector をリモート モードで実行するには、--bucket フラグを設定します。
--remotePort=PORT
(省略可)リモートポートを指定します。デフォルト値は 51770 です。Mainframe Connector をリモート モードで実行するには、--bucket フラグを設定します。
--remoteUrl=URL
(省略可)リモート URL を指定します。Mainframe Connector をリモート モードで実行するには、--bucket フラグを設定します。
--run_mode=MODE
(省略可)エクスポートの実装を選択します。次のいずれかの方法を使用できます。
  • directstorage: バイナリ ファイルがローカルに保存されます(デフォルト)
  • gcsoutput: バイナリ ファイルが Cloud Storage に保存されている
--sql=SQL
(省略可)実行する BigQuery SQL クエリを指定します。
--stats_table=TABLE
(省略可)統計情報を挿入するテーブルを指定します。
--timeOutMinutes=MINUTES
(省略可)リモート grpc 呼び出しのタイムアウトを分単位で設定します。デフォルト値は 90 分です。
--transcoding_buffer=BUFFER
(省略可)スレッドあたりのトランスコード バッファのサイズを MB 単位で設定します。デフォルト値は 20 です。
--use_cache={true|false}
(省略可)クエリ結果をキャッシュに保存するには、true に設定します。
--use_legacy_sql
(省略可)標準 SQL ではなくレガシー SQL を使用します。

bq load

データを BigQuery テーブルに読み込む。

概要

bq load [options] tablespec path

フラグと引数

bq load コマンドでは、次のフラグと引数を使用します。

path
ソースファイルの URI のカンマ区切りリストを指定します。サポートされている形式は gs://bucket/path です。例: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc
tablespec
データの宛先テーブルを指定します。サポートされている形式は [PROJECT]:[DATASET].[TABLE] です。
--project_id=ID
このコマンドの実行に使用するプロジェクトを指定します。
--allow_jagged_rows
(省略可)CSV データで末尾のオプションの列を欠落させることができます。
--allow_quoted_newlines
(省略可)CSV データ内で引用符で囲まれた改行を許可します。
--append_table
(省略可)読み込んだデータを宛先テーブルの既存のデータに追加します。
--autodetect
(省略可)CSV データと JSON データのスキーマの自動検出を有効にします。
--clustering_fields=FIELDS
(省略可)指定した場合、クエリ内の宛先テーブルのクラスタ化にカンマ区切りの列のリストが使用されます。このフラグは、取り込み時間パーティション分割テーブル、または DATE 列や TIMESTAMP 列で分割されたテーブルのいずれかを作成するときに、時間パーティショニング フラグとともに使用する必要があります。指定するとテーブルがまず分割され、その後、指定された列を使用してクラスタ化されます。
--dataset_id=ID
(省略可)コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--debug_mode={true|false}
(省略可)ロギングレベルをデバッグに設定します。
--destination_kms_key=KEY
(省略可)宛先テーブルデータの暗号化に使用される Cloud KMS 鍵。
--encoding または -E=ENCODING
(省略可)文字フィールドのエンコードとデコードに使用する文字セットを指定します。指定すると、この値は ENCODING 環境変数で設定されたデフォルトをオーバーライドします。
--field_delimiter または -F=FIELD
(省略可)CSV データの列区切り文字を指定します。タブ区切り文字には \t または tab を使用します。
--help または -h
このヘルパー テキストを表示します。
--ignore_unknown_values=VALUES
(省略可)CSV または JSON データで認識されない余分な値を無視します。
--location=LOCATION
(省略可)コマンドを実行するリージョンまたはマルチリージョンのロケーションを指定します。デフォルト値は US です。
--max_bad_records=RECORDS
(省略可)ジョブが失敗する前に許容される無効なレコードの最大数を設定します。--max_bad_records の値にかかわらず、最大で 5 つの任意のタイプのエラーが返されます。このフラグは、CSV、JSON、Google スプレッドシートのデータの読み込みにのみ適用されます。デフォルト値は 0 です。
--max_polling_interval_ms=MILLISECONDS
(省略可)BigQuery ジョブの最大待ち時間。
--null_marker=MARKER
(省略可)CSV データの NULL 値を表すカスタム文字列を指定します。
--projection_fields=FIELDS
(省略可)--source_formatDATASTORE_BACKUP に設定すると、このフラグは Datastore エクスポートから読み込むエンティティ プロパティを意味します。プロパティ名は、カンマ区切りのリストで指定します。プロパティ名では大文字と小文字が区別され、最上位のプロパティを参照する必要があります。このフラグは Firestore のエクスポートでも使用できます。
--quote=QUOTE
(省略可)CSV データのフィールドを囲む引用符を指定します。引数には任意の 1 バイト文字を指定できます。デフォルト値は二重引用符(")です。引用符を使用しない場合は、空の文字列を使用します。
--replace
(省略可)宛先テーブルの既存のデータを読み込まれたデータに置き換えます。
--require_partition_filter={true|false}
(省略可)指定したテーブルのクエリに対してパーティション フィルタを設定するには、true に設定します。この引数は、パーティション分割テーブルにのみ適用され、--time_partitioning_field フラグが true に設定されている場合にのみ適用されます。デフォルト値は false です。
--schema=SCHEMA
(省略可)宛先テーブルのスキーマを定義します。値は、[FIELD]:[DATA_TYPE] 形式の列定義のカンマ区切りリストとして指定します。例: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(省略可)(読み込みジョブまたはクエリジョブで)テーブルにデータを追加するとき、またはテーブル パーティションを上書きするときに、宛先テーブルのスキーマを更新する方法を指定します。次の値のいずれかを使用できます。
  • ALLOW_FIELD_ADDITION: 新しいフィールドの追加を許可します。
  • ALLOW_FIELD_RELAXATION: REQUIRED フィールドを NULLABLE に緩和することを許可します。
複数のスキーマ更新オプションを指定するには、このフラグを繰り返します。
--skip_leading_rows=NUMBER
(省略可)ソースファイルの先頭でスキップする行数を指定します。デフォルト値は 0 です。
--source_format=FORMAT
(省略可)ソースデータの形式を指定します。次のいずれかの値を使用できます。CSVNEWLINE_DELIMITED_JSONAVRODATASTORE_BACKUP(Filestore にこの値を使用)、PARQUETORC。デフォルト値は ORC です。
--stats_table=TABLE
(省略可)統計情報を挿入するテーブルを指定します。
--time_partitioning_expiration=SECONDS
(省略可)時間ベースのパーティションを削除するタイミングを秒単位で指定します。有効期限は、パーティションの日付(UTC)に指定された値を足した値になります。負の数を指定すると、時間ベースのパーティションは期限切れになることはありません。
--time_partitioning_field=FIELD
(省略可)時間ベースのパーティションの作成方法を決定するために使用するフィールドを指定します。この値を指定せずに時間ベースのパーティショニングを有効にすると、テーブルは読み込み時間に基づいてパーティショニングされます。
--time_partitioning_type=TYPE
(省略可)テーブルで時間ベースのパーティショニングを有効にし、次の値(DAY)を使用してパーティション タイプを設定します。
--use_avro_logical_types={true|false}
(省略可)--source_formatAVRO に設定されている場合、このフラグを true に設定すると、未加工型(INTEGER など)を使用するのではなく、論理型を対応する型(TIMESTAMP など)に変換できます。デフォルト値は false です。

bq mk

パーティショニングとクラスタリングを設定する必要のある組み込みテーブルや外部テーブルなどの BigQuery リソースを作成します。bq mk コマンドを使用して、--schema_from_copybook フラグを使用して COBOL コピーブックを解析して BigQuery テーブルを直接生成することもできます。

概要

bq mk [options]

フラグと引数

bq mk コマンドでは、次のフラグと引数を使用します。

--project_id=ID
このコマンドの実行に使用するプロジェクトを指定します。
--tablespec=TABLE
データの宛先テーブルを指定します。サポートされている形式は [PROJECT]:[DATASET].[TABLE] です。
--clustering_fields=FIELDS
(省略可)テーブルのクラスタ化に使用するフィールドを指定する、最大 4 つの列名のカンマ区切りリストを指定します。
--dataset_id=ID
(省略可)コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--description=DESCRIPTION
(省略可)データセットまたはテーブルの説明を指定します。
--dry_run
(省略可)テーブルのデータ定義言語(DDL)ステートメントを出力します。
--encoding=ENCODING
(省略可)文字フィールドのエンコードとデコードに使用する文字セットを指定します。指定すると、この値は ENCODING 環境変数で設定されたデフォルトをオーバーライドします。
--expiration=EXPIRATION
(省略可)テーブルの存続期間を指定します。値を指定しない場合は、BigQuery によりテーブルが作成され、データセットのデフォルトのテーブル存続期間が設定されるか、テーブルの有効期限が無期限になります。
--external_table_definition または -e=TABLE
(省略可)外部テーブルを作成するための名前とスキーマ定義を指定します。例: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help または -h
このヘルパー テキストを表示します。
--location=LOCATION
(省略可)コマンドを実行するリージョンまたはマルチリージョンのロケーションを指定します。デフォルト値は US です。
--parser_type=TYPE
(省略可)構成パーサーを legacycopybook、または auto に設定します。デフォルト値は auto です。
--require_partition_filter={true|false}
(省略可)指定したテーブルのクエリに対してパーティション フィルタを設定するには、true に設定します。この引数は、パーティション分割テーブルにのみ適用され、--time_partitioning_field フラグが true に設定されている場合にのみ適用されます。デフォルト値は true です。
--schema=SCHEMA
(省略可)ローカルの JSON スキーマ ファイルへのパス、または FIELD:DATA_TYPE 形式の列定義のカンマ区切りリストを指定します。
FIELD:DATA_TYPE
--schema_from_copybook=SCHEMA
(省略可)コピーブックからスキーマを生成します。
--table または -t=TABLE
(省略可)テーブルを作成する。
--time_partitioning_expiration=SECONDS
(省略可)時間ベースのパーティションを削除するタイミングを秒単位で指定します。有効期限は、パーティションの日付(UTC)に指定された値を足した値になります。負の数を指定すると、時間ベースのパーティションは期限切れになることはありません。
--time_partitioning_field=FIELD
(省略可)時間ベースのパーティションの作成方法を決定するために使用するフィールドを指定します。この値を指定せずに時間ベースのパーティショニングを有効にすると、テーブルは読み込み時間に基づいてパーティショニングされます。
--view
(省略可)ビューを作成します。

bq query

BigQuery クエリを実行します。

概要

bq query [options]

フラグと引数

このコマンドは、ローカルモードとリモートモードで実行できます。リモートモードについては、フラグ --remoteHost--remotePort--remoteUrl、環境変数 BQ_QUERY_REMOTE_EXECUTION をご覧ください。bq query コマンドでは、次のフラグと引数を使用します。

--project_id=ID
このコマンドの実行に使用するプロジェクトを指定します。
--allow_large_results
(省略可)レガシー SQL クエリで大きいサイズの宛先テーブルを使用します。
--append_table
(省略可)読み込んだデータを宛先テーブルの既存のデータに追加します。
--batch
(省略可)クエリをバッチモードで実行します。
--clustering_fields=FIELDS
(省略可)テーブルのクラスタ化に使用するフィールドを指定する、最大 4 つの列名のカンマ区切りリストを指定します。パーティショニングとともにこの値を指定すると、テーブルはまず分割され、各パーティションは指定した列を使用してクラスタ化されます。
--create_if_needed
(省略可)宛先テーブルが存在しない場合は作成します。
--dataset_id=ID
(省略可)コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--destination_table=TABLE
(省略可)クエリ結果を書き込む宛先テーブルを指定します。
--dry_run
(省略可)クエリを実行せずに検証します。
--follow={true|false}
(省略可)個々のクエリステップまたはスクリプト全体を追跡するには、true に設定します。デフォルト値は false です。
--help または -h
このヘルパー テキストを表示します。
--location=LOCATION
(省略可)コマンドを実行するリージョンまたはマルチリージョンのロケーションを指定します。デフォルト値は US です。
--maximum_bytes_billed=BYTES
(省略可)クエリに対して課金されるバイト数の上限を指定します。
--parameters=PARAMETERS
(省略可)[NAME]:[TYPE]:[VALUE] の形式でカンマ区切りのクエリ パラメータを指定します。空の名前を指定すると、位置パラメータが作成されます。[TYPE] を省略すると、name::value または ::value の形式の STRING 値が想定されます。NULL を指定すると、null 値が生成されます。
--query_dsn=DSN
(省略可)クエリの読み取り元の DSN を HLQ.MEMBER または HLQ.PDS(MEMBER) の形式で指定します。query_dsn が指定されていない場合は、QUERY DD が使用されます。
--remoteHost=HOST
(省略可)リモートホストの IP アドレスを指定します。クエリをリモートモードで実行するには、BQ_QUERY_REMOTE_EXECUTION 環境変数を設定します。
--remotePort=PORT
(省略可)リモートポートを指定します。デフォルト値は 51770 です。クエリをリモートモードで実行するには、BQ_QUERY_REMOTE_EXECUTION 環境変数を設定します。
--remoteUrl=URL
(省略可)リモート URL を指定します。クエリをリモートモードで実行するには、BQ_QUERY_REMOTE_EXECUTION 環境変数を設定します。
--replace
(省略可)クエリ結果で宛先テーブルを上書きします。
--report_row_limit=LIMIT
(省略可)監査レポートに出力する最大行数を指定します。デフォルト値は 30 です。
--require_partition_filter={true|false}
(省略可)指定したテーブルのクエリに対してパーティション フィルタを設定するには、true に設定します。デフォルト値は true です。
--schema_update_option=OPTION
(省略可)データを追加するときに宛先テーブルのスキーマを更新します。次の値を使用します。
  • ALLOW_FIELD_ADDITION: 新しいフィールドの追加を許可します。
  • ALLOW_FIELD_RELAXATION: REQUIRED フィールドを NULLABLE に緩めることを許可します。
--split_sql={true|false}
(省略可)入力 SQL スクリプトを個々のクエリに分割するには、true に設定します。デフォルト値は true です。
--stats_table=TABLE
(省略可)統計情報を挿入するテーブルを指定します。
--sync={true|false}
(省略可)コマンドを同期モードで実行します。
--synchronous_mode={true|false}
(省略可)--sync の代替。
--timeOutMinutes=MINUTES
(省略可)BigQuery ジョブ レスポンスのタイムアウトを分単位で指定します。デフォルト値は 240 分です。
--time_partitioning_expiration=SECONDS
(省略可)時間ベースのパーティションを削除するタイミングを秒単位で指定します。有効期限は、パーティションの日付(UTC)に指定された値を足した値になります。負の数を指定すると、時間ベースのパーティションは期限切れになることはありません。
--time_partitioning_field=FIELD
(省略可)時間ベースのパーティションの作成方法を決定するために使用するフィールドを指定します。この値を指定せずに時間ベースのパーティショニングを有効にすると、テーブルは読み込み時間に基づいてパーティショニングされます。
--time_partitioning_type=TYPE
(省略可)テーブルで時間ベースのパーティショニングを有効にし、DAYHOURMONTHYEAR のいずれかの値を使用してパーティション タイプを設定します。
--use_cache={true|false}
(省略可)クエリ結果をキャッシュに保存するには、true に設定します。デフォルト値は true です。
--use_legacy_sql
(省略可)標準 SQL ではなくレガシー SQL を使用します。

cloud run job cancel

特定のジョブ実行をキャンセルします。

概要

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

フラグと引数

cloud run job cancel コマンドでは、次のフラグと引数を使用します。

EXECUTION
Cloud Run ジョブ実行 ID の名前を指定します。
--help または -h
(省略可)このヘルプ メッセージを表示します。
--project=PROJECT
プロジェクト ID を指定します。
--region=REGION
リソースが存在するリージョンを指定します。

cloud run job execute

特定のジョブを実行する。

概要

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

フラグと引数

cloud run job execute コマンドでは、次のフラグと引数を使用します。

JOB
実行する Cloud Run ジョブの名前を指定します。
--args=ARGS
(省略可)コンテナ イメージによって実行されるコマンドに渡される、カンマ区切りの引数。指定すると、入力値を使用して実行が作成されます。
--async
(省略可)処理中のオペレーションの完了を待たずにすぐに戻す場合は、このフラグを指定します。
--dump-execution-id=EXECUTION-ID : DataPath
(省略可)実行 ID を書き込むファイルを指定します。
--help または -h
(省略可)このヘルプ メッセージを表示します。
--polling-interval=POLLINGINTERVAL
(省略可)--tail_logs が有効になっているときにログを表示するためのポーリング間隔を設定します。デフォルト値は 60 秒です。
--project=PROJECT
プロジェクト ID を指定します。
--region=REGION
リソースが存在するリージョンを指定します。
--tail-logs
(省略可)--tail_logs フラグを指定して同期モードでコマンドを実行すると、Mainframe Connector に進行状況ログが表示されます。--tail_logs フラグと --async フラグの両方を指定すると、エラー メッセージが表示されます。Cloud Logging はリアルタイム ロギングをサポートしていないため、このコマンドで表示されるログは、ログにすでに記録されているログのみです。その結果、--tail_logs フラグを使用すると、一部のログが欠落する可能性があります。ジョブのログ全体を表示するには、ジョブの完了後に cloud run job log コマンドを使用します。
--task-timeout=TIMEOUT
(省略可)ジョブタスクの試行を実行できる既存の最大時間(期限)が表示されます。指定しない場合、ジョブのデフォルトが使用されます。
--update-env-vars=ENVVARS
(省略可)ジョブの実行の環境変数オーバーライドとして設定する Key-Value ペアのリスト。
--wait
(省略可)実行が完了するまで待機してからコマンドを終了する場合は、このフラグを指定します。

cloud run job log

Cloud Run ログを表示する

概要

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

フラグと引数

cloud run job log コマンドでは、次のフラグと引数を使用します。

EXECUTION_ID
Cloud Run ジョブ実行 ID の名前。
--help または -h
(省略可)このヘルプ メッセージを表示します。
--log-filter=FILTER
(省略可)返されるログエントリを指定するフィルタ式。
--polling-interval=POLLINGINTERVAL
(省略可)--tail_logs が有効になっているときにログを表示するためのポーリング間隔を設定します。デフォルト値は 60 秒です。
--project=PROJECT
プロジェクト ID を指定します。
--region=REGION
リソースが存在するリージョンを指定します。
--tail
(省略可)設定すると、設定した時刻以降の新しいログのみが表示されます。設定しない場合、すべてのジョブログが表示されます。
--timeout=TIMEOUT
(省略可)タイムアウト。タイムアウトすると、コマンドが終了します。設定しない場合、コマンドは実行終了時にタイムアウトします。

gsutil cp

メインフレームから Cloud Storage バケットにデータをトランスコードします。

概要

gsutil cp [options] gcsUri [dest]

フラグと引数

このコマンドは、次の目的で使用できます。

  • メインフレームまたは Linux 環境から Cloud Storage にファイルをコピーしてコード変換します。
    • ソース: --inDSN。指定しない場合、DD INFILE で指定します。
    • 宛先: gcsUri
  • Cloud Storage 内でファイルをコピーしてコード変換する
    • ソース: gcsUri
    • 宛先: --destPath
  • Cloud Storage からメインフレームにファイルをコピーします。
    • ソース: gcsUri
    • 宛先: --destDSN
    • 関連するフラグ: --lrecl--blksize--recfm--noseek
  • Cloud Storage から Linux 環境にファイルをコピーします。
    • ソース: gcsUri
    • 宛先: --destPath
このコマンドは、ローカルモード、リモートモード、スタンドアロン モードで実行できます。リモートモードについては、--remote--remoteHost--remotePort--remoteUrl のフラグをご覧ください。gsutil cp コマンドでは、次のフラグと引数を使用します。

dest
(省略可)ローカルパスまたはデータソース名(DSN)。形式の例: /path/to/fileDATASET.MEMBER
gcsUri
gs://bucket/path 形式の Cloud Storage URI。使用状況に応じて、送信元と宛先の両方の場所を表すことができます。
--batchSize=SIZE
(省略可)バッチごとに使用するブロックを指定します。デフォルト値は 1,000 です。
--blksize=SIZE
(省略可)メインフレームにコピーするファイルのブロックサイズを指定します。blksize=0recfm が U でない場合、メインフレーム システムはファイルの最適なブロックサイズを決定します。
--cobDsn=DSN
(省略可)使用するコピーブック DSN を指定します。値を指定しない場合、Mainframe Connector は DD COPYBOOK から読み取ります。
--connections=NUMBER
(省略可)リモート レシーバに対して確立できる接続数を指定します。デフォルト値は 10 です。
--dataset_id=ID
(省略可)コマンドで使用するデフォルトのデータセットを指定します。値は [PROJECT_ID]:[DATASET] または [DATASET] に設定できます。[PROJECT_ID] が欠落している場合は、デフォルトのプロジェクトが使用されます。
--destDSN=OUTPUT
(省略可)宛先の DSN を指定します。
--destPath=OUTPUT
(省略可)転送先のパスを指定します。
--dry_run
(省略可)QSAM ファイルのコピーブックの解析とデコードをテストします。
--encoding=ENCODING
(省略可)文字フィールドのエンコードとデコードに使用する文字セットを指定します。指定すると、この値は ENCODING 環境変数で設定されたデフォルトをオーバーライドします。
--help または -h
このヘルパー テキストを表示します。
--inDsn=DSN
(省略可)使用するインファイル DSN を指定します。値を指定しない場合、Mainframe Connector は DD INFILE から読み取ります。
--keepAliveTimeInSeconds=SECONDS
(省略可)HTTP チャネルのキープアライブ タイムアウトを秒単位で指定します。デフォルト値は 480 秒です。
--location=LOCATION
(省略可)コマンドを実行するリージョンまたはマルチリージョンのロケーションを指定します。デフォルト値は US です。
--lowerCaseColumnNames
(省略可)コピーブック フィールドの小文字の列名を作成します。
--lrecl=LRECL
(省略可)メインフレームにコピーするファイルの論理レコード長(lrecl)を指定します。
--maxChunkSize=SIZE
(省略可)バッチあたりの最大チャンクサイズを指定します。サイズを記述するには、K、KiB、KB、M、MiB、MB、G、GiB、GB、T、TiB、TB を使用する必要があります。デフォルト値は 128 MiB です。
--max_error_pct=PCT
(省略可)行デコード エラーのジョブ失敗しきい値を指定します。有効な値は [0.0, 1.0] の範囲内です。デフォルト値は 0 です。
--noseek
(省略可)Cloud Storage からメインフレームへのダウンロード パフォーマンスを改善する。
--parallel または -m
(省略可)同時書き込み数を 4 に設定します。
--parallelism または -p=NUMBER
(省略可)同時書き込みの数を指定します。デフォルト値は 4 です。
--parser_type=TYPE
(省略可)構成パーサーを legacycopybook、または auto に設定します。デフォルト値は auto です。
--preload_chunk_count=NUMBER
(省略可)すべてのワーカーが使用されているときにディスクからプリロードするチャンクの数を指定します。デフォルト値は 2 です。
--project_id=ID
(省略可)このコマンドの実行に使用するプロジェクトを指定します。
--recfm=REFCM
(省略可)メインフレームにコピーするファイルの recfm を指定します。次のいずれかの値を使用できます。F、FB、V、VB、U。デフォルト値は FB です。
--remote
(省略可)リモート デコーダを使用する。
--remoteHost=HOST
(省略可)リモートホストの IP アドレスを指定します。Mainframe Connector をリモート モードで実行するには、--remote フラグを設定します。
--remotePort=PORT
(省略可)使用するリモートポートを指定します。デフォルト値は 51770 です。Mainframe Connector をリモート モードで実行するには、--remote フラグを設定します。
--remoteUrl=URL
(省略可)リモート URL を指定します。Mainframe Connector をリモート モードで実行するには、--remote フラグを設定します。
--replace
(省略可)アップロードする前に宛先を再帰的に削除します。
--stats_table=TABLE
(省略可)統計情報を挿入するテーブルを指定します。
--tfDSN=DSN
(省略可)DSNDATASET.MEMBERPDS(MBR) からの変換を指定します。
--tfGCS=GCS
(省略可)Cloud Storage から変換ファイルを指定します。
--timeOutMinutes=MINUTES
(省略可)リモート gRPC 呼び出しのタイムアウトを分単位で指定します。デフォルト値は、Cloud Storage の場合は 90 分、メインフレームの場合は 50 分です。

gsutil rm

Cloud Storage オブジェクトを削除します。

概要

gsutil rm [-hR] URL...

フラグと引数

gsutil rm コマンドでは、次のフラグと引数を使用します。

URL
Cloud Storage のロケーションを gs://bucket/prefix 形式で指定します。
--help または -h
(省略可)このヘルプ メッセージを表示します。
-R または -r
(省略可)パス式に一致するディレクトリまたはオブジェクトの内容を再帰的に削除します。ディレクトリまたはオブジェクトが存在しない場合、エラーはスローされません。

scp

ファイルを Cloud Storage にコピーします。

概要

scp [options] [input] [output]

フラグと引数

このコマンドを使用するには、次の点を確認する必要があります。

  • input--inDD--inDsn を使用して、一意の入力値を 1 つ設定します。
  • output または --gcsOutUri を使用して、一意の出力値を 1 つ設定します。

scp コマンドでは、次のフラグと引数を使用します。

input
(省略可)コピーする DD または DSN を指定します。代わりに --inDD または --inDsn を使用できます。
output
(省略可)gs://[BUCKET]/[PREFIX] の形式で出力の URI を指定します。代わりに --gcsOutUri を使用できます。
--compress
(省略可)gzip で出力を圧縮します。
--count または -n=RECORDS
(省略可)コピーするレコード数を指定します。デフォルトは無制限です。
--encoding=ENCODING
(省略可)入力文字エンコードを指定します。デフォルト値は CP037 です。
--gcsOutUri=URI
(省略可)ファイルのコピーの宛先 Cloud Storage URI を指定します。
--help または -h
このヘルパー テキストを表示します。
--inDD=INPUT
(省略可)コピーする DD ファイルを指定します。デフォルト値は DD INFILE です。
--inDsn=INPUT
(省略可)コピーする DSN を指定します。
--noConvert
(省略可)文字入力を ASCII に変換しない。文字変換はデフォルトで有効になっています。

systemreport

システム レポートを提供します。

概要

systemreport [-h] [--available_security_providers] [--supported_ciphers]

フラグと引数

systemreport コマンドでは、次のフラグと引数を使用します。

--available_security_providers
(省略可)サポートされているセキュリティ プロバイダを出力します。
--help または -h
(省略可)このヘルプ メッセージを表示します。
--supported_ciphers
(省略可)サポートされている暗号を表示します。

qsam decode

QSAM データをデコードします。

このコマンドは、QSAM ファイルのレコードを、--output-format 引数で指定した形式にデコードします。元の QSAM ファイルは、--max-chunk-size 引数で指定した値に基づいてチャンクに分割されます。変換された出力は、辞書順に並べられたファイルとしてターゲット パスに保存されます。

概要

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   INPUT OUTPUT

フラグと引数

qsam decode コマンドでは、次のフラグと引数を使用します。

INPUT : DataPath
デコードする QSAM ファイルのデータパスを指定します。
OUTPUT : DataPath
出力接頭辞のデータパスを指定します。すべての出力はこの接頭辞の下に保存されます。
--chunk-size=CHUNK-SIZE : DataSize
(省略可)各出力ファイルに含める入力データの量を指定します。出力ファイルのサイズは大きくなる場合も小さくなる場合もあります。チャンクサイズは、論理レコード長の倍数に切り捨てられます。デフォルト値は 128 MiB です。
--copybook=COPYBOOK : DataPath
コピーブックを含むファイルのデータパスを指定します。
--help または -h
(省略可)このヘルプ メッセージを表示します。
--max-error-percent=MAX_ERROR_PERCENT
(省略可)トランスコード プロセスが失敗する前にエラーが許容される処理済みレコードの割合を指定します。値は 0.0(トランスコード エラーが発生した場合は失敗)~ 1.0(トランスコード エラーが発生しても失敗しない)の範囲で指定できます。デフォルト値は 0 です。
--output-format=FORMAT : TranscodeFormat
(省略可)出力ファイルの形式を指定します。デフォルト値は orc です。
--parallelism=COUNT
(省略可)処理スレッドの数を指定します。値は、使用可能なコア数以下にする必要があります。デフォルト値は 1 です。
--preload-chunk-count=PRELOAD_CHUNK_COUNT
(省略可)すべてのスレッドが処理しているときにプリロードするデータ チャンクの数を指定します。デフォルト値は 1 です。
--replace
(省略可)指定すると、デコード結果を書き込む前に出力パスを再帰的に削除します。
--transcode-configuration=CONFIG : DataPath
(省略可)トランスコード構成を含むファイルを指定します。トランスコーダの構成形式の詳細については、トランスコーダの構成をご覧ください。

qsam encode

QSAM データをエンコードします。

このコマンドは、外部ソースからデータを取得し、QSAM ファイルに変換します。入力は、--input-format 引数を使用して指定した値で定義されます。

概要

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

フラグと引数

qsam encode コマンドでは、次のフラグと引数を使用します。

INPUT : DataPath
QSAM ファイルにエンコードする入力ファイルのデータパスを指定します。
OUTPUT : DataPath
エンコードする QSAM ファイルのデータパスを指定します。
--copybook=COPYBOOK : DataPath
コピーブックを含むファイルのデータパスを指定します。
--help または -h
(省略可)このヘルプ メッセージを表示します。
--input-format=FORMAT : TranscodeInputFormat
入力の形式を指定します。
--input-parameter=KEY=VALUE
(省略可)入力を構成するパラメータを指定します。これらは入力形式に固有です。
--input-stream-count=COUNT
(省略可)入力ストリームの数を指定します。これは最大値であり、実際にはより少ないストリームが使用される場合があります。デフォルト値は 1 です。
--parallelism=COUNT
(省略可)処理スレッドの数を指定します。値は、使用可能なコアの数以下にする必要があります。デフォルト値は 1 です。
--spillover=SPILLOVER : DataPath
(省略可)スピルオーバー データセットのデータパスを指定します。この情報を指定しない場合、エラーの詳細は破棄されます。
--transcode-configuration=CONFIG : DataPath
(省略可)トランスコード構成を含むファイルを指定します。トランスコーダの構成形式の詳細については、トランスコーダの構成をご覧ください。

パラメータ タイプ

これらの一般的なタイプは、Mainframe Connector コマンドで使用されます。

DataPath

DataPath は、入力または出力を表す文字列です。各 DataPath タイプには、以下に示す独自の接頭辞があります。

  • DD: - この接頭辞を持つデータパスは、JCL ジョブで実行されている場合、DD を参照します。例: DD:DDNAME

  • DSN: - この接頭辞を持つデータパスは、IBM メインフレームで実行されている場合、DSN を参照します。例: DSN:HQ.FOO.BAR

  • file: - この接頭辞を持つデータパスは、Unix ファイルを参照します。論理レコード長(LRECL)を指定するには、: の前に #lrecl を追加します。例: file:/path/to/filefile#80:/path/to/file

  • gs:// - この接頭辞を持つデータパスは、Cloud Storage 内のファイルを指します。例: gs://my_bucket/my/file.txt

DataSize

DataSize は、サイズを量と測定単位の形式で表します(例: 5 MiB)。量と大きさの間に空白文字を使用できます。データサイズの解析では大文字と小文字が区別されないため、測定単位は大文字と小文字の両方で指定できます。

値は次の形式で指定します。

  • Java 形式: b/k/m/g/t(バイト、kibibyte、mebibyte、gibibyte、tebibyte 用)
  • 国際形式: KiB/MiB/GiB/TiB(kibibyte、mebibyte、gibibyte、tebibyte 用)
  • 指標形式: b/kb/mb/gb/tb(kilobyte、megabyte、gigabyte、terabyte 用)

TranscodeFormat

TranscodeFormat は、トランスコーディング プロセスで使用する形式を表します。

指定できる値は次のとおりです。

  • ORC - ORC は、自己記述型の型対応カラム型ファイル形式です。

TranscodeInputFormat

コード変換で使用する形式。

指定できる値は次のとおりです。

  • BIGQUERY - BigQuery からデータを直接取得します。INPUT はクエリファイルのパスである必要があります。

使用可能な入力パラメータは次のとおりです。

  • keep_order - レコードの正確な順序が重要な場合に使用します。これにより、入力ストリームが制限されます。
  • project_id - ジョブの実行時に使用するプロジェクト ID。
  • location - ジョブの実行時に使用するロケーション。