Mainframe Connector 命令行参考文档

本文档介绍了 Mainframe Connector 命令行工具的语法、命令、标志和实参。

命令

bq export

从 BigQuery 导出表。

摘要

bq export [options]

标志和参数

如需运行此命令，您必须提供 SQL 查询（请参阅标志 --sql 和 query_dsn）和 copybook（请参阅标志 cobDsn）。您可以在本地模式、远程模式和独立模式下运行此命令。对于远程模式，请参阅标志 --bucket、--remoteHost、--remotePort 和 --remoteUrl。 bq export 命令使用以下标志和实参：

--project_id=ID
指定用于执行此命令的项目。
--allow_large_results
（可选）为旧版 SQL 查询使用较大的目标表大小。
--batch
（可选）以批量模式运行查询。
--bucket=BUCKET
（可选）将命令的输出写入 Cloud Storage 存储桶中的某个位置。输出文件会写入目标路径 gs://BUCKET/EXPORT/。远程模式需要此实参。
--cobDsn=DSN
（可选）指定要使用的 copybook DSN。如果您不提供值，Mainframe Connector 会从 DD COPYBOOK 中读取数据。
--dataset_id=ID
（可选）指定要与命令搭配使用的默认数据集。您可以将该值设置为 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果未提供 [PROJECT_ID]，则使用默认项目。
--destination_table=TABLE
（可选）指定要将查询结果写入的目标表。
--dry_run
（可选）验证查询，但不运行查询。
--encoding=ENCODING
（可选）指定用于对字符字段进行编码和解码的字符集。如果提供，此值会替换 ENCODING 环境变量设置的默认值。
--exporter_thread_count=COUNT
（可选）设置导出器线程数。默认值为 4。
--help 或 -h
显示此帮助文本。
--keepAliveTimeInSeconds=SECONDS
（可选）指定 HTTP 通道的 keep-alive 超时时间（以秒为单位）。默认值为 480 秒。
--location=LOCATION
（可选）指定要执行命令的区域或多区域位置。默认值为 US。
--max_read_queue=NUMBER
（可选）设置 Avro 记录队列的最大大小。默认值为线程数的两倍。
--max_read_streams=NUMBER
（可选）设置读取流线程数的上限。默认值为 4。
--maximum_bytes_billed=BYTES
（可选）限制查询的计费字节数。
--order_response
（可选）保持响应的顺序与从 BigQuery 返回的顺序一致。
--outDD=OUTPUT
（可选）将输出记录写入 z/OS 中的指定数据集。默认值为 DD OUTFILE。
--parser_type=TYPE
（可选）将配置解析器设置为 legacy、copybook 或 auto。默认值为 auto。
--query_dsn=DSN
（可选）从 z/OS 中指定的数据集读取查询。使用 HLQ.MEMBER 或 HLQ.PDS(MEMBER) 格式。如果您不提供值，Mainframe Connector 会从 DD QUERY 中读取数据。
--remoteHost=HOST
（可选）指定远程主机的 IP 地址。如需在远程模式下运行 Mainframe Connector，请设置 --bucket 标志。
--remotePort=PORT
（可选）指定远程端口。默认值为 51770。如需在远程模式下运行 Mainframe Connector，请设置 --bucket 标志。
--remoteUrl=URL
（可选）指定远程网址。如需在远程模式下运行 Mainframe Connector，请设置 --bucket 标志。
--run_mode=MODE
（可选）选择导出实现。您可以使用以下任一方式：
  • directstorage：二进制文件保存在本地（默认）
  • gcsoutput：二进制文件保存在 Cloud Storage 中
--sql=SQL
（可选）指定要执行的 BigQuery SQL 查询。
--stats_table=TABLE
（可选）指定要将统计信息插入到的表。
--timeOutMinutes=MINUTES
（可选）设置远程 grpc 调用的超时时间（以分钟为单位）。默认值为 90 分钟。
--transcoding_buffer=BUFFER
（可选）设置每个线程的转码缓冲区大小（以 MB 为单位）。默认值为 20。
--use_cache={true|false}
（可选）如需缓存查询结果，请设置为 true。
--use_legacy_sql
（可选）使用旧版 SQL 而不是标准 SQL。

bq load

将数据加载到 BigQuery 表中。

摘要

bq load [options] tablespec path

标志和参数

bq load 命令使用以下标志和参数：

path
指定以英文逗号分隔的源文件 URI 列表。支持的格式为 gs://bucket/path。示例：gs://my-bucket/data.orc,gs://my-bucket/more-data.orc。
tablespec
指定数据目标表。支持的格式为 [PROJECT]:[DATASET].[TABLE]
--project_id=ID
指定用于执行此命令的项目。
--allow_jagged_rows
（可选）允许 CSV 数据末尾缺少可选列。
--allow_quoted_newlines
（可选）允许 CSV 数据中包含带英文引号的换行符。
--append_table
（可选）将加载的数据附加到目标表中的现有数据。
--autodetect
（可选）为 CSV 和 JSON 数据启用自动架构检测功能。
--clustering_fields=FIELDS
（可选）如果指定此标志，系统会使用以英文逗号分隔列的列表为查询中的目标表划分聚簇。此标志必须与时间分区标志一起使用，用于创建按注入时间分区表或按 DATE 或 TIMESTAMP 列分区的表。指定此标志时，系统首先会对表进行分区，然后使用所提供的列为表划分聚簇。
--dataset_id=ID
（可选）指定要与命令搭配使用的默认数据集。您可以将该值设置为 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果未提供 [PROJECT_ID]，则使用默认项目。
--debug_mode={true|false}
（可选）将日志记录级别设置为“调试”。
--destination_kms_key=KEY
（可选）用于加密目标表数据的 Cloud KMS 密钥。
--encoding 或 -E=ENCODING
（可选）指定用于对字符字段进行编码和解码的字符集。如果指定了此值，则此值会替换 ENCODING 环境变量设置的默认值。
--field_delimiter 或 -F=FIELD
（可选）指定 CSV 数据中的列分隔符。使用 \t 或 tab 作为制表符分隔符。
--help 或 -h
显示此帮助文本。
--ignore_unknown_values=VALUES
（可选）忽略 CSV 或 JSON 数据中无法识别的额外值。
--location=LOCATION
（可选）指定要执行命令的区域或多区域位置。默认值为 US。
--max_bad_records=RECORDS
（可选）设置作业失败前允许的最大无效记录数。无论 --max_bad_records 值是多少，系统最多只会返回 5 个任意类型的错误。此标志仅适用于加载 CSV、JSON 和 Google 表格数据。默认值为 0。
--max_polling_interval_ms=MILLISECONDS
（可选）BigQuery 作业的最长等待时间。
--null_marker=MARKER
（可选）指定一个自定义字符串，该字符串代表 CSV 数据中的一个 NULL 值。
--projection_fields=FIELDS
（可选）如果您将 --source_format 设置为 DATASTORE_BACKUP，则此标志表示要从 Datastore 导出文件中加载的实体属性。以英文逗号分隔的列表形式指定属性名称。属性名称区分大小写，且必须是顶级属性。您还可以将此标志与 Firestore 导出文件一起使用。
--quote=QUOTE
（可选）指定用于括起 CSV 数据中字段的英文引号字符。您可以指定任何单字节字符作为实参。默认值为英文双引号 (")。如需指定没有英文引号字符，请使用空字符串。
--replace
（可选）使用加载的数据替换目标表中的现有数据。
--require_partition_filter={true|false}
（可选）如需对所提供的表的查询使用分区过滤条件，请设置为 true。此实参仅适用于分区表，并且仅在 --time_partitioning_field 标志设置为 true 时适用。默认值为 false。
--schema=SCHEMA
（可选）定义目标表的架构。以英文逗号分隔的列定义列表的形式指定值，格式为 [FIELD]:[DATA_TYPE]。示例：name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
（可选）在将数据附加到表时（在加载作业或查询作业中），或者覆盖表分区时，此标志可指定如何更新目标表的架构。请使用以下某个值：
  • ALLOW_FIELD_ADDITION：允许添加新字段
  • ALLOW_FIELD_RELAXATION：允许将 REQUIRED 字段放宽为 NULLABLE
重复使用此标志可指定多个架构更新选项。
--skip_leading_rows=NUMBER
（可选）指定在源文件开头处要跳过的行数。默认值为 0。
--source_format=FORMAT
（可选）指定源数据的格式。您可以使用以下值之一： CSV NEWLINE_DELIMITED_JSON AVRO DATASTORE_BACKUP（将此值用于 Filestore） PARQUET ORC。默认值为 ORC。
--stats_table=TABLE
（可选）指定要将统计信息插入到的表。
--time_partitioning_expiration=SECONDS
（可选）指定应在何时删除基于时间的分区（以秒为单位）。到期时间以分区的世界协调时间 (UTC) 日期加上指定值为准。如果您提供负数，则基于时间的分区将永不过期。
--time_partitioning_field=FIELD
（可选）指定用于确定如何创建基于时间的分区的字段。如果在未提供此值的情况下启用了基于时间的分区，表会根据加载时间进行分区。
--time_partitioning_type=TYPE
（可选）使用以下值对表启用基于时间的分区并设置分区类型：DAY。
--use_avro_logical_types={true|false}
（可选）如果 --source_format 设置为 AVRO，则将此标志设置为 true 可将逻辑类型转换为对应的类型（如 TIMESTAMP），而不是仅使用其原始类型（如 INTEGER）。默认值为 false。

bq mk

创建需要设置分区和聚类的 BigQuery 资源，例如内置表或外部表。您还可以使用 bq mk 命令，通过使用 --schema_from_copybook 标志直接从解析 COBOL 复制簿生成 BigQuery 表。

摘要

bq mk [options]

标志和参数

bq mk 命令使用以下标志和参数：

--project_id=ID
指定用于执行此命令的项目。
--tablespec=TABLE
指定数据目标表。支持的格式为 [PROJECT]:[DATASET].[TABLE]。
--clustering_fields=FIELDS
（可选）指定一个以英文逗号分隔的列名称列表（最多包含 4 个列名称），用于指定要用于表聚簇的字段。
--dataset_id=ID
（可选）指定要与命令搭配使用的默认数据集。您可以将该值设置为 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果未提供 [PROJECT_ID]，则使用默认项目。
--description=DESCRIPTION
（可选）提供数据集或表的说明。
--dry_run
（可选）输出表的 DDL 语句。
--encoding=ENCODING
（可选）指定用于对字符字段进行编码和解码的字符集。如果指定了此值，则此值会替换 ENCODING 环境变量设置的默认值。
--expiration=EXPIRATION
（可选）指定表的生命周期。如果您未指定值，则 BigQuery 会使用数据集的默认表有效期创建表，否则表不会过期。
--external_table_definition 或 -e=TABLE
（可选）指定名称和架构定义以创建外部表。示例：ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help 或 -h
显示此帮助文本。
--location=LOCATION
（可选）指定要执行命令的区域或多区域位置。默认值为 US。
--parser_type=TYPE
（可选）将配置解析器设置为 legacy、copybook 或 auto。默认值为 auto。
--require_partition_filter={true|false}
（可选）如需对所提供的表的查询使用分区过滤条件，请设置为 true。此实参仅适用于分区表，并且仅在 --time_partitioning_field 标志设置为 true 时适用。默认值为 true。
--schema=SCHEMA
（可选）指定本地 JSON 架构文件的路径，或以英文逗号分隔的列定义列表（采用 FIELD:DATA_TYPE、FIELD:DATA_TYPE 等格式）。
--schema_from_copybook=SCHEMA
（可选）从 copybook 生成架构。
--table 或 -t=TABLE
（可选）创建表格。
--time_partitioning_expiration=SECONDS
（可选）指定应在何时删除基于时间的分区（以秒为单位）。到期时间以分区的世界协调时间 (UTC) 日期加上指定值为准。如果您提供负数，则基于时间的分区将永不过期。
--time_partitioning_field=FIELD
（可选）指定用于确定如何创建基于时间的分区的字段。如果在未提供此值的情况下启用了基于时间的分区，表会根据加载时间进行分区。
--view
（可选）创建视图。

bq query

执行 BigQuery 查询。

摘要

bq query [options]

标志和参数

您可以在本地模式和远程模式下运行此命令。对于远程模式，请参阅标志 --remoteHost、--remotePort 和 --remoteUrl，以及环境变量 BQ_QUERY_REMOTE_EXECUTION。bq query 命令使用以下标志和实参：

--project_id=ID
指定用于执行此命令的项目。
--allow_large_results
（可选）为旧版 SQL 查询使用较大的目标表大小。
--append_table
（可选）将加载的数据附加到目标表中的现有数据。
--batch
（可选）以批量模式运行查询。
--clustering_fields=FIELDS
（可选）指定一个以英文逗号分隔的列名称列表（最多包含 4 个列名称），用于指定要用于表聚簇的字段。如果与分区一起指定此值，则系统首先会对表进行分区，然后使用所提供的列对每个分区进行聚簇。
--create_if_needed
（可选）如果目标表不存在，则创建目标表。
--dataset_id=ID
（可选）指定要与命令搭配使用的默认数据集。您可以将该值设置为 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果未提供 [PROJECT_ID]，则使用默认项目。
--destination_table=TABLE
（可选）指定要将查询结果写入的目标表。
--dry_run
（可选）验证查询，但不运行查询。
--follow={true|false}
（可选）如需跟踪各个查询步骤或整个脚本，请设置为 true。默认值为 false。
--help 或 -h
显示此帮助文本。
--location=LOCATION
（可选）指定要执行命令的区域或多区域位置。默认值为 US。
--maximum_bytes_billed=BYTES
（可选）指定查询的收费字节数上限。
--parameters=PARAMETERS
（可选）以 [NAME]:[TYPE]:[VALUE] 格式指定以英文逗号分隔的查询参数。如果名称为空，则系统会创建一个定位参数。您可以省略 [TYPE]，此时系统会假设应使用 name::value 或 ::value 格式的 STRING 值。NULL 会生成 null 值。
--query_dsn=DSN
（可选）指定要从中读取查询的 DSN，格式为 HLQ.MEMBER 或 HLQ.PDS(MEMBER)。如果未提供 query_dsn，则使用 QUERY DD。
--remoteHost=HOST
（可选）指定远程主机的 IP 地址。如需以远程模式运行查询，请设置 BQ_QUERY_REMOTE_EXECUTION 环境变量。
--remotePort=PORT
（可选）指定远程端口。默认值为 51770。如需以远程模式运行查询，请设置 BQ_QUERY_REMOTE_EXECUTION 环境变量。
--remoteUrl=URL
（可选）指定远程网址。如需以远程模式运行查询，请设置 BQ_QUERY_REMOTE_EXECUTION 环境变量。
--replace
（可选）使用查询结果覆盖目标表。
--report_row_limit=LIMIT
（可选）指定要在审核报告中输出的行数上限。默认值为 30。
--require_partition_filter={true|false}
（可选）如需对所提供的表的查询使用分区过滤条件，请设置为 true。默认值为 true。
--schema_update_option=OPTION
（可选）在附加数据时更新目标表的架构。请使用以下值：
  • ALLOW_FIELD_ADDITION：允许添加新字段。
  • ALLOW_FIELD_RELAXATION：允许将 REQUIRED 字段放宽为 NULLABLE。
--split_sql={true|false}
（可选）设置为 true 可将输入 SQL 脚本拆分为单个查询。默认值为 true。
--stats_table=TABLE
（可选）指定要将统计信息插入到的表。
--sync={true|false}
（可选）以同步模式运行命令。
--synchronous_mode={true|false}
（可选）--sync 的替代项。
--timeOutMinutes=MINUTES
（可选）指定 BigQuery 作业响应的超时时间（以分钟为单位）。默认值为 240 分钟。
--time_partitioning_expiration=SECONDS
（可选）指定应在何时删除基于时间的分区（以秒为单位）。到期时间以分区的世界协调时间 (UTC) 日期加上指定值为准。如果您提供负数，则基于时间的分区将永不过期。
--time_partitioning_field=FIELD
（可选）指定用于确定如何创建基于时间的分区的字段。如果在未提供此值的情况下启用了基于时间的分区，表会根据加载时间进行分区。
--time_partitioning_type=TYPE
（可选）在表上启用基于时间的分区，并使用以下值之一设置分区类型：DAY、HOUR、MONTH、YEAR。
--use_cache={true|false}
（可选）如需缓存查询结果，请设置为 true。默认值为 true。
--use_legacy_sql
（可选）使用旧版 SQL 而不是标准 SQL。

cloud run job cancel

取消特定作业执行。

摘要

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

标志和参数

cloud run job cancel 命令使用以下标志和参数：

EXECUTION
指定 Cloud Run 作业执行 ID 的名称。
--help 或 -h
（可选）显示此帮助消息。
--project=PROJECT
指定项目 ID。
--region=REGION
指定资源所在的区域。

cloud run job execute

执行特定作业。

摘要

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

标志和参数

cloud run job execute 命令使用以下标志和参数：

JOB
指定要执行的 Cloud Run 作业的名称。
--args=ARGS
（可选）以英文逗号分隔的参数，传递给容器映像运行的命令。如果提供，系统将使用输入值创建执行。
--async
（可选）如果您希望立即返回结果，而无需等待正在进行的操作完成，请指定此标志。
--dump-execution-id=EXECUTION-ID : DataPath
（可选）指定要将执行 ID 写入到的文件。
--help 或 -h
（可选）显示此帮助消息。
--polling-interval=POLLINGINTERVAL
（可选）设置启用 --tail_logs 时显示日志的轮询间隔。默认值为 60 秒。
--project=PROJECT
指定项目 ID。
--region=REGION
指定资源所在的区域。
--tail-logs
（可选）如果您通过指定 --tail_logs 标志以同步模式运行该命令，Mainframe Connector 会在屏幕上显示进度日志。如果您同时指定了 --tail_logs 和 --async 标志，系统会显示一条错误消息。由于 Cloud Logging 不支持实时记录日志，因此该命令仅显示已记录在日志中的日志。因此，使用 --tail_logs 标志时，可能会缺少一些日志。如需查看完整的作业日志，请在作业完成后使用 cloud run job log 命令。
--task-timeout=TIMEOUT
（可选）显示作业任务尝试可以运行的现有最长时间（截止时间）。如果未指定，则使用作业默认值。
--update-env-vars=ENVVARS
（可选）键值对列表，用于为作业的执行设置环境变量替换项。
--wait
（可选）如果您希望命令在执行完毕后再退出，请指定此标志。

cloud run job log

显示 Cloud Run 日志

摘要

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

标志和参数

cloud run job log 命令使用以下标志和参数：

EXECUTION_ID
Cloud Run 作业执行 ID 的名称。
--help 或 -h
（可选）显示此帮助消息。
--log-filter=FILTER
（可选）用于指定要返回的日志条目的过滤条件表达式。
--polling-interval=POLLINGINTERVAL
（可选）设置启用 --tail_logs 时显示日志的轮询间隔。默认值为 60 秒。
--project=PROJECT
指定项目 ID。
--region=REGION
指定资源所在的区域。
--tail
（可选）设置后，仅显示从现在开始的新日志。如果未设置，则会显示所有作业日志。
--timeout=TIMEOUT
（可选）超时时间，超过此时间后命令将退出。如果未设置，则命令会在执行退出时超时。

copy text

复制文本数据集。

摘要

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

标志和参数

copy text 命令使用以下标志和参数：

INPUT : DataPath
指定要复制的输入文件的数据路径。
OUTPUT : DataPath
指定要复制并编码到的输出文件的数据路径。
--buffer-size=BUFFERSIZE : DataSize
（可选）指明每个批次的内存读取大小。默认值为 64 MiB。
--help 或 -h
（可选）显示此帮助消息。

gsutil cp

将数据从大型机转码到 Cloud Storage 存储桶。

摘要

gsutil cp [options] gcsUri [dest]

标志和参数

您可以使用此命令实现以下不同目的：

  • 将文件从大型机或 Linux 环境复制并转码到 Cloud Storage。
    • 来源：--inDSN。如果未提供，则由 DD INFILE 指定。
    • 目标位置：gcsUri
  • 复制并转码 Cloud Storage 中的文件
    • 来源：gcsUri
    • 目标位置：--destPath
  • 将文件从 Cloud Storage 复制到大型机。
    • 来源：gcsUri
    • 目标位置：--destDSN
    • 相关标志：--lrecl、--blksize、--recfm、--noseek。
  • 将文件从 Cloud Storage 复制到 Linux 环境。
    • 来源：gcsUri
    • 目标位置：--destPath
此命令可以在本地、远程和独立模式下运行。对于远程模式，请参阅标志 --remote、--remoteHost、--remotePort 和 --remoteUrl。 gsutil cp 命令使用以下标志和实参：

dest
（可选）本地路径或数据源名称 (DSN)。示例格式：/path/to/file、DATASET.MEMBER
gcsUri
Cloud Storage URI，格式为 gs://bucket/path。可表示来源位置和目的地位置，具体取决于使用情况。
--batchSize=SIZE
（可选）指定每批使用的块数。默认值为 1000。
--blksize=SIZE
（可选）指定要复制到大型机的文件块大小。如果为 blksize=0 且 recfm 不是 U，则大型机系统会确定文件的最佳块大小。
--cobDsn=DSN
（可选）指定要使用的 copybook DSN。如果您不提供值，Mainframe Connector 会从 DD COPYBOOK 中读取数据。
--connections=NUMBER
（可选）指定可与远程接收器建立的连接数。默认值为 10。
--dataset_id=ID
（可选）指定要与命令搭配使用的默认数据集。您可以将该值设置为 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果未提供 [PROJECT_ID]，则使用默认项目。
--destDSN=OUTPUT
（可选）指定目标 DSN。
--destPath=OUTPUT
（可选）指定目标路径。
--dry_run
（可选）测试 copybook 解析和 QSAM 文件解码。
--encoding=ENCODING
（可选）指定用于对字符字段进行编码和解码的字符集。如果指定了此值，则此值会替换 ENCODING 环境变量设置的默认值。
--help 或 -h
显示此帮助文本。
--inDsn=DSN
（可选）指定要使用的输入源 DSN。如果您不提供值，Mainframe Connector 会从 DD INFILE 读取数据。
--keepAliveTimeInSeconds=SECONDS
（可选）指定 HTTP 通道的 keep-alive 超时时间（以秒为单位）。默认值为 480 秒。
--location=LOCATION
（可选）指定要执行命令的区域或多区域位置。默认值为 US。
--lowerCaseColumnNames
（可选）为 copybook 字段创建小写列名称。
--lrecl=LRECL
（可选）指定要复制到大型机的文件（即源文件）的逻辑记录长度 (lrecl)。
--maxChunkSize=SIZE
（可选）指定每个批次的最大块大小。您应使用 K、KiB、KB、M、MiB、MB、G、GiB、GB、T、TiB 或 TB 来描述大小。默认值为 128MiB。
--max_error_pct=PCT
（可选）指定行解码错误的作业失败阈值。有效值介于 [0.0, 1.0] 范围内。默认值为 0。
--noseek
（可选）提高从 Cloud Storage 到大型机的下载性能。
--parallel 或 -m
（可选）将并发写入器的数量设置为 4。
--parallelism 或 -p=NUMBER
（可选）指定并发写入器的数量。默认值为 4。
--parser_type=TYPE
（可选）将配置解析器设置为 legacy、copybook 或 auto。默认值为 auto。
--preload_chunk_count=NUMBER
（可选）指定在所有工作器都处于忙碌状态时，要从磁盘预加载的块数。默认值为 2。
--project_id=ID
（可选）指定用于执行此命令的项目。
--recfm=REFCM
（可选）指定要复制到大型机的文件的 recfm。您可以使用以下任一值：F、FB、V、VB、U。默认值为 FB。
--remote
（可选）使用远程解码器。
--remoteHost=HOST
（可选）指定远程主机的 IP 地址。如需在远程模式下运行 Mainframe Connector，请设置 --remote 标志。
--remotePort=PORT
（可选）指定要使用的远程端口。默认值为 51770。如需在远程模式下运行 Mainframe Connector，请设置 --remote 标志。
--remoteUrl=URL
（可选）指定远程网址。如需在远程模式下运行 Mainframe Connector，请设置 --remote 标志。
--replace
（可选）在上传之前以递归方式删除目标。
--stats_table=TABLE
（可选）指定要将统计信息插入到的表。
--tfDSN=DSN
（可选）指定来自 DSN、DATASET.MEMBER 或 PDS(MBR) 的转换。
--tfGCS=GCS
（可选）指定 Cloud Storage 中的转换文件。
--timeOutMinutes=MINUTES
（可选）指定远程 grpc 调用的超时时间（以分钟为单位）。默认值为 90 分钟（对于 Cloud Storage）和 50 分钟（对于大型机）。

gsutil rm

移除 Cloud Storage 对象。

摘要

gsutil rm [-hR] URL...

标志和参数

gsutil rm 命令使用以下标志和参数：

URL
以 gs://bucket/prefix 格式指定 Cloud Storage 位置。
--help 或 -h
（可选）显示此帮助消息。
-R 或 -r
（可选）以递归方式删除与路径表达式匹配的目录或对象的内容。如果目录或对象不存在，则不会抛出错误。

pubsub topics publish

向 Pub/Sub 主题发布消息。

您可以使用此命令直接通过 --data 标志发送消息数据，也可以通过 --data-path 标志通过文件发送消息数据。您还可以添加属性、排序键和应用消息属性。此外，您还可以对消息内容应用动态字符串替换。

摘要

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

标志和参数

pubsub topics publish 命令使用以下标志和参数：

TOPIC
以 projects/{project}/topics/{topic} 格式指定主题的名称。
--attributes=NAME=VALUE
（可选）指定以英文逗号分隔的属性列表。每个 ATTRIBUTE 的格式为 name=value。您最多可以指定 100 个属性。如需查看完整的属性准则列表，请参阅使用属性发布消息。
--data-path=DATAPATH : DataPath
（可选）指定包含消息数据的文件路径。您必须设置 --data 或 --data-path 标志之一，但不能同时设置这两个标志。如需详细了解消息格式和大小限制，请参阅将消息发布到主题。
--data=DATA
（可选）指定要发布到指定主题名称的消息正文。您必须设置 --data 或 --data-path 标志之一，但不能同时设置这两个标志。如需详细了解消息格式和大小限制，请参阅将消息发布到主题。
--help 或 -h
（可选）显示此帮助消息。
--message-property=KEY=VALUE
（可选）指定要应用于消息的属性。有效的属性键为 encoding。此属性键用于指定消息字符串所用的字符编码。消息字符串在发送到 Pub/Sub 主题之前，会使用此编码转换为字节。如需查看支持的编码值列表，请参阅支持的编码。默认值为 UTF-8。
--ordering-key=ORDERING-KEY
（可选）指定向订阅者按顺序传送消息的键。所有具有相同排序键的消息都会按 Pub/Sub 接收它们的顺序发送给订阅者。
--substitution=KEY=VALUE

（可选）使用 --data 或 --data-path 指定要用于对 Pub/Sub 消息数据应用动态替换的键值对。Mainframe Connector 会扫描消息数据中的占位符，并将其替换为相应的值。使用 ${KEY} 语法定义数据中的占位符，例如 ${NAME}。使用 KEY=VALUE 格式将每个替换项指定为键值对。您可以通过重复使用 --substitution key1=value1 --substitution key2=value2 选项来指定多个替换项。

例如，如果输入数据为 Hello, ${username}!，并且您使用 --substitution username=World，则发送到 Pub/Sub 的消息将为 Hello, World!。

qsam decode

解码 QSAM 数据。

此命令会将 QSAM 文件中的记录解码为使用 --output-format 实参指定的格式。原始 QSAM 文件会根据您使用 --max-chunk-size 实参指定的值拆分为多个块。转码后的输出会以按字典顺序排序的文件形式保存在目标路径中。

摘要

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

标志和参数

qsam decode 命令使用以下标志和参数：

INPUT : DataPath
指定要解码的 QSAM 文件的数据路径。
OUTPUT : DataPath
指定输出前缀的数据路径。所有输出都存储在此前缀下。
--chunk-size=CHUNK-SIZE : DataSize
（可选）指定每个输出文件中包含的输入数据量。输出文件可能会更大或更小。块大小向下舍入为最接近的逻辑记录长度倍数。默认值为 128MiB。
--copybook=COPYBOOK : DataPath
指定包含 copybook 的文件的数据路径。
--help 或 -h
（可选）显示此帮助消息。
--input-parameter=KEY=VALUE

（可选）指定用于配置输入的参数。每个形参都定义为 KEY=VALUE。支持的输入参数键如下：

  • csv-dialect：配置 CSV 解析。该值是一个指向 CSV 配置文件的 DataPath。
  • json-dialect：配置 JSON 解析。该值是一个指向 JSON 配置文件的 DataPath。
  • pubsub-publish-configuration：用于配置发送到 Pub/Sub 的消息。该值是一个指向 Pub/Sub 配置文件的 DataPath。
  • output-prefix：为输出文件添加前缀。
--max-error-percent=MAX_ERROR_PERCENT

（可选）指定在转码进程失败之前，允许出现错误的已处理记录的百分比。该值可以介于 0.0（如果存在任何转码错误，则失败）和 1.0（如果存在转码错误，则不失败）之间。默认值为 0。

--output-format=FORMAT : TranscodeFormat

（可选）指定输出文件的格式。如果您将 Pub/Sub 主题的 DataPath 作为 OUTPUT 的值提供，则默认输出格式为 JSONL。对于所有其他 DataPaths，默认输出格式为 ORC。

--parallelism=COUNT

（可选）指定处理线程数。该值应小于或等于可用核心数。默认值为 1。

--preload-chunk-count=PRELOAD_CHUNK_COUNT

（可选）指定在所有线程都在处理时要预加载的数据块数量。默认值为 1。

--replace

（可选）如果指定，则在写入解码结果之前以递归方式删除输出路径。

--transcode-configuration=CONFIG : DataPath

（可选）指定包含转码配置的文件。如需详细了解转码器配置格式，请参阅转码器配置。

qsam encode

对 QSAM 数据进行编码。

此命令从外部来源获取数据，并将其转换为 QSAM 文件。输入由您使用 --input-format 实参指定的值定义。

摘要

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

标志和参数

qsam encode 命令使用以下标志和参数：

INPUT : DataPath
指定要编码为 QSAM 文件的输入文件的数据路径。
OUTPUT : DataPath
指定要编码到的 QSAM 文件的数据路径。
--copybook=COPYBOOK : DataPath
指定包含 copybook 的文件的数据路径。
--help 或 -h
（可选）显示此帮助消息。
--input-format=FORMAT : TranscodeInputFormat
指定输入的格式。
--input-parameter=KEY=VALUE

（可选）指定用于配置输入的参数。每个形参都定义为 KEY=VALUE。支持的输入参数键如下：

--input-stream-count=COUNT

（可选）指定输入流的数量。这是一个最大值，实际上使用的流可能更少。默认值为 1。

--parallelism=COUNT

（可选）指定处理线程数。该值应小于或等于可用核心数。默认值为 1。

--spillover=SPILLOVER : DataPath

（可选）为溢出数据集指定数据路径。如果您未指定此信息，系统将舍弃错误详情。

--transcode-configuration=CONFIG : DataPath

（可选）指定包含转码配置的文件。如需详细了解转码器配置格式，请参阅转码器配置。

scp

将文件复制到 Cloud Storage。

摘要

scp [options] [input] [output]

标志和参数

如需使用此命令，您必须确保满足以下条件：

  • 通过 input、--inDD 或 --inDsn 设置一个唯一的输入值。
  • 通过输出或 --gcsOutUri 设置一个唯一的输出值。

scp 命令使用以下标志和参数：

input
（可选）指定要复制的 DD 或 DSN。您可以改用 --inDD 或 --inDsn。
output
（可选）使用 gs://[BUCKET]/[PREFIX] 格式指定输出的 URI。您可以改用 --gcsOutUri。
--compress
（可选）使用 gzip 压缩输出。
--count 或 -n=RECORDS
（可选）指定要复制的记录数。默认值为无限制。
--encoding=ENCODING
（可选）指定输入字符编码。默认值为 CP037。
--gcsOutUri=URI
（可选）指定文件副本的目标 Cloud Storage URI。
--help 或 -h
显示此帮助文本。
--inDD=INPUT
（可选）指定要复制的 DD 文件。默认值为 DD INFILE。
--inDsn=INPUT
（可选）指定要复制的 DSN。
--noConvert
（可选）停用将字符输入转换为 ASCII 的功能。字符转换功能默认处于启用状态。

systemreport

提供系统报告。

摘要

systemreport [-h] [--available_security_providers] [--supported_ciphers]

标志和参数

systemreport 命令使用以下标志和参数：

--available_security_providers
（可选）打印受支持的安全提供程序。
--help 或 -h
（可选）显示此帮助消息。
--supported_ciphers
（可选）打印支持的加密算法。

参数类型

这些是 Mainframe Connector 命令中使用的常见类型。

DataPath

DataPath 是表示输入或输出的字符串。每种 DataPath 类型都有自己的前缀和实参，如下所示：

  • DD: - 如果在作业控制语言 (JCL) 作业中运行，具有此前缀的数据路径会指向数据定义语句 (DD)。您可以通过向 DD 添加 encoding= 来更改 DD 编码。例如，DD:DDNAME 或 DD:DDNAME?encoding=UTF-8。默认 DD 编码是默认操作系统编码。

  • DSN: - 在大型机上运行时，具有此前缀的数据路径指向数据源名称 (DSN)。您可以通过向 DSN 添加 encoding= 来更改 DSN 编码。例如 DSN:HQ.FOO.BAR 或 DSN:HQ.FOO.BAR?encoding=cp037。

  • file: - 具有此前缀的数据路径指向 Unix 文件。您可以在 Unix 文件中指定以下内容：

    • 通过在 : 之前添加 #lrecl 来设置逻辑记录长度 (LRECL)。
    • 通过在 : 之前添加 &recfm 来设置记录格式 (RECFM)。默认 RECFM 为 F。
    • 通过在 : 前添加 &encoding 来进行编码。默认编码为 UTF-8。

    例如 file:/path/to/file、file?80:/path/to/file、file?80&recfm=FB:/path/to/file 或 file?80&recfm=FB&encoding=cp037:/path/to/file。

  • gs:// - 具有此前缀的数据路径指向 Cloud Storage 中的文件。您可以在该文件中指定以下内容：

    • 通过在存储桶前缀后添加 ?lrecl=lrecl 来设置 LRECL。
    • 通过在存储桶前缀后添加 ?recfm=recfm 来设置 RECFM。默认 RECFM 为 F。
    • 通过在存储桶前缀后添加 ?encoding= 进行编码。默认编码为 UTF-8。

    例如，gs://my_bucket/my/file.txt、gs://my_bucket/my/file.txt?encoding=cp037、gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 或 gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm。

  • pubsub: - 具有此前缀的数据路径指向 Pub/Sub 资源。例如 pubsub:projects/projectId/topics/topicId。

对于 Cloud Storage 或 Unix 文件，如果 RECFM 设置为 V，Mainframe Connector 会以 zzLL 格式读取和写入文件，如下所示：

  • 前两个字节始终为 0x0000。
  • 后续两个字节表示数据大小。
  • 剩余字节构成实际记录数据。

DataSize

DataSize 表示以数量和计量单位表示的大小，例如 5 MiB。您可以在数量和数量级之间使用空格。数据大小解析不区分大小写，因此您可以使用大写和小写来指定衡量单位。

您可以使用以下格式指定值：

  • Java 格式：b/k/m/g/t，分别表示字节、千比字节、兆比字节、吉比字节和太比字节。
  • 国际格式：KiB/MiB/GiB/TiB，分别表示千比字节、兆比字节、吉比字节和太比字节。
  • 公制格式：b/kb/mb/gb/tb，分别表示千字节、兆字节、千兆字节和太字节。

TranscodeFormat

TranscodeFormat 表示在转码过程中使用的格式。

有效值包括：

  • ORC - ORC 是一种可自我描述的类型感知列式文件格式。
  • CSV - CSV 是一种纯文本格式，用于存储表格数据，其中每行代表一个行。 您可以使用 csv-dialect 输入参数指定 CSV 参数。您可以将其定义为 --input-parameter csv-dialect=DataPath，其中 DataPath 指向这些参数的位置。
  • JSONL - JSONL 是一种纯文本格式，用于存储表格数据，其中每行代表一个行。 您可以使用 json-dialect 输入参数指定 JSON 参数。您可以将其定义为 --input-parameter json-dialect=DataPath，其中 DataPath 指向这些参数的位置。

TranscodeInputFormat

转码期间要使用的格式。

有效值包括：

  • BIGQUERY - 直接从 BigQuery 中提取数据。INPUT 必须是查询文件的路径。

    可用的输入参数包括：

    • keep_order - 如果记录的确切顺序很重要，请使用此参数。请注意，这会限制输入流。
    • project_id - 执行作业时要使用的项目 ID。
    • location - 执行作业时要使用的位置。

  • CSV - CSV 是一种纯文本格式，用于存储表格数据，其中每行代表一个行。 您可以使用 csv-dialect 输入参数指定 CSV 参数。您可以将其定义为 --input-parameter csv-dialect=DataPath，其中 DataPath 指向这些参数的位置。

  • JSONL - JSONL 是一种纯文本格式，用于存储表格数据，其中每行代表一个行。 您可以使用 json-dialect 输入参数指定 JSON 参数。您可以将其定义为 --input-parameter json-dialect=DataPath，其中 DataPath 指向这些参数的位置。