Referencia de la línea de comandos de Mainframe Connector

En este documento, se describen la sintaxis, los comandos, las marcas y los argumentos de la herramienta de línea de comandos de Mainframe Connector.

Comandos

bq export

Exporta una tabla de BigQuery.

Sinopsis

bq export [options]

Marcas y argumentos

Para ejecutar este comando, debes proporcionar una consulta en SQL (consulta las marcas --sql y query_dsn) y un copybook (consulta la marca cobDsn). Puedes ejecutar este comando en modo local, remoto y autónomo. Para el modo remoto, consulta las marcas --bucket, --remoteHost, --remotePort y --remoteUrl. El comando bq export usa los siguientes argumentos y marcas:

--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--allow_large_results
(Opcional) Usa tamaños de tablas de destino grandes para las consultas de SQL heredado.
--batch
(Opcional) Ejecuta la consulta en modo por lotes.
--bucket=BUCKET
(Opcional) Escribe el resultado del comando en una ubicación dentro de un bucket de Cloud Storage. Los archivos de salida se escriben en la ruta de destino gs://BUCKET/EXPORT/. Este argumento es obligatorio para el modo remoto.
--cobDsn=DSN
(Opcional) Especifica el DSN del copybook que deseas usar. Si no proporcionas un valor, Mainframe Connector leerá desde DD COPYBOOK.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destination_table=TABLE
(Opcional) Especifica la tabla de destino en la que deseas escribir los resultados de la consulta.
--dry_run
(Opcional) Valida la consulta sin ejecutarla.
--encoding=ENCODING
(Opcional) Especifica el grupo de caracteres que se usará para codificar y decodificar los campos de caracteres. Cuando se proporciona, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--exporter_thread_count=COUNT
(Opcional) Establece la cantidad de subprocesos del exportador. El valor predeterminado es 4.
--help o -h
Muestra este texto de ayuda.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifica el tiempo de espera de keepalive en segundos para un canal HTTP. El valor predeterminado es 480 segundos.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es US.
--max_read_queue=NUMBER
(Opcional) Establece el tamaño máximo de la cola de registros Avro. El valor predeterminado es el doble de la cantidad de subprocesos.
--max_read_streams=NUMBER
(Opcional) Establece la cantidad máxima de subprocesos de transmisiones de lectura. El valor predeterminado es 4.
--maximum_bytes_billed=BYTES
(Opcional) Limita los bytes facturados por la consulta.
--order_response
(Opcional) Conserva el orden de la respuesta tal como la devolvió BigQuery.
--outDD=OUTPUT
(Opcional) Escribe los registros de salida en el conjunto de datos especificado en z/OS. El valor predeterminado es DD OUTFILE.
--parser_type=TYPE
(Opcional) Establece el analizador de configuración en legacy, copybook o auto. El valor predeterminado es auto.
--query_dsn=DSN
(Opcional) Lee una consulta del conjunto de datos especificado en z/OS. Usa el formato HLQ.MEMBER o HLQ.PDS(MEMBER). Si no proporcionas un valor, Mainframe Connector leerá desde DD QUERY.
--remoteHost=HOST
(Opcional) Especifica la dirección IP del host remoto. Para ejecutar Mainframe Connector en modo remoto, establece la marca --bucket.
--remotePort=PORT
(Opcional) Especifica el puerto remoto. El valor predeterminado es 51770. Para ejecutar Mainframe Connector en modo remoto, establece la marca --bucket.
--remoteUrl=URL
(opcional) Especifica la URL remota. Para ejecutar Mainframe Connector en modo remoto, establece la marca --bucket.
--run_mode=MODE
(Opcional) Selecciona la implementación de exportación. Puedes usar una de las siguientes opciones:
  • directstorage: El archivo binario se guarda de forma local (opción predeterminada).
  • gcsoutput: El archivo binario se guarda en Cloud Storage.
--sql=SQL
(Opcional) Especifica la consulta de BigQuery SQL que se ejecutará.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--timeOutMinutes=MINUTES
(Opcional) Establece el tiempo de espera en minutos para la llamada a grpc remota. El valor predeterminado es de 90 minutos.
--transcoding_buffer=BUFFER
(Opcional) Establece el tamaño del búfer de transcodificación por subproceso, en MB. El valor predeterminado es 20.
--use_cache={true|false}
(Opcional) Para almacenar en caché los resultados de la consulta, establece el valor como verdadero.
--use_legacy_sql
(Opcional) Usa SQL heredado en lugar de SQL estándar.

bq load

Carga datos en una tabla de BigQuery.

Sinopsis

bq load [options] tablespec path

Marcas y argumentos

El comando bq load usa los siguientes argumentos y marcas:

path
Especifica una lista separada por comas de los URIs de los archivos fuente. El formato admitido es gs://bucket/path. Ejemplo: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.
tablespec
Especifica la tabla de destino para los datos. El formato admitido es [PROJECT]:[DATASET].[TABLE]
.
--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--allow_jagged_rows
(Opcional) Permite que falten columnas opcionales finales en los datos CSV.
--allow_quoted_newlines
(Opcional) Permite saltos de línea en secciones entrecomilladas en los datos CSV.
--append_table
(Opcional) Agrega los datos cargados a los datos existentes en la tabla de destino.
--autodetect
(Opcional) Habilita la detección automática de esquemas para los datos de formato CSV y JSON.
--clustering_fields=FIELDS
(Opcional) Si se especifica, se usa una lista de columnas separadas por comas para agrupar en clústeres la tabla de destino en una consulta. Esta marca debe usarse con las marcas de partición de tiempo para crear una tabla particionada por tiempo de transferencia o una tabla particionada en una columna DATE o TIMESTAMP. Cuando se especifica, la tabla se particiona y, luego, se agrupa en clústeres con las columnas proporcionadas.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--debug_mode={true|false}
(Opcional) Establece el nivel de registro en depuración.
--destination_kms_key=KEY
(Opcional) Es la clave de Cloud KMS para la encriptación de los datos de la tabla de destino.
--encoding o -E=ENCODING
(Opcional) Especifica el grupo de caracteres que se usará para codificar y decodificar los campos de caracteres. Cuando se especifica, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--field_delimiter o -F=FIELD
(Opcional) Especifica el delimitador de columnas en los datos CSV. Usa \t o tab para los delimitadores de tabulación.
--help o -h
Muestra este texto de ayuda.
--ignore_unknown_values=VALUES
(Opcional) Ignora los valores adicionales no reconocidos en los datos CSV o JSON.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es US.
--max_bad_records=RECORDS
(Opcional) Establece la cantidad máxima de registros no válidos permitidos antes de que falle el trabajo. Se muestra un máximo de cinco errores de cualquier tipo, independientemente del valor de --max_bad_records. Esta marca solo se aplica para cargar datos de CSV, JSON y Hojas de cálculo de Google. El valor predeterminado es 0.
--max_polling_interval_ms=MILLISECONDS
(Opcional) Es el tiempo de espera máximo para un trabajo de BigQuery.
--null_marker=MARKER
(Opcional) Especifica una cadena personalizada que representa un valor NULL en los datos CSV.
--projection_fields=FIELDS
(Opcional) Si estableces --source_format en DATASTORE_BACKUP, esta marca indica las propiedades de la entidad que se deben cargar a partir de una exportación de Datastore. Especifica los nombres de las propiedades en una lista separada por comas. Los nombres de las propiedades distinguen entre mayúsculas y minúsculas, y deben referirse a propiedades de nivel superior. También puedes usar esta marca con las exportaciones de Firestore.
--quote=QUOTE
(Opcional) Especifica un carácter de comillas para los campos de los datos del archivo CSV. Puedes especificar cualquier carácter de un solo byte como argumento. El valor predeterminado es una comilla doble (“). Para especificar que no hay caracteres de comillas, usa una cadena vacía.
--replace
(Opcional) Reemplaza los datos existentes en la tabla de destino por los datos cargados.
--require_partition_filter={true|false}
(Opcional) Si quieres tener un filtro de partición para las búsquedas sobre la tabla proporcionada, configúralo como verdadero. Este argumento solo se aplica a las tablas particionadas y si la marca --time_partitioning_field se establece como verdadera. El valor predeterminado es false.
--schema=SCHEMA
(Opcional) Define el esquema de la tabla de destino. Especifica el valor como una lista de definiciones de columnas separadas por comas en el formato [FIELD]:[DATA_TYPE]. Ejemplo: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(Opcional) Cuando se agregan datos a una tabla (en un trabajo de carga o de consulta) o cuando se reemplaza una partición de una tabla, especifica cómo actualizar el esquema de la tabla de destino. Usa uno de los siguientes valores:
  • ALLOW_FIELD_ADDITION: Permite que se agreguen campos nuevos.
  • ALLOW_FIELD_RELAXATION: Permite disminuir la rigurosidad de los campos REQUIRED a NULLABLE.
Repite esta marca para especificar varias opciones de actualización del esquema.
--skip_leading_rows=NUMBER
(Opcional) Especifica la cantidad de filas que se deben omitir al principio del archivo de origen. El valor predeterminado es 0.
--source_format=FORMAT
(Opcional) Especifica el formato de los datos de origen. Puedes usar uno de los siguientes valores: CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (usa este valor para Filestore), PARQUET, ORC. El valor predeterminado es ORC.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--time_partitioning_expiration=SECONDS
(Opcional) Especifica cuándo se debe borrar una partición basada en el tiempo, en segundos. La fecha y hora de vencimiento se evalúan según la suma de la fecha de la partición en formato UTC más el valor especificado. Si proporcionas un número negativo, la partición basada en el tiempo nunca vencerá.
--time_partitioning_field=FIELD
(Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la partición basada en el tiempo se habilita sin este valor, la tabla se particiona en función del tiempo de carga.
--time_partitioning_type=TYPE
(Opcional) Habilita las particiones basadas en el tiempo en una tabla y establece el tipo de partición con el siguiente valor: DAY.
--use_avro_logical_types={true|false}
(Opcional) Si --source_format se establece en AVRO, establece esta marca en verdadero para convertir tipos lógicos en sus tipos correspondientes (como TIMESTAMP) en lugar de usar solo sus tipos sin procesar (como INTEGER). El valor predeterminado es falso.

bq mk

Crea recursos de BigQuery, como tablas integradas o tablas externas, que necesiten que se configuren el particionado y la agrupación. También puedes usar el comando bq mk para generar una tabla de BigQuery directamente a partir del análisis de los libros de copias de COBOL con la marca --schema_from_copybook.

Sinopsis

bq mk [options]

Marcas y argumentos

El comando bq mk usa los siguientes argumentos y marcas:

--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--tablespec=TABLE
Especifica la tabla de destino para los datos. El formato admitido es [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(Opcional) Especifica una lista separada por comas de hasta cuatro nombres de columna que especifiquen los campos que se usarán para el agrupamiento en clústeres de la tabla.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--description=DESCRIPTION
(Opcional) Proporciona una descripción para el conjunto de datos o la tabla.
--dry_run
(Opcional) Imprime la sentencia del lenguaje de definición de datos (DDL) de la tabla.
--encoding=ENCODING
(Opcional) Especifica el grupo de caracteres que se usará para codificar y decodificar los campos de caracteres. Cuando se especifica, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--expiration=EXPIRATION
(Opcional) Especifica la vida útil de la tabla. Si no especificas un valor, BigQuery crea la tabla con la vida útil predeterminada de la tabla del conjunto de datos o la tabla no vence.
--external_table_definition o -e=TABLE
(Opcional) Especifica un nombre y una definición de esquema para crear una tabla externa. Ejemplo: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help o -h
Muestra este texto de ayuda.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es US.
--parser_type=TYPE
(Opcional) Establece el analizador de configuración en legacy, copybook o auto. El valor predeterminado es auto.
--require_partition_filter={true|false}
(Opcional) Si quieres tener un filtro de partición para las búsquedas sobre la tabla proporcionada, configúralo como verdadero. Este argumento solo se aplica a las tablas particionadas y si la marca --time_partitioning_field se establece como verdadera. El valor predeterminado es verdadero.
--schema=SCHEMA
(Opcional) Especifica la ruta de acceso a un archivo de esquema JSON local o una lista de definiciones de columnas separadas por comas con el formato FIELD:DATA_TYPE, FIELD:DATA_TYPE, etcétera.
--schema_from_copybook=SCHEMA
(Opcional) Genera el esquema a partir de un copybook.
--table o -t=TABLE
(Opcional) Crea una tabla.
--time_partitioning_expiration=SECONDS
(Opcional) Especifica cuándo se debe borrar una partición basada en el tiempo, en segundos. La fecha y hora de vencimiento se evalúan según la suma de la fecha de la partición en formato UTC más el valor especificado. Si proporcionas un número negativo, la partición basada en el tiempo nunca vencerá.
--time_partitioning_field=FIELD
(Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la partición basada en el tiempo se habilita sin este valor, la tabla se particiona en función del tiempo de carga.
--view
(Opcional) Crea una vista.

bq query

Ejecuta una consulta de BigQuery.

Sinopsis

bq query [options]

Marcas y argumentos

Puedes ejecutar este comando en los modos local y remoto. Para el modo remoto, consulta las marcas --remoteHost, --remotePort y --remoteUrl, y la variable de entorno BQ_QUERY_REMOTE_EXECUTION. El comando bq query usa los siguientes argumentos y marcas:

--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--allow_large_results
(Opcional) Usa tamaños de tablas de destino grandes para las consultas de SQL heredado.
--append_table
(Opcional) Agrega los datos cargados a los datos existentes en la tabla de destino.
--batch
(Opcional) Ejecuta la consulta en modo por lotes.
--clustering_fields=FIELDS
(Opcional) Especifica una lista separada por comas de hasta cuatro nombres de columna que especifiquen los campos que se usarán para el agrupamiento en clústeres de la tabla. Si especificas este valor con la partición, la tabla se particiona y, luego, cada partición se agrupa en clústeres con las columnas proporcionadas.
--create_if_needed
(Opcional) Crea la tabla de destino si no existe.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destination_table=TABLE
(Opcional) Especifica la tabla de destino en la que deseas escribir los resultados de la consulta.
--dry_run
(Opcional) Valida la consulta sin ejecutarla.
--follow={true|false}
(Opcional) Se establece en verdadero para hacer un seguimiento de los pasos individuales de la consulta o de la secuencia de comandos en su totalidad. El valor predeterminado es false.
--help o -h
Muestra este texto de ayuda.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es US.
--maximum_bytes_billed=BYTES
(Opcional) Especifica el límite de los bytes facturados por la consulta.
--parameters=PARAMETERS
(Opcional) Especifica parámetros de consulta separados por comas en el formato [NAME]:[TYPE]:[VALUE]. Si el nombre está vacío, se crea un parámetro posicional. Puedes omitir [TYPE] para asumir un valor STRING con el formato name::value o ::value. NULL genera un valor nulo.
--query_dsn=DSN
(Opcional) Especifica el DSN desde el que se leerá la consulta, con el formato HLQ.MEMBER o HLQ.PDS(MEMBER). Si no se proporciona query_dsn, se usa QUERY DD.
--remoteHost=HOST
(Opcional) Especifica la dirección IP del host remoto. Para ejecutar la consulta en modo remoto, configura la variable de entorno BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(Opcional) Especifica el puerto remoto. El valor predeterminado es 51770. Para ejecutar la consulta en modo remoto, configura la variable de entorno BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(opcional) Especifica la URL remota. Para ejecutar la consulta en modo remoto, configura la variable de entorno BQ_QUERY_REMOTE_EXECUTION.
--replace
(Opcional) Reemplaza la tabla de destino con los resultados de la consulta.
--report_row_limit=LIMIT
(Opcional) Especifica la cantidad máxima de filas que se imprimirán en el informe de auditoría. El valor predeterminado es 30.
--require_partition_filter={true|false}
(Opcional) Si quieres tener un filtro de partición para las búsquedas sobre la tabla proporcionada, configúralo como verdadero. El valor predeterminado es verdadero.
--schema_update_option=OPTION
(Opcional) Actualiza el esquema de la tabla de destino cuando agregues datos. Usa los siguientes valores:
  • ALLOW_FIELD_ADDITION: Permite que se agreguen campos nuevos.
  • ALLOW_FIELD_RELAXATION: Permite disminuir la rigurosidad de los campos REQUIRED a NULLABLE.
--split_sql={true|false}
(Opcional) Se establece en verdadero para dividir la secuencia de comandos en SQL de entrada en consultas individuales. El valor predeterminado es verdadero.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--sync={true|false}
(Opcional) Ejecuta el comando en modo síncrono.
--synchronous_mode={true|false}
(Opcional) Es una alternativa a --sync.
--timeOutMinutes=MINUTES
(Opcional) Especifica el tiempo de espera en minutos para una respuesta del trabajo de BigQuery. El valor predeterminado es de 240 minutos.
--time_partitioning_expiration=SECONDS
(Opcional) Especifica cuándo se debe borrar una partición basada en el tiempo, en segundos. La fecha y hora de vencimiento se evalúan según la suma de la fecha de la partición en formato UTC más el valor especificado. Si proporcionas un número negativo, la partición basada en el tiempo nunca vencerá.
--time_partitioning_field=FIELD
(Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la partición basada en el tiempo se habilita sin este valor, la tabla se particiona en función del tiempo de carga.
--time_partitioning_type=TYPE
(Opcional) Habilita las particiones basadas en el tiempo en una tabla y establece el tipo de partición con uno de los siguientes valores: DAY, HOUR, MONTH o YEAR.
--use_cache={true|false}
(Opcional) Para almacenar en caché los resultados de la consulta, establece el valor como verdadero. El valor predeterminado es verdadero.
--use_legacy_sql
(Opcional) Usa SQL heredado en lugar de SQL estándar.

cloud run job cancel

Cancela la ejecución de un trabajo específico.

Sinopsis

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Marcas y argumentos

El comando cloud run job cancel usa los siguientes argumentos y marcas:

EXECUTION
Especifica el nombre del ID de ejecución del trabajo de Cloud Run.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--project=PROJECT
Especifica el ID del proyecto.
--region=REGION
Especifica la región en la que se puede encontrar el recurso.

cloud run job execute

Ejecuta un trabajo específico.

Sinopsis

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Marcas y argumentos

El comando cloud run job execute usa los siguientes argumentos y marcas:

JOB
Especifica el nombre del trabajo de Cloud Run que se ejecutará.
--args=ARGS
(Opcional) Argumentos separados por comas que se pasan al comando que ejecuta la imagen del contenedor. Si se proporciona, se creará una ejecución con los valores de entrada.
--async
(Opcional) Especifica esta marca si deseas que se muestre de inmediato, sin necesidad de esperar a que se complete la operación en curso.
--dump-execution-id=EXECUTION-ID : DataPath
(Opcional) Especifica el archivo en el que se escribirá el ID de ejecución.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--polling-interval=POLLINGINTERVAL
(Opcional) Establece el intervalo de sondeo para mostrar los registros cuando --tail_logs está habilitado. El valor predeterminado es 60 s.
--project=PROJECT
Especifica el ID del proyecto.
--region=REGION
Especifica la región en la que se puede encontrar el recurso.
--tail-logs
(Opcional) Si ejecutas el comando en el modo síncrono especificando la marca --tail_logs, Mainframe Connector mostrará los registros de progreso en la pantalla. Si especificas las marcas --tail_logs y --async, se mostrará un mensaje de error. Como Cloud Logging no admite el registro en tiempo real, el comando solo muestra los registros que ya se grabaron. Como resultado, es posible que falten algunos registros cuando uses la marca --tail_logs. Para ver los registros de trabajo completos, usa el comando cloud run job log después de que finalice el trabajo.
--task-timeout=TIMEOUT
(Opcional) Muestra el tiempo máximo existente (fecha límite) durante el que se puede ejecutar un intento de tarea de trabajo. Si no se especifica, se usará el valor predeterminado del trabajo.
--update-env-vars=ENVVARS
(Opcional) Lista de pares clave-valor que se establecerán como anulaciones de variables de entorno para la ejecución de un trabajo.
--wait
(Opcional) Especifica esta marca si quieres que el comando espere hasta que se complete la ejecución antes de salir.

cloud run job log

Cómo mostrar los registros de Cloud Run

Sinopsis

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

Marcas y argumentos

El comando cloud run job log usa los siguientes argumentos y marcas:

EXECUTION_ID
Es el nombre del ID de ejecución del trabajo de Cloud Run.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--log-filter=FILTER
(Opcional) Expresión de filtro que especifica las entradas de registro que se devolverán.
--polling-interval=POLLINGINTERVAL
(Opcional) Establece el intervalo de sondeo para mostrar los registros cuando --tail_logs está habilitado. El valor predeterminado es 60 s.
--project=PROJECT
Especifica el ID del proyecto.
--region=REGION
Especifica la región en la que se puede encontrar el recurso.
--tail
(opcional) Muestra solo los registros nuevos a partir de ahora cuando se configura. Si no se configura, se mostrarán todos los registros del trabajo.
--timeout=TIMEOUT
(Opcional) Tiempo de espera después del cual saldrá el comando. Si no se configura, el comando agotará el tiempo de espera cuando finalice la ejecución.

copy text

Copia un conjunto de datos de texto.

Sinopsis

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

Marcas y argumentos

El comando copy text usa los siguientes argumentos y marcas:

INPUT : DataPath
Especifica la ruta de acceso a los datos del archivo de entrada que deseas copiar.
OUTPUT : DataPath
Especifica la ruta de acceso a los datos del archivo de salida que deseas copiar y codificar.
--buffer-size=BUFFERSIZE : DataSize
(Opcional) Indica el tamaño de lectura de la memoria para cada lote. El valor predeterminado es 64 MiB.
--help o -h
(Opcional) Muestra este mensaje de ayuda.

gsutil cp

Transcodifica los datos de tu mainframe a un bucket de Cloud Storage.

Sinopsis

gsutil cp [options] gcsUri [dest]

Marcas y argumentos

Puedes usar este comando para los siguientes fines:

  • Copiar y transcodificar un archivo desde un entorno de Mainframe o Linux a Cloud Storage
    • Fuente: --inDSN. Si no se proporciona, se especifica con DD INFILE.
    • Destino: gcsUri
  • Copia y transcodifica un archivo en Cloud Storage
    • Fuente: gcsUri
    • Destino: --destPath
  • Copiar un archivo de Cloud Storage a un mainframe
    • Fuente: gcsUri
    • Destino: --destDSN
    • Marcas pertinentes: --lrecl, --blksize, --recfm, --noseek.
  • Copia un archivo de Cloud Storage a un entorno de Linux.
    • Fuente: gcsUri
    • Destino: --destPath
Este comando se puede ejecutar en modos local, remoto y autónomo. Para el modo remoto, consulta las marcas --remote, --remoteHost, --remotePort y --remoteUrl. El comando gsutil cp usa los siguientes argumentos y marcas:

dest
(Opcional) Es la ruta de acceso local o el nombre de la fuente de datos (DSN). Ejemplos de formatos: /path/to/file, DATASET.MEMBER
gcsUri
El URI de Cloud Storage en el formato gs://bucket/path. Puede representar la ubicación de origen y la de destino, según el uso.
--batchSize=SIZE
(Opcional) Especifica los bloques que se usarán por lote. El valor predeterminado es 1,000.
--blksize=SIZE
(Opcional) Especifica el tamaño del bloque del archivo que se copiará en el mainframe. Si blksize=0 y recfm no son U, el sistema central determina el tamaño de bloque óptimo para el archivo.
--cobDsn=DSN
(Opcional) Especifica el DSN del copybook que deseas usar. Si no proporcionas un valor, Mainframe Connector leerá desde DD COPYBOOK.
--connections=NUMBER
(Opcional) Especifica la cantidad de conexiones que se pueden realizar con el receptor remoto. El valor predeterminado es 10.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destDSN=OUTPUT
(Opcional) Especifica el DSN de destino.
--destPath=OUTPUT
(Opcional) Especifica la ruta de destino.
--dry_run
(Opcional) Prueba el análisis y la decodificación del libro de copias del archivo QSAM.
--encoding=ENCODING
(Opcional) Especifica el grupo de caracteres que se usará para codificar y decodificar los campos de caracteres. Cuando se especifica, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--help o -h
Muestra este texto de ayuda.
--inDsn=DSN
(opcional) Especifica el DSN del archivo de entrada que deseas usar. Si no proporcionas un valor, Mainframe Connector lee desde DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifica el tiempo de espera de keepalive en segundos para un canal HTTP. El valor predeterminado es 480 segundos.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es US.
--lowerCaseColumnNames
(Opcional) Crea nombres de columna en minúsculas para los campos de copybook.
--lrecl=LRECL
(Opcional) Especifica la longitud lógica del registro (lrecl) del archivo que deseas copiar en el mainframe.
--maxChunkSize=SIZE
(Opcional) Especifica el tamaño máximo del fragmento por lote. Debes usar K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB o TB para describir el tamaño. El valor predeterminado es 128 MiB.
--max_error_pct=PCT
(Opcional) Especifica el umbral de errores del trabajo para los errores de decodificación de filas. Los valores válidos se encuentran dentro del rango [0.0, 1.0]. El valor predeterminado es 0.
--noseek
(Opcional) Mejora el rendimiento de las descargas desde Cloud Storage a Mainframe.
--parallel o -m
(Opcional) Establece la cantidad de escritores simultáneos en 4.
--parallelism o -p=NUMBER
(Opcional) Especifica la cantidad de escritores simultáneos. El valor predeterminado es 4.
--parser_type=TYPE
(Opcional) Establece el analizador de configuración en legacy, copybook o auto. El valor predeterminado es auto.
--preload_chunk_count=NUMBER
(Opcional) Especifica la cantidad de fragmentos que se precargan desde los discos mientras todos los trabajadores están ocupados. El valor predeterminado es 2.
--project_id=ID
(Opcional) Especifica el proyecto que se usará para ejecutar este comando.
--recfm=REFCM
(Opcional) Especifica el recfm del archivo que deseas copiar en el mainframe. Puedes usar uno de los siguientes valores: F, FB, V, VB o U. El valor predeterminado es FB.
--remote
(Opcional) Usa un decodificador remoto.
--remoteHost=HOST
(Opcional) Especifica la dirección IP del host remoto. Para ejecutar Mainframe Connector en modo remoto, establece la marca --remote.
--remotePort=PORT
(Opcional) Especifica el puerto remoto que se usará. El valor predeterminado es 51770. Para ejecutar Mainframe Connector en modo remoto, establece la marca --remote.
--remoteUrl=URL
(opcional) Especifica la URL remota. Para ejecutar Mainframe Connector en modo remoto, establece la marca --remote.
--replace
(Opcional) Borra el destino de forma recursiva antes de subir el archivo.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--tfDSN=DSN
(opcional) Especifica las transformaciones de un DSN, DATASET.MEMBER o PDS(MBR).
--tfGCS=GCS
(Opcional) Especifica el archivo de transformaciones de Cloud Storage.
--timeOutMinutes=MINUTES
(Opcional) Especifica el tiempo de espera en minutos para una llamada a grpc remota. El valor predeterminado es de 90 minutos para Cloud Storage y de 50 minutos para un mainframe.

gsutil rm

Quita objetos de Cloud Storage.

Sinopsis

gsutil rm [-hR] URL...

Marcas y argumentos

El comando gsutil rm usa los siguientes argumentos y marcas:

URL
Especifica la ubicación de Cloud Storage en el formato gs://bucket/prefix.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
-R o -r
(Opcional) Borra de forma recursiva el contenido de los directorios o los objetos que coinciden con la expresión de ruta de acceso. No genera un error si el directorio o el objeto no existen.

pubsub topics publish

Publica un mensaje en un tema de Pub/Sub.

Este comando te permite enviar datos de mensajes directamente con la marca --data o a través de un archivo con la marca --data-path. También puedes incluir atributos, una clave de ordenamiento y aplicar propiedades de mensajes. Además, puedes aplicar sustituciones de cadenas dinámicas al contenido del mensaje.

Sinopsis

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

Marcas y argumentos

El comando pubsub topics publish usa los siguientes argumentos y marcas:

TOPIC
Especifica el nombre del tema en el formato projects/{project}/topics/{topic}.
--attributes=NAME=VALUE
(Opcional) Especifica una lista de atributos separados por comas. Cada ATTRIBUTE tiene la forma name=value. Puedes especificar hasta 100 atributos. Para obtener una lista completa de los lineamientos sobre atributos, consulta Usa atributos para publicar un mensaje.
--data-path=DATAPATH : DataPath
(opcional) Especifica la ruta al archivo que contiene los datos del mensaje. Debes establecer una de las marcas --data o --data-path, pero no ambas. Para obtener más información sobre el formato de los mensajes y los límites de tamaño, consulta Publica mensajes en temas.
--data=DATA
(Opcional) Especifica el cuerpo del mensaje que deseas publicar en el nombre del tema determinado. Debes establecer una de las marcas --data o --data-path, pero no ambas. Para obtener más información sobre el formato de los mensajes y los límites de tamaño, consulta Publica mensajes en temas.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--message-property=KEY=VALUE
(Opcional) Especifica las propiedades que se aplicarán al mensaje. Una clave de propiedad válida es encoding. Esta clave de propiedad especifica la codificación de caracteres que se usará para la cadena de mensajes. La cadena de mensaje se convierte en bytes con esta codificación antes de enviarse al tema de Pub/Sub. Para obtener una lista de los valores de codificación admitidos, consulta codificaciones admitidas. El valor predeterminado es UTF-8.
--ordering-key=ORDERING-KEY
(Opcional) Especifica la clave para la entrega ordenada de mensajes a los suscriptores. Todos los mensajes con la misma clave de ordenamiento se envían a los suscriptores en el orden en que los recibe Pub/Sub.
--substitution=KEY=VALUE

(Opcional) Con --data o --data-path, especifica los pares clave-valor que se usarán para la sustitución dinámica que se aplicará a los datos del mensaje de Pub/Sub. Mainframe Connector analiza los datos del mensaje en busca de marcadores de posición y los reemplaza por sus valores correspondientes. Define los marcadores de posición en los datos con la sintaxis ${KEY}, por ejemplo, ${NAME}. Especifica cada sustitución como un par clave-valor con el formato KEY=VALUE. Puedes especificar varias sustituciones repitiendo la opción: --substitution key1=value1 --substitution key2=value2.

Por ejemplo, si los datos de entrada son Hello, ${username}! y usas --substitution username=World, el mensaje que se envía a Pub/Sub será Hello, World!.

qsam decode

Decodifica los datos de QSAM.

Este comando decodifica registros de un archivo QSAM al formato que especificas con el argumento --output-format. El archivo QSAM original se divide en fragmentos según el valor que especifiques con el argumento --max-chunk-size. El resultado transcodificado se guarda en la ruta de acceso de destino como archivos ordenados lexicográficamente.

Sinopsis

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Marcas y argumentos

El comando qsam decode usa los siguientes argumentos y marcas:

INPUT : DataPath
Especifica la ruta de datos del archivo QSAM que deseas decodificar.
OUTPUT : DataPath
Especifica la ruta de acceso a los datos del prefijo de salida. Todo el resultado se almacena bajo este prefijo.
--chunk-size=CHUNK-SIZE : DataSize
(Opcional) Especifica la cantidad de datos de entrada que se incluirán en cada archivo de salida. El archivo de salida puede ser más grande o más pequeño. El tamaño del fragmento se redondea hacia abajo al múltiplo más cercano de la longitud del registro lógico. El valor predeterminado es 128 MiB.
--copybook=COPYBOOK : DataPath
Especifica la ruta de acceso a los datos del archivo que contiene el copybook.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--input-parameter=KEY=VALUE

(Opcional) Especifica parámetros para configurar la entrada. Cada parámetro se define como KEY=VALUE. Las claves de parámetros de entrada admitidas son las siguientes:

--max-error-percent=MAX_ERROR_PERCENT

(Opcional) Especifica el porcentaje de registros procesados que pueden tener errores antes de que falle el proceso de transcodificación. El valor puede variar entre 0.0 (falla si hay errores de transcodificación) y 1.0 (no falla si hay errores de transcodificación). El valor predeterminado es 0.

--output-format=FORMAT : TranscodeFormat

(Opcional) Especifica el formato del archivo de salida. Si proporcionas el DataPath de un tema de Pub/Sub como el valor de OUTPUT, el formato de salida predeterminado es JSONL. Para todos los demás DataPaths, el formato de salida predeterminado es ORC.

--parallelism=COUNT

(Opcional) Especifica la cantidad de subprocesos de procesamiento. El valor debe ser igual o menor que la cantidad de núcleos disponibles. El valor predeterminado es 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(Opcional) Especifica la cantidad de fragmentos de datos que se deben cargar previamente cuando todos los subprocesos están en procesamiento. El valor predeterminado es 1.

--replace

(Opcional) Si se especifica, borra la ruta de acceso de salida de forma recursiva antes de escribir los resultados de la decodificación.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifica el archivo que contiene la configuración de transcodificación. Para obtener más información sobre el formato de configuración del transcodificador, consulta Configuración del transcodificador.

qsam encode

Codifica los datos de QSAM.

Este comando toma datos de una fuente externa y los convierte en un archivo QSAM. La entrada se define según el valor que especifiques con el argumento --input-format.

Sinopsis

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Marcas y argumentos

El comando qsam encode usa los siguientes argumentos y marcas:

INPUT : DataPath
Especifica la ruta de acceso a los datos del archivo de entrada que deseas codificar en un archivo QSAM.
OUTPUT : DataPath
Especifica la ruta de acceso a los datos del archivo QSAM en el que deseas codificar.
--copybook=COPYBOOK : DataPath
Especifica la ruta de acceso a los datos del archivo que contiene el copybook.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--input-format=FORMAT : TranscodeInputFormat
Especifica el formato de la entrada.
--input-parameter=KEY=VALUE

(Opcional) Especifica parámetros para configurar la entrada. Cada parámetro se define como KEY=VALUE. Las claves de parámetros de entrada admitidas son las siguientes:

--input-stream-count=COUNT

(Opcional) Especifica la cantidad de transmisiones de entrada. Este es un valor máximo, pero, en realidad, se pueden usar menos transmisiones. El valor predeterminado es 1.

--parallelism=COUNT

(Opcional) Especifica la cantidad de subprocesos de procesamiento. El valor debe ser igual o inferior a la cantidad de núcleos disponibles. El valor predeterminado es 1.

--spillover=SPILLOVER : DataPath

(Opcional) Especifica una ruta de acceso a los datos para el conjunto de datos de derrame. Si no especificas esta información, se descartarán los detalles del error.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifica el archivo que contiene la configuración de transcodificación. Para obtener más información sobre el formato de configuración del transcodificador, consulta Configuración del transcodificador.

scp

Copia archivos en Cloud Storage.

Sinopsis

scp [options] [input] [output]

Marcas y argumentos

Para usar este comando, debes asegurarte de cumplir con los siguientes requisitos:

  • Establece un valor de entrada único a través de input, --inDD o --inDsn.
  • Establece un valor de salida único a través de la salida o --gcsOutUri.

El comando scp usa los siguientes argumentos y marcas:

input
(Opcional) Especifica el DD o el DSN que se copiará. En su lugar, puedes usar --inDD o --inDsn.
output
(Opcional) Especifica el URI del resultado con el formato gs://[BUCKET]/[PREFIX]. En su lugar, puedes usar --gcsOutUri.
--compress
(Opcional) Comprime el resultado con gzip.
--count o -n=RECORDS
(Opcional) Especifica la cantidad de registros que se copiarán. El valor predeterminado es ilimitado.
--encoding=ENCODING
(Opcional) Especifica la codificación de caracteres de entrada. El valor predeterminado es CP037.
--gcsOutUri=URI
(Opcional) Especifica el URI de Cloud Storage de destino de la copia del archivo.
--help o -h
Muestra este texto de ayuda.
--inDD=INPUT
(Opcional) Especifica el archivo DD que se copiará. El valor predeterminado es DD INFILE.
--inDsn=INPUT
(Opcional) Especifica el DSN que se copiará.
--noConvert
(Opcional) Inhabilita la conversión de la entrada de caracteres a ASCII. La conversión de caracteres está habilitada de forma predeterminada.

systemreport

Proporciona un informe del sistema.

Sinopsis

systemreport [-h] [--available_security_providers] [--supported_ciphers]

Marcas y argumentos

El comando systemreport usa los siguientes argumentos y marcas:

--available_security_providers
(Opcional) Imprime los proveedores de seguridad admitidos.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--supported_ciphers
(Opcional) Imprime las codificaciones admitidas.

Tipos de parámetros

Estos son los tipos comunes que se usan en los comandos de Mainframe Connector.

DataPath

DataPath es una cadena que representa una entrada o una salida. Cada tipo de DataPath tiene su propio prefijo y argumentos, como se indica a continuación:

  • DD:: Las rutas de datos con este prefijo apuntan a una sentencia de definición de datos (DD) cuando se ejecutan en un trabajo de lenguaje de control de trabajos (JCL). Puedes cambiar la codificación de DD agregando encoding= a la DD. Por ejemplo: DD:DDNAME o DD:DDNAME?encoding=UTF-8. La codificación DD predeterminada es la codificación predeterminada del SO.

  • DSN:: Las rutas de datos con este prefijo apuntan a un nombre de fuente de datos (DSN) cuando se ejecutan en un mainframe. Puedes cambiar la codificación del DSN agregando encoding= al DSN. Por ejemplo: DSN:HQ.FOO.BAR o DSN:HQ.FOO.BAR?encoding=cp037.

  • file:: Las rutas de datos con este prefijo apuntan a un archivo de Unix. Puedes especificar lo siguiente en el archivo de Unix:

    • La longitud lógica del registro (LRECL) agregando #lrecl antes de :.
    • El formato de registro (RECFM) agregando &recfm antes de :. El valor predeterminado de RECFM es F.
    • La codificación agregando &encoding antes de :. La codificación predeterminada es UTF-8.

    Por ejemplo, file:/path/to/file, file?80:/path/to/file, file?80&recfm=FB:/path/to/file o file?80&recfm=FB&encoding=cp037:/path/to/file.

  • gs://: Las rutas de datos con este prefijo apuntan a un archivo en Cloud Storage. Puedes especificar lo siguiente en el archivo:

    • El LRECL agregando ?lrecl=lrecl después del prefijo del bucket.
    • El RECFM agregando ?recfm=recfm después del prefijo del bucket. El valor predeterminado de RECFM es F.
    • Es la codificación que se obtiene al agregar ?encoding= después del prefijo del bucket. La codificación predeterminada es UTF-8.

    Por ejemplo, gs://my_bucket/my/file.txt,gs://my_bucket/my/file.txt?encoding=cp037,gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 o gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm.

  • pubsub:: Las rutas de datos con este prefijo apuntan a un recurso de Pub/Sub. Por ejemplo, pubsub:projects/projectId/topics/topicId.

En el caso de los archivos de Cloud Storage o Unix, si RECFM se establece en V, Mainframe Connector lee y escribe los archivos en el formato zzLL de la siguiente manera:

  • Los primeros dos bytes siempre son 0x0000.
  • Los dos bytes subsiguientes representan el tamaño de los datos.
  • Los bytes restantes constituyen los datos reales del registro.

DataSize

DataSize representa un tamaño en forma de una cantidad y una unidad de medida, por ejemplo, 5 MiB. Puedes usar espacios en blanco entre la cantidad y la magnitud. El análisis del tamaño de los datos no distingue entre mayúsculas y minúsculas, por lo que puedes especificar unidades de medida en mayúsculas y minúsculas.

Puedes especificar el valor en los siguientes formatos:

  • Formato de Java: b/k/m/g/t, para byte, kibibyte, mebibyte, gibibyte y tebibyte, respectivamente.
  • Formato internacional: KiB/MiB/GiB/TiB, para kibibyte, mebibyte, gibibyte y tebibyte, respectivamente.
  • Formato de la métrica: b/kb/mb/gb/tb, para byte, kilobyte, megabyte, gigabyte y terabyte, respectivamente.

TranscodeFormat

TranscodeFormat representa el formato que se usará durante el proceso de transcodificación.

Estos son los valores válidos:

  • ORC: ORC es un formato de archivo columnar autodescriptivo y compatible con tipos.
  • CSV: CSV es un formato de texto sin formato que almacena datos tabulares, en el que cada línea representa una fila. Puedes especificar los parámetros del CSV con el parámetro de entrada csv-dialect. Puedes definirlo como --input-parameter csv-dialect=DataPath, donde DataPath apunta a la ubicación de estos parámetros.
  • JSONL: JSONL es un formato de texto sin formato que almacena datos tabulares, en el que cada línea representa una fila. Puedes especificar los parámetros JSON con el parámetro de entrada json-dialect. Puedes definirlo como --input-parameter json-dialect=DataPath, donde DataPath apunta a la ubicación de estos parámetros.

TranscodeInputFormat

Es el formato que se usará durante la transcodificación.

Estos son los valores válidos:

  • BIGQUERY: Extrae datos directamente de BigQuery. INPUT debe ser una ruta de acceso a un archivo de consulta.

    Los parámetros de entrada disponibles son los siguientes:

    • keep_order: Se usa si el orden exacto de los registros es importante. Ten en cuenta que esto limitará el flujo de entrada.
    • project_id: Es el ID del proyecto que se usará cuando se ejecute el trabajo.
    • location: Es la ubicación que se usará cuando se ejecute el trabajo.

  • CSV: CSV es un formato de texto sin formato que almacena datos tabulares, en el que cada línea representa una fila. Puedes especificar los parámetros del CSV con el parámetro de entrada csv-dialect. Puedes definirlo como --input-parameter csv-dialect=DataPath, donde DataPath apunta a la ubicación de estos parámetros.

  • JSONL: JSONL es un formato de texto sin formato que almacena datos tabulares, en el que cada línea representa una fila. Puedes especificar los parámetros JSON con el parámetro de entrada json-dialect. Puedes definirlo como --input-parameter json-dialect=DataPath, donde DataPath apunta a la ubicación de estos parámetros.