Referencia de la línea de comandos de Mainframe Connector

En este documento, se describe la sintaxis, los comandos, las marcas y los argumentos de la herramienta de línea de comandos de Mainframe Connector.

Comandos

bq export

Exporta una tabla de BigQuery.

Sinopsis

bq export [options]

Marcas y argumentos

Para ejecutar este comando, debes proporcionar una consulta SQL (consulta las marcas --sql y query_dsn) y un libro de copia (consulta la marca cobDsn). Puedes ejecutar este comando en modo local, remoto y autónomo. Para el modo remoto, consulta las marcas --bucket, --remoteHost, --remotePort y --remoteUrl. El comando bq export usa los siguientes argumentos y marcas:

--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--allow_large_results
(Opcional) Usa tablas de destino de gran tamaño para las consultas de SQL heredado.
--batch
(Opcional) Ejecuta la consulta en modo por lotes.
--bucket=BUCKET
(Opcional) Escribe el resultado del comando en una ubicación dentro de un bucket de Cloud Storage. Los archivos de salida se escriben en la ruta de destino gs://BUCKET/EXPORT/. Este argumento es obligatorio para el modo remoto.
--cobDsn=DSN
(Opcional) Especifica el DSN de libro de copia que deseas usar. Si no proporcionas un valor, el conector de Mainframe lee desde DD COPYBOOK.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destination_table=TABLE
(Opcional) Especifica la tabla de destino en la que deseas escribir los resultados de la consulta.
--dry_run
(Opcional) Valida la consulta sin ejecutarla.
--encoding=ENCODING
(Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar campos de caracteres. Cuando se proporciona, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--exporter_thread_count=COUNT
(Opcional) Establece la cantidad de subprocesos del exportador. El valor predeterminado es 4.
--help o -h
Muestra este texto de ayuda.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifica el tiempo de espera de keepalive en segundos para un canal HTTP. El valor predeterminado es 480 segundos.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--max_read_queue=NUMBER
(Opcional) Establece el tamaño máximo de la cola de registros Avro. El valor predeterminado es el doble de la cantidad de subprocesos.
--max_read_streams=NUMBER
(Opcional) Establece la cantidad máxima de subprocesos de flujos de lectura. El valor predeterminado es 4.
--maximum_bytes_billed=BYTES
(Opcional) Limita los bytes facturados por la consulta.
--order_response
(Opcional) Mantén la respuesta ordenada como se muestra en BigQuery.
--outDD=OUTPUT
(Opcional) Escribe los registros de salida en el conjunto de datos especificado en z/OS. El valor predeterminado es DD OUTFILE.
--parser_type=TYPE
(Opcional). Establece el analizador de configuración en legacy, copybook o auto. El valor predeterminado es auto.
--query_dsn=DSN
(Opcional) Lee una consulta del conjunto de datos especificado en z/OS. Usa el formato HLQ.MEMBER o HLQ.PDS(MEMBER). Si no proporcionas un valor, el conector de Mainframe lee desde DD QUERY.
--remoteHost=HOST
(Opcional) Especifica la dirección IP del host remoto. Para ejecutar Mainframe Connector en modo remoto, establece la marca --bucket.
--remotePort=PORT
(Opcional) Especifica el puerto remoto. El valor predeterminado es 51770. Para ejecutar Mainframe Connector en modo remoto, establece la marca --bucket.
--remoteUrl=URL
(Opcional) Especifica la URL remota. Para ejecutar Mainframe Connector en modo remoto, establece la marca --bucket.
--run_mode=MODE
(Opcional) Selecciona la implementación de exportación. Puedes usar una de las siguientes opciones:
  • directstorage: El archivo binario se guarda de forma local (predeterminada).
  • gcsoutput: El archivo binario se guarda en Cloud Storage.
--sql=SQL
(Opcional) Especifica la consulta de BigQuery SQL que se ejecutará.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--timeOutMinutes=MINUTES
(Opcional) Establece el tiempo de espera en minutos para la llamada gRPC remota. El valor predeterminado es de 90 minutos.
--transcoding_buffer=BUFFER
(Opcional) Establece el tamaño del búfer de transcodificación por subproceso, en MB. El valor predeterminado es 20.
--use_cache={true|false}
(Opcional) Para almacenar en caché los resultados de la consulta, configúralo como verdadero.
--use_legacy_sql
(Opcional) Usa SQL heredado en lugar de SQL estándar.

bq load

Cargar datos en una tabla de BigQuery

Sinopsis

bq load [options] tablespec path

Marcas y argumentos

El comando bq load usa los siguientes argumentos y marcas:

path
Especifica una lista separada por comas de URIs de archivos de origen. El formato admitido es gs://bucket/path. Ejemplo: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.
tablespec
Especifica la tabla de destino para los datos. El formato admitido es [PROJECT]:[DATASET].[TABLE]
--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--allow_jagged_rows
(Opcional) Permite que falten columnas opcionales finales en los datos CSV.
--allow_quoted_newlines
(Opcional) Permite saltos de línea entrecomillados en los datos CSV.
--append_table
(Opcional) Une los datos cargados a los datos existentes en la tabla de destino.
--autodetect
(Opcional) Habilita la detección automática de esquemas para los datos de formato CSV y JSON.
--clustering_fields=FIELDS
(Opcional) Si se especifica, se usa una lista de columnas separadas por comas para agrupar en clústeres la tabla de destino en una consulta. Esta marca debe usarse con las marcas de partición de tiempo para crear una tabla particionada por tiempo de transferencia o una tabla particionada en una columna DATE o TIMESTAMP. Cuando se especifica, la tabla se particiona y, luego, se agrupa en clústeres con las columnas proporcionadas.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--debug_mode={true|false}
(Opcional) Establece el nivel de registro en depuración.
--destination_kms_key=KEY
(Opcional) La clave de Cloud KMS para la encriptación de los datos de la tabla de destino.
--encoding o -E=ENCODING
(Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar campos de caracteres. Cuando se especifica, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--field_delimiter o -F=FIELD
(Opcional) Especifica el delimitador de columnas en los datos CSV. Usa \t o tab para los delimitadores de tabulación.
--help o -h
Muestra este texto de ayuda.
--ignore_unknown_values=VALUES
(Opcional) Ignora los valores adicionales no reconocidos en los datos de CSV o JSON.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--max_bad_records=RECORDS
(Opcional) Establece la cantidad máxima de registros no válidos permitidos antes de que falle la tarea. Se muestra un máximo de cinco errores de cualquier tipo, independientemente del valor --max_bad_records. Esta marca solo se aplica para cargar datos de CSV, JSON y Hojas de cálculo de Google. El valor predeterminado es 0.
--max_polling_interval_ms=MILLISECONDS
(Opcional) Es el tiempo de espera máximo para un trabajo de BigQuery.
--null_marker=MARKER
(Opcional) Especifica una cadena personalizada que represente un valor NULL en los datos de CSV.
--projection_fields=FIELDS
(Opcional) Si estableces --source_format en DATASTORE_BACKUP, esta marca indica las propiedades de la entidad que se deben cargar desde una exportación de Datastore. Especifica los nombres de las propiedades en una lista separada por comas. Los nombres de las propiedades distinguen mayúsculas de minúsculas y deben referirse a propiedades de nivel superior. También puedes usar esta marca con las exportaciones de Firestore.
--quote=QUOTE
(Opcional) Especifica un carácter de comillas para los campos de los datos del archivo CSV. Puedes especificar cualquier carácter de un byte como argumento. El valor predeterminado es una comilla doble ("). Para especificar que no hay caracteres de comillas, usa una cadena vacía.
--replace
(Opcional) Reemplaza los datos existentes en la tabla de destino por los datos cargados.
--require_partition_filter={true|false}
(Opcional) Para tener un filtro de partición para las consultas sobre la tabla proporcionada, configúralo como verdadero. Este argumento solo se aplica a las tablas particionadas y si la marca --time_partitioning_field está configurada como verdadera. El valor predeterminado es false.
--schema=SCHEMA
(Opcional) Define el esquema de la tabla de destino. Especifica el valor como una lista de definiciones de columnas separadas por comas en el formato [FIELD]:[DATA_TYPE]. Ejemplo: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(Opcional) Cuando se agregan datos a una tabla (en un trabajo de carga o de consulta) o cuando se reemplaza una partición de una tabla, especifica cómo actualizar el esquema de la tabla de destino. Usa uno de los siguientes valores:
  • ALLOW_FIELD_ADDITION: Permite que se agreguen campos nuevos.
  • ALLOW_FIELD_RELAXATION: Permite disminuir la rigurosidad de los campos REQUIRED a NULLABLE.
Repite esta marca para especificar varias opciones de actualización del esquema.
--skip_leading_rows=NUMBER
(Opcional) Especifica la cantidad de filas que se deben omitir al principio del archivo de origen. El valor predeterminado es 0.
--source_format=FORMAT
(Opcional) Especifica el formato de los datos de origen. Puedes usar uno de los siguientes valores: CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (usa este valor para Filestore), PARQUET y ORC. El valor predeterminado es ORC.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--time_partitioning_expiration=SECONDS
(Opcional) Especifica cuándo se debe borrar una partición basada en el tiempo, en segundos. La fecha y hora de vencimiento se evalúan según la suma de la fecha de la partición en formato UTC más el valor especificado. Si proporcionas un número negativo, la partición basada en el tiempo nunca vencerá.
--time_partitioning_field=FIELD
(Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la partición basada en el tiempo se habilita sin este valor, la tabla se particiona en función del tiempo de carga.
--time_partitioning_type=TYPE
(Opcional) Habilita las particiones basadas en el tiempo en una tabla y establece el tipo de partición con el siguiente valor: DAY.
--use_avro_logical_types={true|false}
(Opcional) Si --source_format se establece en AVRO, establece esta marca en "true" para convertir tipos lógicos en sus tipos correspondientes (como TIMESTAMP) en lugar de usar solo sus tipos sin procesar (como INTEGER). El valor predeterminado es "false".

bq mk

Crea recursos de BigQuery, como tablas integradas o externas que necesiten particionarse y agruparse. También puedes usar el comando bq mk para generar una tabla de BigQuery directamente a partir del análisis de libros de copia de COBOL con la marca --schema_from_copybook.

Sinopsis

bq mk [options]

Marcas y argumentos

El comando bq mk usa los siguientes argumentos y marcas:

--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--tablespec=TABLE
Especifica la tabla de destino para los datos. El formato admitido es [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(Opcional) Especifica una lista separada por comas de hasta cuatro nombres de columna que especifiquen los campos que se usarán para el agrupamiento en clústeres de la tabla.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--description=DESCRIPTION
(Opcional) Proporciona una descripción para el conjunto de datos o la tabla.
--dry_run
(Opcional) Imprime la sentencia del lenguaje de definición de datos (DDL) de la tabla.
--encoding=ENCODING
(Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar campos de caracteres. Cuando se especifica, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--expiration=EXPIRATION
(Opcional) Especifica la vida útil de la tabla. Si no especificas un valor, BigQuery crea la tabla con la vida útil predeterminada de la tabla del conjunto de datos o la tabla no vencerá.
--external_table_definition o -e=TABLE
(Opcional) Especifica un nombre y una definición de esquema para crear una tabla externa. Ejemplo: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help o -h
Muestra este texto de ayuda.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--parser_type=TYPE
(Opcional). Establece el analizador de configuración en legacy, copybook o auto. El valor predeterminado es auto.
--require_partition_filter={true|false}
(Opcional) Para tener un filtro de partición para las consultas sobre la tabla proporcionada, configúralo como verdadero. Este argumento solo se aplica a las tablas particionadas y si la marca --time_partitioning_field está configurada como verdadera. El valor predeterminado es verdadero.
--schema=SCHEMA
(Opcional) Especifica la ruta de acceso a un archivo de esquema JSON local o una lista de definiciones de columnas separadas por comas con el formato FIELD:DATA_TYPE, FIELD:DATA_TYPE, etcétera.
--schema_from_copybook=SCHEMA
(Opcional) Genera el esquema a partir de un libro de copia.
--table o -t=TABLE
(Opcional) Crea una tabla.
--time_partitioning_expiration=SECONDS
(Opcional) Especifica cuándo se debe borrar una partición basada en el tiempo, en segundos. La fecha y hora de vencimiento se evalúan según la suma de la fecha de la partición en formato UTC más el valor especificado. Si proporcionas un número negativo, la partición basada en el tiempo nunca vencerá.
--time_partitioning_field=FIELD
(Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la partición basada en el tiempo se habilita sin este valor, la tabla se particiona en función del tiempo de carga.
--view
(Opcional) Crea una vista.

bq query

Ejecuta una consulta en BigQuery.

Sinopsis

bq query [options]

Marcas y argumentos

Puedes ejecutar este comando en los modos local y remoto. Para el modo remoto, consulta las marcas --remoteHost, --remotePort y --remoteUrl, y la variable de entorno BQ_QUERY_REMOTE_EXECUTION. El comando bq query usa los siguientes argumentos y marcas:

--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--allow_large_results
(Opcional) Usa tablas de destino de gran tamaño para las consultas de SQL heredado.
--append_table
(Opcional) Une los datos cargados a los datos existentes en la tabla de destino.
--batch
(Opcional) Ejecuta la consulta en modo por lotes.
--clustering_fields=FIELDS
(Opcional) Especifica una lista separada por comas de hasta cuatro nombres de columna que especifiquen los campos que se usarán para el agrupamiento en clústeres de la tabla. Si especificas este valor con la partición, la tabla se particiona y, luego, cada partición se agrupa en clústeres mediante las columnas proporcionadas.
--create_if_needed
(Opcional) Crea la tabla de destino si no existe.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destination_table=TABLE
(Opcional) Especifica la tabla de destino en la que deseas escribir los resultados de la consulta.
--dry_run
(Opcional) Valida la consulta sin ejecutarla.
--follow={true|false}
(Opcional) Para hacer un seguimiento de los pasos de consulta individuales o de la secuencia de comandos en su totalidad, configúralo como verdadero. El valor predeterminado es false.
--help o -h
Muestra este texto de ayuda.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--maximum_bytes_billed=BYTES
(Opcional) Especifica el límite de los bytes facturados por la consulta.
--parameters=PARAMETERS
(Opcional) Especifica los parámetros de consulta separados por comas en el formato [NAME]:[TYPE]:[VALUE]. Si el nombre está vacío, se crea un parámetro posicional. Puedes omitir [TYPE] para asumir un valor STRING con el formato name::value o ::value. NULL genera un valor nulo.
--query_dsn=DSN
(Opcional) Especifica el DSN desde el que se leerá la consulta, en el formato HLQ.MEMBER o HLQ.PDS(MEMBER). Si no se proporciona query_dsn, se usa QUERY DD.
--remoteHost=HOST
(Opcional) Especifica la dirección IP del host remoto. Para ejecutar la consulta en modo remoto, configura la variable de entorno BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(Opcional) Especifica el puerto remoto. El valor predeterminado es 51770. Para ejecutar la consulta en modo remoto, configura la variable de entorno BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(Opcional) Especifica la URL remota. Para ejecutar la consulta en modo remoto, configura la variable de entorno BQ_QUERY_REMOTE_EXECUTION.
--replace
(Opcional) Reemplaza la tabla de destino con los resultados de la consulta.
--report_row_limit=LIMIT
(Opcional) Especifica la cantidad máxima de filas que se deben imprimir en el informe de auditoría. El valor predeterminado es 30.
--require_partition_filter={true|false}
(Opcional) Para tener un filtro de partición para las consultas sobre la tabla proporcionada, configúralo como verdadero. El valor predeterminado es verdadero.
--schema_update_option=OPTION
(Opcional) Actualiza el esquema de la tabla de destino cuando agregues datos. Usa los siguientes valores:
  • ALLOW_FIELD_ADDITION: Permite que se agreguen campos nuevos.
  • ALLOW_FIELD_RELAXATION: Permite disminuir la rigurosidad de los campos REQUIRED a NULLABLE.
--split_sql={true|false}
(Opcional) Para dividir la secuencia de comandos de SQL de entrada en consultas individuales, configúralo como verdadero. El valor predeterminado es verdadero.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--sync={true|false}
(Opcional) Ejecuta el comando en modo síncrono.
--synchronous_mode={true|false}
(Opcional) Es una alternativa a --sync.
--timeOutMinutes=MINUTES
(Opcional) Especifica el tiempo de espera en minutos para una respuesta de trabajo de BigQuery. El valor predeterminado es de 240 minutos.
--time_partitioning_expiration=SECONDS
(Opcional) Especifica cuándo se debe borrar una partición basada en el tiempo, en segundos. La fecha y hora de vencimiento se evalúan según la suma de la fecha de la partición en formato UTC más el valor especificado. Si proporcionas un número negativo, la partición basada en el tiempo nunca vencerá.
--time_partitioning_field=FIELD
(Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la partición basada en el tiempo se habilita sin este valor, la tabla se particiona en función del tiempo de carga.
--time_partitioning_type=TYPE
(Opcional) Habilita la partición basada en el tiempo en una tabla y establece el tipo de partición con uno de los siguientes valores: DAY, HOUR, MONTH o YEAR.
--use_cache={true|false}
(Opcional) Para almacenar en caché los resultados de la consulta, configúralo como verdadero. El valor predeterminado es verdadero.
--use_legacy_sql
(Opcional) Usa SQL heredado en lugar de SQL estándar.

cloud run job cancel

Cancela una ejecución de trabajo específica.

Sinopsis

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Marcas y argumentos

El comando cloud run job cancel usa los siguientes argumentos y marcas:

EXECUTION
Especifica el nombre del ID de ejecución del trabajo de Cloud Run.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--project=PROJECT
Especifica el ID del proyecto.
--region=REGION
Especifica la región en la que se puede encontrar el recurso.

cloud run job execute

Ejecuta un trabajo específico.

Sinopsis

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Marcas y argumentos

El comando cloud run job execute usa los siguientes argumentos y marcas:

JOB
Especifica el nombre del trabajo de Cloud Run que se ejecutará.
--args=ARGS
(Opcional) Argumentos separados por comas que se pasan al comando que ejecuta la imagen del contenedor. Si se proporciona, se creará una ejecución con los valores de entrada.
--async
(Opcional) Especifica esta marca si deseas mostrar el resultado de inmediato, sin esperar a que se complete la operación en curso.
--dump-execution-id=EXECUTION-ID : DataPath
(Opcional) Especifica el archivo en el que se escribirá el ID de ejecución.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--polling-interval=POLLINGINTERVAL
(opcional): Establece el intervalo de sondeo para mostrar registros cuando --tail_logs está habilitado. El valor predeterminado es 60 s.
--project=PROJECT
Especifica el ID del proyecto.
--region=REGION
Especifica la región en la que se puede encontrar el recurso.
--tail-logs
(Opcional) Si ejecutas el comando en modo síncrono especificando la marca --tail_logs, Mainframe Connector muestra los registros de progreso en la pantalla. Si especificas las marcas --tail_logs y --async, se mostrará un mensaje de error. Como Cloud Logging no admite el registro en tiempo real, el comando solo muestra los registros que ya se registraron en los registros. Como resultado, es posible que falten algunos registros cuando uses la marca --tail_logs. Para ver los registros de trabajo completos, usa el comando cloud run job log después de que finalice el trabajo.
--task-timeout=TIMEOUT
(Opcional) Muestra el tiempo máximo existente (fecha límite) durante el que se puede ejecutar un intento de tarea de trabajo. Si no se especifica, se usará el valor predeterminado del trabajo.
--update-env-vars=ENVVARS
(Opcional) Es una lista de pares clave-valor que se establecerán como anulaciones de variables de entorno para la ejecución de un trabajo.
--wait
(Opcional) Especifica esta marca si deseas que el comando espere hasta que se complete la ejecución antes de salir.

cloud run job log

Cómo mostrar registros de Cloud Run

Sinopsis

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

Marcas y argumentos

El comando cloud run job log usa los siguientes argumentos y marcas:

EXECUTION_ID
Es el nombre del ID de ejecución del trabajo de Cloud Run.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--log-filter=FILTER
Expresión de filtro(opcional) que especifica las entradas de registro que se mostrarán.
--polling-interval=POLLINGINTERVAL
(opcional): Establece el intervalo de sondeo para mostrar registros cuando --tail_logs está habilitado. El valor predeterminado es 60 s.
--project=PROJECT
Especifica el ID del proyecto.
--region=REGION
Especifica la región en la que se puede encontrar el recurso.
--tail
(Opcional) Muestra solo los registros nuevos a partir de ahora cuando se configura. Si no se establece, se mostrarán todos los registros de trabajo.
--timeout=TIMEOUT
(Opcional) Tiempo de espera después del cual se cerrará el comando. Si no se establece, se agotará el tiempo de espera del comando cuando finalice la ejecución.

gsutil cp

Transcodifica datos de tu mainframe a un bucket de Cloud Storage.

Sinopsis

gsutil cp [options] gcsUri [dest]

Marcas y argumentos

Puedes usar este comando para los siguientes fines:

  • Copia y transcodifica un archivo de un entorno de Mainframe o Linux a Cloud Storage.
    • Fuente: --inDSN. Si no se proporciona, se especifica con DD INFILE.
    • Destino: gcsUri
  • Cómo copiar y transcodificar un archivo en Cloud Storage
    • Fuente: gcsUri
    • Destino: --destPath
  • Copiar un archivo de Cloud Storage a un mainframe
    • Fuente: gcsUri
    • Destino: --destDSN
    • Marcas relevantes: --lrecl, --blksize, --recfm, --noseek.
  • Copia un archivo de Cloud Storage a un entorno de Linux.
    • Fuente: gcsUri
    • Destino: --destPath
Este comando se puede ejecutar en los modos local, remoto y autónomo. Para el modo remoto, consulta las marcas --remote, --remoteHost, --remotePort y --remoteUrl. El comando gsutil cp usa los siguientes argumentos y marcas:

dest
(Opcional) Es la ruta de acceso local o el nombre de la fuente de datos (DSN). Formatos de ejemplo: /path/to/file, DATASET.MEMBER
gcsUri
El URI de Cloud Storage en el formato gs://bucket/path. Puede representar la ubicación de origen y de destino, según el uso.
--batchSize=SIZE
(Opcional) Especifica los bloques que se usarán por lote. El valor predeterminado es 1,000.
--blksize=SIZE
(Opcional) Especifica el tamaño del bloque del archivo que se copiará en el mainframe. Si blksize=0 y recfm no son U, el sistema de mainframe determina el tamaño de bloque óptimo para el archivo.
--cobDsn=DSN
(Opcional) Especifica el DSN de libro de copia que deseas usar. Si no proporcionas un valor, el conector de Mainframe lee desde DD COPYBOOK.
--connections=NUMBER
(Opcional) Especifica la cantidad de conexiones que se pueden realizar al receptor remoto. El valor predeterminado es 10.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destDSN=OUTPUT
(Opcional) Especifica el DSN de destino.
--destPath=OUTPUT
(Opcional) Especifica la ruta de destino.
--dry_run
(Opcional) Prueba el análisis y la decodificación del libro de copia del archivo QSAM.
--encoding=ENCODING
(Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar campos de caracteres. Cuando se especifica, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--help o -h
Muestra este texto de ayuda.
--inDsn=DSN
(Opcional) Especifica el DSN del archivo de entrada que deseas usar. Si no proporcionas un valor, Mainframe Connector lee desde DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifica el tiempo de espera de keepalive en segundos para un canal HTTP. El valor predeterminado es 480 segundos.
--location=LOCATION
(Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--lowerCaseColumnNames
(Opcional) Crea nombres de columnas en minúsculas para los campos del libro de copia.
--lrecl=LRECL
(Opcional) Especifica la longitud del registro lógico (lrecl) del archivo que deseas copiar en el mainframe.
--maxChunkSize=SIZE
(Opcional) Especifica el tamaño máximo del fragmento por lote. Debes usar K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB o TB para describir el tamaño. El valor predeterminado es 128 MiB.
--max_error_pct=PCT
(Opcional) Especifica el umbral de fallas del trabajo para los errores de decodificación de filas. Los valores válidos están dentro del rango [0.0, 1.0]. El valor predeterminado es 0.
--noseek
(Opcional) Mejora el rendimiento de las descargas de Cloud Storage al mainframe.
--parallel o -m
(Opcional) Establece la cantidad de escritores simultáneos en 4.
--parallelism o -p=NUMBER
(Opcional) Especifica la cantidad de escritores simultáneos. El valor predeterminado es 4.
--parser_type=TYPE
(Opcional). Establece el analizador de configuración en legacy, copybook o auto. El valor predeterminado es auto.
--preload_chunk_count=NUMBER
(Opcional) Especifica la cantidad de fragmentos que se deben precargar desde los discos mientras todos los trabajadores están ocupados. El valor predeterminado es 2.
--project_id=ID
(Opcional) Especifica el proyecto que se usará para ejecutar este comando.
--recfm=REFCM
(Opcional) Especifica el recfm del archivo que quieres copiar en el mainframe. Puedes usar uno de los siguientes valores: F, FB, V, VB, U. El valor predeterminado es FB.
--remote
(Opcional) Usa un decodificador remoto.
--remoteHost=HOST
(Opcional) Especifica la dirección IP del host remoto. Para ejecutar Mainframe Connector en modo remoto, establece la marca --remote.
--remotePort=PORT
(Opcional) Especifica el puerto remoto que se usará. El valor predeterminado es 51770. Para ejecutar Mainframe Connector en modo remoto, establece la marca --remote.
--remoteUrl=URL
(Opcional) Especifica la URL remota. Para ejecutar Mainframe Connector en modo remoto, establece la marca --remote.
--replace
(Opcional) Borra el destino de forma recursiva antes de subirlo.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--tfDSN=DSN
(Opcional) Especifica las transformaciones de un DSN, DATASET.MEMBER o PDS(MBR).
--tfGCS=GCS
(Opcional) Especifica el archivo de transformaciones de Cloud Storage.
--timeOutMinutes=MINUTES
(Opcional) Especifica el tiempo de espera en minutos para una llamada gRPC remota. El valor predeterminado es de 90 minutos para Cloud Storage y de 50 minutos para un mainframe.

gsutil rm

Quita objetos de Cloud Storage.

Sinopsis

gsutil rm [-hR] URL...

Marcas y argumentos

El comando gsutil rm usa los siguientes argumentos y marcas:

URL
Especifica la ubicación de Cloud Storage en el formato gs://bucket/prefix.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
-R o -r
(Opcional) Borra de forma recursiva el contenido de los directorios o objetos que coincidan con la expresión de ruta de acceso. No arroja un error si el directorio o el objeto no existen.

scp

Copiar archivos a Cloud Storage

Sinopsis

scp [options] [input] [output]

Marcas y argumentos

Para usar este comando, debes asegurarte de lo siguiente:

  • Establece un valor de entrada único a través de input, --inDD o --inDsn.
  • Establece un valor de salida único a través de la salida o --gcsOutUri.

El comando scp usa los siguientes argumentos y marcas:

input
(Opcional) Especifica el DD o DSN que se copiará. En su lugar, puedes usar --inDD o --inDsn.
output
(Opcional) Especifica el URI del resultado con el formato gs://[BUCKET]/[PREFIX]. En su lugar, puedes usar --gcsOutUri.
--compress
(Opcional) Comprime el resultado con gzip.
--count o -n=RECORDS
(Opcional) Especifica la cantidad de registros que se deben copiar. El valor predeterminado es ilimitado.
--encoding=ENCODING
(Opcional) Especifica la codificación de caracteres de entrada. El valor predeterminado es CP037.
--gcsOutUri=URI
(Opcional) Especifica el URI de Cloud Storage de destino de la copia del archivo.
--help o -h
Muestra este texto de ayuda.
--inDD=INPUT
(Opcional) Especifica el archivo DD que se copiará. El valor predeterminado es DD INFILE.
--inDsn=INPUT
(Opcional) Especifica el DSN que se copiará.
--noConvert
(Opcional) Inhabilita la conversión de la entrada de caracteres a ASCII. La conversión de caracteres está habilitada de forma predeterminada.

systemreport

Proporciona un informe del sistema.

Sinopsis

systemreport [-h] [--available_security_providers] [--supported_ciphers]

Marcas y argumentos

El comando systemreport usa los siguientes argumentos y marcas:

--available_security_providers
(Opcional) Imprime los proveedores de seguridad admitidos.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--supported_ciphers
(Opcional) Imprime los algoritmos de cifrado compatibles.

qsam decode

Decodifica los datos de QSAM.

Este comando decodifica los registros de un archivo QSAM al formato que especifiques con el argumento --output-format. El archivo QSAM original se divide en fragmentos según el valor que especifiques con el argumento --max-chunk-size. El resultado transcodificado se guarda en la ruta de destino como archivos ordenados alfabéticamente.

Sinopsis

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   INPUT OUTPUT

Marcas y argumentos

El comando qsam decode usa los siguientes argumentos y marcas:

INPUT : DataPath
Especifica la ruta de datos del archivo QSAM que deseas decodificar.
OUTPUT : DataPath
Especifica la ruta de acceso de datos del prefijo de salida. Todo el resultado se almacena con este prefijo.
--chunk-size=CHUNK-SIZE : DataSize
(Opcional) Especifica la cantidad de datos de entrada que se incluirán en cada archivo de salida. El archivo de salida puede ser más grande o más pequeño. El tamaño del fragmento se redondea hacia abajo para cerrar el múltiplo de la longitud del registro lógico. El valor predeterminado es 128 MiB.
--copybook=COPYBOOK : DataPath
Especifica la ruta de acceso de los datos del archivo que contiene el libro de copia.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--max-error-percent=MAX_ERROR_PERCENT
(Opcional) Especifica el porcentaje de los registros procesados que pueden tener errores antes de que falle el proceso de transcodificación. El valor puede oscilar entre 0.0 (es decir, fallar si hay errores de transcodificación) y 1.0 (es decir, no fallar si hay errores de transcodificación). El valor predeterminado es 0.
--output-format=FORMAT : TranscodeFormat
(Opcional) Especifica el formato del archivo de salida. El valor predeterminado es orc.
--parallelism=COUNT
(Opcional) Especifica la cantidad de subprocesos de procesamiento. El valor debe ser igual o menor que la cantidad de núcleos disponibles. El valor predeterminado es 1.
--preload-chunk-count=PRELOAD_CHUNK_COUNT
(Opcional) Especifica la cantidad de fragmentos de datos que se deben precargar cuando se procesan todos los subprocesos. El valor predeterminado es 1.
--replace
(Opcional) Si se especifica, borra la ruta de acceso de salida de forma recursiva antes de escribir los resultados de la decodificación.
--transcode-configuration=CONFIG : DataPath
(Opcional): Especifica el archivo que contiene la configuración de transcodificación. Para obtener más información sobre el formato de configuración del transcodificador, consulta Configuración del transcodificador.

qsam encode

Codifica los datos de QSAM.

Este comando toma datos de una fuente externa y los convierte en un archivo QSAM. La entrada se define según el valor que especifiques con el argumento --input-format.

Sinopsis

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Marcas y argumentos

El comando qsam encode usa los siguientes argumentos y marcas:

INPUT : DataPath
Especifica la ruta de acceso a los datos del archivo de entrada que deseas codificar en un archivo QSAM.
OUTPUT : DataPath
Especifica la ruta de acceso de datos del archivo QSAM al que deseas codificar.
--copybook=COPYBOOK : DataPath
Especifica la ruta de acceso de los datos del archivo que contiene el libro de copia.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--input-format=FORMAT : TranscodeInputFormat
Especifica el formato de la entrada.
--input-parameter=KEY=VALUE
(Opcional) Especifica los parámetros para configurar la entrada. Son específicas del formato de entrada.
--input-stream-count=COUNT
(Opcional) Especifica la cantidad de flujos de entrada. Este es un valor máximo, en realidad, se pueden usar menos transmisiones. El valor predeterminado es 1.
--parallelism=COUNT
(Opcional) Especifica la cantidad de subprocesos de procesamiento. El valor debe ser igual o menor que la cantidad de núcleos disponibles. El valor predeterminado es 1.
--spillover=SPILLOVER : DataPath
(Opcional) Especifica una ruta de datos para el conjunto de datos de desbordamiento. Si no especificas esta información, se descartarán los detalles del error.
--transcode-configuration=CONFIG : DataPath
(Opcional): Especifica el archivo que contiene la configuración de transcodificación. Para obtener más información sobre el formato de configuración del transcodificador, consulta Configuración del transcodificador.

Tipos de parámetros

Estos son tipos comunes que se usan en los comandos de Mainframe Connector.

DataPath

DataPath es una cadena que representa una entrada o una salida. Cada tipo de DataPath tiene su propio prefijo, como se indica a continuación:

  • DD:: Las rutas de acceso a los datos con este prefijo apuntan a un DD cuando se ejecutan en un trabajo de JCL. Ejemplo: DD:DDNAME.

  • DSN:: Las rutas de datos con este prefijo apuntan a un DSN cuando se ejecutan en un mainframe IBM. Ejemplo: DSN:HQ.FOO.BAR.

  • file:: Las rutas de acceso a los datos con este prefijo apuntan a un archivo Unix. Para especificar la longitud del registro lógico (LRECL), agrega #lrecl antes de :. Ejemplos: file:/path/to/file, file#80:/path/to/file.

  • gs://: Las rutas de acceso a los datos con este prefijo apuntan a un archivo en Cloud Storage. Ejemplo: gs://my_bucket/my/file.txt

DataSize

DataSize representa un tamaño en forma de un importe y una unidad de medida, por ejemplo, 5 MiB. Puedes usar espacios en blanco entre el importe y la magnitud. El análisis del tamaño de los datos no distingue mayúsculas de minúsculas, por lo que puedes especificar unidades de medida en mayúsculas y minúsculas.

Puedes especificar el valor en los siguientes formatos:

  • Formato Java: b/k/m/g/t, para byte, kibibyte, mebibyte, gibibyte y tebibyte, respectivamente.
  • Formato internacional: KiB/MiB/GiB/TiB, para kibibyte, mebibyte, gibibyte y tebibyte, respectivamente.
  • Formato métrico: b/kb/mb/gb/tb, para kilobytes, megabytes, gigabytes y terabytes, respectivamente.

TranscodeFormat

TranscodeFormat representa el formato que se usará durante el proceso de transcodificación.

Estos son los valores válidos:

  • ORC: ORC es un formato de archivo de columnas autodescriptivo y consciente del tipo.

TranscodeInputFormat

Es el formato que se usará durante la transcodificación.

Estos son los valores válidos:

  • BIGQUERY: Extrae datos directamente de BigQuery. INPUT debe ser una ruta de acceso a un archivo de consulta.

Los parámetros de entrada disponibles son los siguientes:

  • keep_order: Úsalo si el orden exacto de los registros es importante. Ten en cuenta que esto limitará el flujo de entrada.
  • project_id: Es el ID del proyecto que se usará cuando se ejecute la tarea.
  • location: Es la ubicación que se usará cuando se ejecute el trabajo.