Comandos
bq export
Exporta una tabla de BigQuery.
Sinopsis
bq export [options]
Marcas y argumentos
Para ejecutar este comando, debes proporcionar una consulta SQL (consulta las marcas --sql
y query_dsn
) y un libro de copia (consulta la marca cobDsn
). Puedes ejecutar este comando en modo local, remoto y autónomo. Para el modo remoto, consulta las marcas --bucket
, --remoteHost
, --remotePort
y --remoteUrl
.
El comando bq export
usa los siguientes argumentos y marcas:
--project_id
=ID- Especifica el proyecto que se usará para ejecutar este comando.
--allow_large_results
- (Opcional) Usa tablas de destino de gran tamaño para las consultas de SQL heredado.
--batch
- (Opcional) Ejecuta la consulta en modo por lotes.
--bucket
=BUCKET- (Opcional) Escribe el resultado del comando en una ubicación dentro de un bucket de Cloud Storage. Los archivos de salida se escriben en la ruta de destino
gs://BUCKET/EXPORT/
. Este argumento es obligatorio para el modo remoto. --cobDsn
=DSN- (Opcional) Especifica el DSN de libro de copia que deseas usar. Si no proporcionas un valor, el conector de Mainframe lee desde DD COPYBOOK.
--dataset_id
=ID- (Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destination_table
=TABLE- (Opcional) Especifica la tabla de destino en la que deseas escribir los resultados de la consulta.
--dry_run
- (Opcional) Valida la consulta sin ejecutarla.
--encoding
=ENCODING- (Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar campos de caracteres. Cuando se proporciona, este valor anula el valor predeterminado establecido por la variable de entorno
ENCODING
. --exporter_thread_count
=COUNT- (Opcional) Establece la cantidad de subprocesos del exportador. El valor predeterminado es 4.
--help
o-h
- Muestra este texto de ayuda.
--keepAliveTimeInSeconds
=SECONDS- (Opcional) Especifica el tiempo de espera de keepalive en segundos para un canal HTTP. El valor predeterminado es 480 segundos.
--location
=LOCATION- (Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--max_read_queue
=NUMBER- (Opcional) Establece el tamaño máximo de la cola de registros Avro. El valor predeterminado es el doble de la cantidad de subprocesos.
--max_read_streams
=NUMBER- (Opcional) Establece la cantidad máxima de subprocesos de flujos de lectura. El valor predeterminado es 4.
--maximum_bytes_billed
=BYTES- (Opcional) Limita los bytes facturados por la consulta.
--order_response
- (Opcional) Mantén la respuesta ordenada como se muestra en BigQuery.
--outDD
=OUTPUT- (Opcional) Escribe los registros de salida en el conjunto de datos especificado en z/OS. El valor predeterminado es DD OUTFILE.
--parser_type
=TYPE- (Opcional). Establece el analizador de configuración en
legacy
,copybook
oauto
. El valor predeterminado esauto
. --query_dsn
=DSN- (Opcional) Lee una consulta del conjunto de datos especificado en z/OS. Usa el formato HLQ.MEMBER o HLQ.PDS(MEMBER). Si no proporcionas un valor, el conector de Mainframe lee desde DD QUERY.
--remoteHost
=HOST- (Opcional) Especifica la dirección IP del host remoto. Para ejecutar Mainframe Connector en modo remoto, establece la marca
--bucket
. --remotePort
=PORT- (Opcional) Especifica el puerto remoto. El valor predeterminado es 51770. Para ejecutar Mainframe Connector en modo remoto, establece la marca
--bucket
. --remoteUrl
=URL- (Opcional) Especifica la URL remota. Para ejecutar Mainframe Connector en modo remoto, establece la marca
--bucket
. --run_mode
=MODE- (Opcional) Selecciona la implementación de exportación. Puedes usar una de las siguientes opciones:
directstorage
: El archivo binario se guarda de forma local (predeterminada).gcsoutput
: El archivo binario se guarda en Cloud Storage.
--sql
=SQL- (Opcional) Especifica la consulta de BigQuery SQL que se ejecutará.
--stats_table
=TABLE- (Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--timeOutMinutes
=MINUTES- (Opcional) Establece el tiempo de espera en minutos para la llamada gRPC remota. El valor predeterminado es de 90 minutos.
--transcoding_buffer
=BUFFER- (Opcional) Establece el tamaño del búfer de transcodificación por subproceso, en MB. El valor predeterminado es 20.
--use_cache
={true|false}- (Opcional) Para almacenar en caché los resultados de la consulta, configúralo como verdadero.
--use_legacy_sql
- (Opcional) Usa SQL heredado en lugar de SQL estándar.
bq load
Cargar datos en una tabla de BigQuery
Sinopsis
bq load [options] tablespec path
Marcas y argumentos
El comando bq load
usa los siguientes argumentos y marcas:
- path
- Especifica una lista separada por comas de URIs de archivos de origen. El formato admitido es
gs://bucket/path
. Ejemplo:gs://my-bucket/data.orc,gs://my-bucket/more-data.orc
. - tablespec
- Especifica la tabla de destino para los datos. El formato admitido es [PROJECT]:[DATASET].[TABLE]
--project_id
=ID- Especifica el proyecto que se usará para ejecutar este comando.
--allow_jagged_rows
- (Opcional) Permite que falten columnas opcionales finales en los datos CSV.
--allow_quoted_newlines
- (Opcional) Permite saltos de línea entrecomillados en los datos CSV.
--append_table
- (Opcional) Une los datos cargados a los datos existentes en la tabla de destino.
--autodetect
- (Opcional) Habilita la detección automática de esquemas para los datos de formato CSV y JSON.
--clustering_fields
=FIELDS- (Opcional) Si se especifica, se usa una lista de columnas separadas por comas para agrupar en clústeres la tabla de destino en una consulta. Esta marca debe usarse con las marcas de partición de tiempo para crear una tabla particionada por tiempo de transferencia o una tabla particionada en una columna
DATE
oTIMESTAMP
. Cuando se especifica, la tabla se particiona y, luego, se agrupa en clústeres con las columnas proporcionadas. --dataset_id
=ID- (Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--debug_mode
={true|false}- (Opcional) Establece el nivel de registro en depuración.
--destination_kms_key
=KEY- (Opcional) La clave de Cloud KMS para la encriptación de los datos de la tabla de destino.
--encoding
o-E
=ENCODING- (Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar campos de caracteres. Cuando se especifica, este valor anula el valor predeterminado establecido por la variable de entorno
ENCODING
. --field_delimiter
o-F
=FIELD- (Opcional) Especifica el delimitador de columnas en los datos CSV. Usa
\t
otab
para los delimitadores de tabulación. --help
o-h
- Muestra este texto de ayuda.
--ignore_unknown_values
=VALUES- (Opcional) Ignora los valores adicionales no reconocidos en los datos de CSV o JSON.
--location
=LOCATION- (Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--max_bad_records
=RECORDS- (Opcional) Establece la cantidad máxima de registros no válidos permitidos antes de que falle la tarea. Se muestra un máximo de cinco errores de cualquier tipo, independientemente del valor
--max_bad_records
. Esta marca solo se aplica para cargar datos de CSV, JSON y Hojas de cálculo de Google. El valor predeterminado es 0. --max_polling_interval_ms
=MILLISECONDS- (Opcional) Es el tiempo de espera máximo para un trabajo de BigQuery.
--null_marker
=MARKER- (Opcional) Especifica una cadena personalizada que represente un valor
NULL
en los datos de CSV. --projection_fields
=FIELDS- (Opcional) Si estableces
--source_format
enDATASTORE_BACKUP
, esta marca indica las propiedades de la entidad que se deben cargar desde una exportación de Datastore. Especifica los nombres de las propiedades en una lista separada por comas. Los nombres de las propiedades distinguen mayúsculas de minúsculas y deben referirse a propiedades de nivel superior. También puedes usar esta marca con las exportaciones de Firestore. --quote
=QUOTE- (Opcional) Especifica un carácter de comillas para los campos de los datos del archivo CSV. Puedes especificar cualquier carácter de un byte como argumento. El valor predeterminado es una comilla doble ("). Para especificar que no hay caracteres de comillas, usa una cadena vacía.
--replace
- (Opcional) Reemplaza los datos existentes en la tabla de destino por los datos cargados.
--require_partition_filter
={true|false}- (Opcional) Para tener un filtro de partición para las consultas sobre la tabla proporcionada, configúralo como verdadero. Este argumento solo se aplica a las tablas particionadas y si la marca
--time_partitioning_field
está configurada como verdadera. El valor predeterminado es false. --schema
=SCHEMA- (Opcional) Define el esquema de la tabla de destino. Especifica el valor como una lista de definiciones de columnas separadas por comas en el formato [FIELD]:[DATA_TYPE]. Ejemplo:
name:STRING,age:INTEGER,city:STRING
--schema_update_option
=OPTION- (Opcional) Cuando se agregan datos a una tabla (en un trabajo de carga o de consulta) o cuando se reemplaza una partición de una tabla, especifica cómo actualizar el esquema de la tabla de destino. Usa uno de los siguientes valores:
ALLOW_FIELD_ADDITION
: Permite que se agreguen campos nuevos.ALLOW_FIELD_RELAXATION
: Permite disminuir la rigurosidad de los camposREQUIRED
aNULLABLE
.
--skip_leading_rows
=NUMBER- (Opcional) Especifica la cantidad de filas que se deben omitir al principio del archivo de origen. El valor predeterminado es 0.
--source_format
=FORMAT- (Opcional) Especifica el formato de los datos de origen. Puedes usar uno de los siguientes valores:
CSV
,NEWLINE_DELIMITED_JSON
,AVRO
,DATASTORE_BACKUP
(usa este valor para Filestore),PARQUET
yORC
. El valor predeterminado esORC
. --stats_table
=TABLE- (Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--time_partitioning_expiration
=SECONDS- (Opcional) Especifica cuándo se debe borrar una partición basada en el tiempo, en segundos. La fecha y hora de vencimiento se evalúan según la suma de la fecha de la partición en formato UTC más el valor especificado. Si proporcionas un número negativo, la partición basada en el tiempo nunca vencerá.
--time_partitioning_field
=FIELD- (Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la partición basada en el tiempo se habilita sin este valor, la tabla se particiona en función del tiempo de carga.
--time_partitioning_type
=TYPE- (Opcional) Habilita las particiones basadas en el tiempo en una tabla y establece el tipo de partición con el siguiente valor:
DAY
. --use_avro_logical_types
={true|false}- (Opcional) Si
--source_format
se establece enAVRO
, establece esta marca en "true" para convertir tipos lógicos en sus tipos correspondientes (comoTIMESTAMP
) en lugar de usar solo sus tipos sin procesar (comoINTEGER
). El valor predeterminado es "false".
bq mk
Crea recursos de BigQuery, como tablas integradas o externas que necesiten particionarse y agruparse. También puedes usar el comando bq mk
para generar una tabla de BigQuery directamente a partir del análisis de libros de copia de COBOL con la marca --schema_from_copybook
.
Sinopsis
bq mk [options]
Marcas y argumentos
El comando bq mk
usa los siguientes argumentos y marcas:
--project_id
=ID- Especifica el proyecto que se usará para ejecutar este comando.
--tablespec
=TABLE- Especifica la tabla de destino para los datos. El formato admitido es [PROJECT]:[DATASET].[TABLE].
--clustering_fields
=FIELDS- (Opcional) Especifica una lista separada por comas de hasta cuatro nombres de columna que especifiquen los campos que se usarán para el agrupamiento en clústeres de la tabla.
--dataset_id
=ID- (Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--description
=DESCRIPTION- (Opcional) Proporciona una descripción para el conjunto de datos o la tabla.
--dry_run
- (Opcional) Imprime la sentencia del lenguaje de definición de datos (DDL) de la tabla.
--encoding
=ENCODING- (Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar campos de caracteres. Cuando se especifica, este valor anula el valor predeterminado establecido por la variable de entorno
ENCODING
. --expiration
=EXPIRATION- (Opcional) Especifica la vida útil de la tabla. Si no especificas un valor, BigQuery crea la tabla con la vida útil predeterminada de la tabla del conjunto de datos o la tabla no vencerá.
--external_table_definition
o-e
=TABLE- (Opcional) Especifica un nombre y una definición de esquema para crear una tabla externa. Ejemplo:
ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help
o-h
- Muestra este texto de ayuda.
--location
=LOCATION- (Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--parser_type
=TYPE- (Opcional). Establece el analizador de configuración en
legacy
,copybook
oauto
. El valor predeterminado esauto
. --require_partition_filter
={true|false}- (Opcional) Para tener un filtro de partición para las consultas sobre la tabla proporcionada, configúralo como verdadero. Este argumento solo se aplica a las tablas particionadas y si la marca
--time_partitioning_field
está configurada como verdadera. El valor predeterminado es verdadero. --schema
=SCHEMA- (Opcional) Especifica la ruta de acceso a un archivo de esquema JSON local o una lista de definiciones de columnas separadas por comas con el formato FIELD:DATA_TYPE, FIELD:DATA_TYPE, etcétera.
--schema_from_copybook
=SCHEMA- (Opcional) Genera el esquema a partir de un libro de copia.
--table
o-t
=TABLE- (Opcional) Crea una tabla.
--time_partitioning_expiration
=SECONDS- (Opcional) Especifica cuándo se debe borrar una partición basada en el tiempo, en segundos. La fecha y hora de vencimiento se evalúan según la suma de la fecha de la partición en formato UTC más el valor especificado. Si proporcionas un número negativo, la partición basada en el tiempo nunca vencerá.
--time_partitioning_field
=FIELD- (Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la partición basada en el tiempo se habilita sin este valor, la tabla se particiona en función del tiempo de carga.
--view
- (Opcional) Crea una vista.
bq query
Ejecuta una consulta en BigQuery.
Sinopsis
bq query [options]
Marcas y argumentos
Puedes ejecutar este comando en los modos local y remoto. Para el modo remoto, consulta las marcas --remoteHost
, --remotePort
y --remoteUrl
, y la variable de entorno BQ_QUERY_REMOTE_EXECUTION
.
El comando bq query
usa los siguientes argumentos y marcas:
--project_id
=ID- Especifica el proyecto que se usará para ejecutar este comando.
--allow_large_results
- (Opcional) Usa tablas de destino de gran tamaño para las consultas de SQL heredado.
--append_table
- (Opcional) Une los datos cargados a los datos existentes en la tabla de destino.
--batch
- (Opcional) Ejecuta la consulta en modo por lotes.
--clustering_fields
=FIELDS- (Opcional) Especifica una lista separada por comas de hasta cuatro nombres de columna que especifiquen los campos que se usarán para el agrupamiento en clústeres de la tabla. Si especificas este valor con la partición, la tabla se particiona y, luego, cada partición se agrupa en clústeres mediante las columnas proporcionadas.
--create_if_needed
- (Opcional) Crea la tabla de destino si no existe.
--dataset_id
=ID- (Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destination_table
=TABLE- (Opcional) Especifica la tabla de destino en la que deseas escribir los resultados de la consulta.
--dry_run
- (Opcional) Valida la consulta sin ejecutarla.
--follow
={true|false}- (Opcional) Para hacer un seguimiento de los pasos de consulta individuales o de la secuencia de comandos en su totalidad, configúralo como verdadero. El valor predeterminado es false.
--help
o-h
- Muestra este texto de ayuda.
--location
=LOCATION- (Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--maximum_bytes_billed
=BYTES- (Opcional) Especifica el límite de los bytes facturados por la consulta.
--parameters
=PARAMETERS- (Opcional) Especifica los parámetros de consulta separados por comas en el formato [NAME]:[TYPE]:[VALUE]. Si el nombre está vacío, se crea un parámetro posicional. Puedes omitir [TYPE] para asumir un valor
STRING
con el formato name::value o ::value.NULL
genera un valor nulo. --query_dsn
=DSN- (Opcional) Especifica el DSN desde el que se leerá la consulta, en el formato HLQ.MEMBER o HLQ.PDS(MEMBER). Si no se proporciona
query_dsn
, se usa QUERY DD. --remoteHost
=HOST- (Opcional) Especifica la dirección IP del host remoto. Para ejecutar la consulta en modo remoto, configura la variable de entorno
BQ_QUERY_REMOTE_EXECUTION
. --remotePort
=PORT- (Opcional) Especifica el puerto remoto. El valor predeterminado es 51770. Para ejecutar la consulta en modo remoto, configura la variable de entorno
BQ_QUERY_REMOTE_EXECUTION
. --remoteUrl
=URL- (Opcional) Especifica la URL remota. Para ejecutar la consulta en modo remoto, configura la variable de entorno
BQ_QUERY_REMOTE_EXECUTION
. --replace
- (Opcional) Reemplaza la tabla de destino con los resultados de la consulta.
--report_row_limit
=LIMIT- (Opcional) Especifica la cantidad máxima de filas que se deben imprimir en el informe de auditoría. El valor predeterminado es 30.
--require_partition_filter
={true|false}- (Opcional) Para tener un filtro de partición para las consultas sobre la tabla proporcionada, configúralo como verdadero. El valor predeterminado es verdadero.
--schema_update_option
=OPTION- (Opcional) Actualiza el esquema de la tabla de destino cuando agregues datos. Usa los siguientes valores:
ALLOW_FIELD_ADDITION
: Permite que se agreguen campos nuevos.ALLOW_FIELD_RELAXATION
: Permite disminuir la rigurosidad de los camposREQUIRED
aNULLABLE
.
--split_sql
={true|false}- (Opcional) Para dividir la secuencia de comandos de SQL de entrada en consultas individuales, configúralo como verdadero. El valor predeterminado es verdadero.
--stats_table
=TABLE- (Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--sync
={true|false}- (Opcional) Ejecuta el comando en modo síncrono.
--synchronous_mode
={true|false}- (Opcional) Es una alternativa a
--sync
. --timeOutMinutes
=MINUTES- (Opcional) Especifica el tiempo de espera en minutos para una respuesta de trabajo de BigQuery. El valor predeterminado es de 240 minutos.
--time_partitioning_expiration
=SECONDS- (Opcional) Especifica cuándo se debe borrar una partición basada en el tiempo, en segundos. La fecha y hora de vencimiento se evalúan según la suma de la fecha de la partición en formato UTC más el valor especificado. Si proporcionas un número negativo, la partición basada en el tiempo nunca vencerá.
--time_partitioning_field
=FIELD- (Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la partición basada en el tiempo se habilita sin este valor, la tabla se particiona en función del tiempo de carga.
--time_partitioning_type
=TYPE- (Opcional) Habilita la partición basada en el tiempo en una tabla y establece el tipo de partición con uno de los siguientes valores:
DAY
,HOUR
,MONTH
oYEAR
. --use_cache
={true|false}- (Opcional) Para almacenar en caché los resultados de la consulta, configúralo como verdadero. El valor predeterminado es verdadero.
--use_legacy_sql
- (Opcional) Usa SQL heredado en lugar de SQL estándar.
cloud run job cancel
Cancela una ejecución de trabajo específica.
Sinopsis
cloud run job cancel [-h] --project=PROJECT --region=REGION EXECUTION
Marcas y argumentos
El comando cloud run job cancel
usa los siguientes argumentos y marcas:
- EXECUTION
- Especifica el nombre del ID de ejecución del trabajo de Cloud Run.
--help
o-h
- (Opcional) Muestra este mensaje de ayuda.
--project
=PROJECT- Especifica el ID del proyecto.
--region
=REGION- Especifica la región en la que se puede encontrar el recurso.
cloud run job execute
Ejecuta un trabajo específico.
Sinopsis
cloud run job execute [-h] [--async] [--tail-logs] [--wait] [--dump-execution-id=EXECUTION-ID] [--polling-interval=POLLINGINTERVAL] --project=PROJECT --region=REGION [--task-timeout=TIMEOUT] [--args=ARGS]... [--update-env-vars=ENVVARS]... JOB
Marcas y argumentos
El comando cloud run job execute
usa los siguientes argumentos y marcas:
- JOB
- Especifica el nombre del trabajo de Cloud Run que se ejecutará.
--args
=ARGS- (Opcional) Argumentos separados por comas que se pasan al comando que ejecuta la imagen del contenedor. Si se proporciona, se creará una ejecución con los valores de entrada.
--async
- (Opcional) Especifica esta marca si deseas mostrar el resultado de inmediato, sin esperar a que se complete la operación en curso.
--dump-execution-id
=EXECUTION-ID : DataPath- (Opcional) Especifica el archivo en el que se escribirá el ID de ejecución.
--help
o-h
- (Opcional) Muestra este mensaje de ayuda.
--polling-interval
=POLLINGINTERVAL- (opcional): Establece el intervalo de sondeo para mostrar registros cuando
--tail_logs
está habilitado. El valor predeterminado es 60 s. --project
=PROJECT- Especifica el ID del proyecto.
--region
=REGION- Especifica la región en la que se puede encontrar el recurso.
--tail-logs
- (Opcional) Si ejecutas el comando en modo síncrono especificando la marca
--tail_logs
, Mainframe Connector muestra los registros de progreso en la pantalla. Si especificas las marcas--tail_logs
y--async
, se mostrará un mensaje de error. Como Cloud Logging no admite el registro en tiempo real, el comando solo muestra los registros que ya se registraron en los registros. Como resultado, es posible que falten algunos registros cuando uses la marca--tail_logs
. Para ver los registros de trabajo completos, usa el comandocloud run job log
después de que finalice el trabajo. --task-timeout
=TIMEOUT- (Opcional) Muestra el tiempo máximo existente (fecha límite) durante el que se puede ejecutar un intento de tarea de trabajo. Si no se especifica, se usará el valor predeterminado del trabajo.
--update-env-vars
=ENVVARS- (Opcional) Es una lista de pares clave-valor que se establecerán como anulaciones de variables de entorno para la ejecución de un trabajo.
--wait
- (Opcional) Especifica esta marca si deseas que el comando espere hasta que se complete la ejecución antes de salir.
cloud run job log
Cómo mostrar registros de Cloud Run
Sinopsis
cloud run job log [-h] [--tail] [--log-filter=FILTER] [--polling-interval=POLLINGINTERVAL] --project=PROJECT --region=REGION [--timeout=TIMEOUT] EXECUTION_ID
Marcas y argumentos
El comando cloud run job log
usa los siguientes argumentos y marcas:
- EXECUTION_ID
- Es el nombre del ID de ejecución del trabajo de Cloud Run.
--help
o-h
- (Opcional) Muestra este mensaje de ayuda.
--log-filter
=FILTER- Expresión de filtro(opcional) que especifica las entradas de registro que se mostrarán.
--polling-interval
=POLLINGINTERVAL- (opcional): Establece el intervalo de sondeo para mostrar registros cuando
--tail_logs
está habilitado. El valor predeterminado es 60 s. --project
=PROJECT- Especifica el ID del proyecto.
--region
=REGION- Especifica la región en la que se puede encontrar el recurso.
--tail
- (Opcional) Muestra solo los registros nuevos a partir de ahora cuando se configura. Si no se establece, se mostrarán todos los registros de trabajo.
--timeout
=TIMEOUT- (Opcional) Tiempo de espera después del cual se cerrará el comando. Si no se establece, se agotará el tiempo de espera del comando cuando finalice la ejecución.
gsutil cp
Transcodifica datos de tu mainframe a un bucket de Cloud Storage.
Sinopsis
gsutil cp [options] gcsUri [dest]
Marcas y argumentos
Puedes usar este comando para los siguientes fines:
- Copia y transcodifica un archivo de un entorno de Mainframe o Linux a Cloud Storage.
- Fuente:
--inDSN
. Si no se proporciona, se especifica con DD INFILE. - Destino:
gcsUri
- Cómo copiar y transcodificar un archivo en Cloud Storage
- Fuente:
gcsUri
- Destino:
--destPath
- Copiar un archivo de Cloud Storage a un mainframe
- Fuente:
gcsUri
- Destino:
--destDSN
- Marcas relevantes:
--lrecl
,--blksize
,--recfm
,--noseek
. - Copia un archivo de Cloud Storage a un entorno de Linux.
- Fuente:
gcsUri
- Destino:
--destPath
--remote
, --remoteHost
, --remotePort
y --remoteUrl
.
El comando gsutil cp
usa los siguientes argumentos y marcas:
- dest
- (Opcional) Es la ruta de acceso local o el nombre de la fuente de datos (DSN). Formatos de ejemplo:
/path/to/file
, DATASET.MEMBER - gcsUri
- El URI de Cloud Storage en el formato
gs://bucket/path
. Puede representar la ubicación de origen y de destino, según el uso. --batchSize
=SIZE- (Opcional) Especifica los bloques que se usarán por lote. El valor predeterminado es 1,000.
--blksize
=SIZE- (Opcional) Especifica el tamaño del bloque del archivo que se copiará en el mainframe. Si
blksize=0
yrecfm
no son U, el sistema de mainframe determina el tamaño de bloque óptimo para el archivo. --cobDsn
=DSN- (Opcional) Especifica el DSN de libro de copia que deseas usar. Si no proporcionas un valor, el conector de Mainframe lee desde DD COPYBOOK.
--connections
=NUMBER- (Opcional) Especifica la cantidad de conexiones que se pueden realizar al receptor remoto. El valor predeterminado es 10.
--dataset_id
=ID- (Opcional) Especifica el conjunto de datos predeterminado que se usará con el comando. Puedes establecer el valor en [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destDSN
=OUTPUT- (Opcional) Especifica el DSN de destino.
--destPath
=OUTPUT- (Opcional) Especifica la ruta de destino.
--dry_run
- (Opcional) Prueba el análisis y la decodificación del libro de copia del archivo QSAM.
--encoding
=ENCODING- (Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar campos de caracteres. Cuando se especifica, este valor anula el valor predeterminado establecido por la variable de entorno
ENCODING
. --help
o-h
- Muestra este texto de ayuda.
--inDsn
=DSN- (Opcional) Especifica el DSN del archivo de entrada que deseas usar. Si no proporcionas un valor, Mainframe Connector lee desde DD INFILE.
--keepAliveTimeInSeconds
=SECONDS- (Opcional) Especifica el tiempo de espera de keepalive en segundos para un canal HTTP. El valor predeterminado es 480 segundos.
--location
=LOCATION- (Opcional) Especifica una ubicación regional o multirregional para ejecutar el comando. El valor predeterminado es EE.UU.
--lowerCaseColumnNames
- (Opcional) Crea nombres de columnas en minúsculas para los campos del libro de copia.
--lrecl
=LRECL- (Opcional) Especifica la longitud del registro lógico (lrecl) del archivo que deseas copiar en el mainframe.
--maxChunkSize
=SIZE- (Opcional) Especifica el tamaño máximo del fragmento por lote. Debes usar K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB o TB para describir el tamaño. El valor predeterminado es 128 MiB.
--max_error_pct
=PCT- (Opcional) Especifica el umbral de fallas del trabajo para los errores de decodificación de filas. Los valores válidos están dentro del rango [0.0, 1.0]. El valor predeterminado es 0.
--noseek
- (Opcional) Mejora el rendimiento de las descargas de Cloud Storage al mainframe.
--parallel
o-m
- (Opcional) Establece la cantidad de escritores simultáneos en 4.
--parallelism
o-p
=NUMBER- (Opcional) Especifica la cantidad de escritores simultáneos. El valor predeterminado es 4.
--parser_type
=TYPE- (Opcional). Establece el analizador de configuración en
legacy
,copybook
oauto
. El valor predeterminado esauto
. --preload_chunk_count
=NUMBER- (Opcional) Especifica la cantidad de fragmentos que se deben precargar desde los discos mientras todos los trabajadores están ocupados. El valor predeterminado es 2.
--project_id
=ID- (Opcional) Especifica el proyecto que se usará para ejecutar este comando.
--recfm
=REFCM- (Opcional) Especifica el recfm del archivo que quieres copiar en el mainframe. Puedes usar uno de los siguientes valores: F, FB, V, VB, U. El valor predeterminado es FB.
--remote
- (Opcional) Usa un decodificador remoto.
--remoteHost
=HOST- (Opcional) Especifica la dirección IP del host remoto. Para ejecutar Mainframe Connector en modo remoto, establece la marca
--remote
. --remotePort
=PORT- (Opcional) Especifica el puerto remoto que se usará. El valor predeterminado es 51770. Para ejecutar Mainframe Connector en modo remoto, establece la marca
--remote
. --remoteUrl
=URL- (Opcional) Especifica la URL remota. Para ejecutar Mainframe Connector en modo remoto, establece la marca
--remote
. --replace
- (Opcional) Borra el destino de forma recursiva antes de subirlo.
--stats_table
=TABLE- (Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--tfDSN
=DSN- (Opcional) Especifica las transformaciones de un DSN, DATASET.MEMBER o PDS(MBR).
--tfGCS
=GCS- (Opcional) Especifica el archivo de transformaciones de Cloud Storage.
--timeOutMinutes
=MINUTES- (Opcional) Especifica el tiempo de espera en minutos para una llamada gRPC remota. El valor predeterminado es de 90 minutos para Cloud Storage y de 50 minutos para un mainframe.
gsutil rm
Quita objetos de Cloud Storage.
Sinopsis
gsutil rm [-hR] URL...
Marcas y argumentos
El comando gsutil rm
usa los siguientes argumentos y marcas:
- URL
- Especifica la ubicación de Cloud Storage en el formato
gs://bucket/prefix
. --help
o-h
- (Opcional) Muestra este mensaje de ayuda.
-R
o-r
- (Opcional) Borra de forma recursiva el contenido de los directorios o objetos que coincidan con la expresión de ruta de acceso. No arroja un error si el directorio o el objeto no existen.
scp
Copiar archivos a Cloud Storage
Sinopsis
scp [options] [input] [output]
Marcas y argumentos
Para usar este comando, debes asegurarte de lo siguiente:
- Establece un valor de entrada único a través de
input
,--inDD
o--inDsn
. - Establece un valor de salida único a través de la salida o
--gcsOutUri
.
El comando scp
usa los siguientes argumentos y marcas:
- input
- (Opcional) Especifica el DD o DSN que se copiará. En su lugar, puedes usar
--inDD
o--inDsn
. - output
- (Opcional) Especifica el URI del resultado con el formato gs://[BUCKET]/[PREFIX]. En su lugar, puedes usar
--gcsOutUri
. --compress
- (Opcional) Comprime el resultado con gzip.
--count
o-n
=RECORDS- (Opcional) Especifica la cantidad de registros que se deben copiar. El valor predeterminado es ilimitado.
--encoding
=ENCODING- (Opcional) Especifica la codificación de caracteres de entrada. El valor predeterminado es CP037.
--gcsOutUri
=URI- (Opcional) Especifica el URI de Cloud Storage de destino de la copia del archivo.
--help
o-h
- Muestra este texto de ayuda.
--inDD
=INPUT- (Opcional) Especifica el archivo DD que se copiará. El valor predeterminado es DD INFILE.
--inDsn
=INPUT- (Opcional) Especifica el DSN que se copiará.
--noConvert
- (Opcional) Inhabilita la conversión de la entrada de caracteres a ASCII. La conversión de caracteres está habilitada de forma predeterminada.
systemreport
Proporciona un informe del sistema.
Sinopsis
systemreport [-h] [--available_security_providers] [--supported_ciphers]
Marcas y argumentos
El comando systemreport
usa los siguientes argumentos y marcas:
--available_security_providers
- (Opcional) Imprime los proveedores de seguridad admitidos.
--help
o-h
- (Opcional) Muestra este mensaje de ayuda.
--supported_ciphers
- (Opcional) Imprime los algoritmos de cifrado compatibles.
qsam decode
Decodifica los datos de QSAM.
Este comando decodifica los registros de un archivo QSAM al formato que especifiques con el argumento --output-format
. El archivo QSAM original se divide en fragmentos según el valor que especifiques con el argumento --max-chunk-size
. El resultado transcodificado se guarda en la ruta de destino como archivos ordenados alfabéticamente.
Sinopsis
qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE] --copybook=COPYBOOK [--max-error-percent=MAX_ERROR_PERCENT] [--output-format=FORMAT] [--parallelism=COUNT] [--preload-chunk-count=PRELOAD_CHUNK_COUNT] [--transcode-configuration=CONFIG] INPUT OUTPUT
Marcas y argumentos
El comando qsam decode
usa los siguientes argumentos y marcas:
- INPUT : DataPath
- Especifica la ruta de datos del archivo QSAM que deseas decodificar.
- OUTPUT : DataPath
- Especifica la ruta de acceso de datos del prefijo de salida. Todo el resultado se almacena con este prefijo.
--chunk-size
=CHUNK-SIZE : DataSize- (Opcional) Especifica la cantidad de datos de entrada que se incluirán en cada archivo de salida. El archivo de salida puede ser más grande o más pequeño. El tamaño del fragmento se redondea hacia abajo para cerrar el múltiplo de la longitud del registro lógico. El valor predeterminado es 128 MiB.
--copybook
=COPYBOOK : DataPath- Especifica la ruta de acceso de los datos del archivo que contiene el libro de copia.
--help
o-h
- (Opcional) Muestra este mensaje de ayuda.
--max-error-percent
=MAX_ERROR_PERCENT- (Opcional) Especifica el porcentaje de los registros procesados que pueden tener errores antes de que falle el proceso de transcodificación. El valor puede oscilar entre 0.0 (es decir, fallar si hay errores de transcodificación) y 1.0 (es decir, no fallar si hay errores de transcodificación). El valor predeterminado es 0.
--output-format
=FORMAT : TranscodeFormat- (Opcional) Especifica el formato del archivo de salida. El valor predeterminado es orc.
--parallelism
=COUNT- (Opcional) Especifica la cantidad de subprocesos de procesamiento. El valor debe ser igual o menor que la cantidad de núcleos disponibles. El valor predeterminado es 1.
--preload-chunk-count
=PRELOAD_CHUNK_COUNT- (Opcional) Especifica la cantidad de fragmentos de datos que se deben precargar cuando se procesan todos los subprocesos. El valor predeterminado es 1.
--replace
- (Opcional) Si se especifica, borra la ruta de acceso de salida de forma recursiva antes de escribir los resultados de la decodificación.
--transcode-configuration
=CONFIG : DataPath- (Opcional): Especifica el archivo que contiene la configuración de transcodificación. Para obtener más información sobre el formato de configuración del transcodificador, consulta Configuración del transcodificador.
qsam encode
Codifica los datos de QSAM.
Este comando toma datos de una fuente externa y los convierte en un archivo QSAM. La entrada se define según el valor que especifiques con el argumento --input-format
.
Sinopsis
qsam encode [-h] --copybook=COPYBOOK --input-format=FORMAT [--input-stream-count=COUNT] [--parallelism=COUNT] [--spillover=SPILLOVER] [--transcode-configuration=CONFIG] [--input-parameter=KEY=VALUE]... INPUT OUTPUT
Marcas y argumentos
El comando qsam encode
usa los siguientes argumentos y marcas:
- INPUT : DataPath
- Especifica la ruta de acceso a los datos del archivo de entrada que deseas codificar en un archivo QSAM.
- OUTPUT : DataPath
- Especifica la ruta de acceso de datos del archivo QSAM al que deseas codificar.
--copybook
=COPYBOOK : DataPath- Especifica la ruta de acceso de los datos del archivo que contiene el libro de copia.
--help
o-h
- (Opcional) Muestra este mensaje de ayuda.
--input-format
=FORMAT : TranscodeInputFormat- Especifica el formato de la entrada.
--input-parameter
=KEY=VALUE- (Opcional) Especifica los parámetros para configurar la entrada. Son específicas del formato de entrada.
--input-stream-count
=COUNT- (Opcional) Especifica la cantidad de flujos de entrada. Este es un valor máximo, en realidad, se pueden usar menos transmisiones. El valor predeterminado es 1.
--parallelism
=COUNT- (Opcional) Especifica la cantidad de subprocesos de procesamiento. El valor debe ser igual o menor que la cantidad de núcleos disponibles. El valor predeterminado es 1.
--spillover
=SPILLOVER : DataPath- (Opcional) Especifica una ruta de datos para el conjunto de datos de desbordamiento. Si no especificas esta información, se descartarán los detalles del error.
--transcode-configuration
=CONFIG : DataPath- (Opcional): Especifica el archivo que contiene la configuración de transcodificación. Para obtener más información sobre el formato de configuración del transcodificador, consulta Configuración del transcodificador.
Tipos de parámetros
Estos son tipos comunes que se usan en los comandos de Mainframe Connector.
DataPath
DataPath es una cadena que representa una entrada o una salida. Cada tipo de DataPath
tiene su propio prefijo, como se indica a continuación:
DD:
: Las rutas de acceso a los datos con este prefijo apuntan a un DD cuando se ejecutan en un trabajo de JCL. Ejemplo:DD:DDNAME
.DSN:
: Las rutas de datos con este prefijo apuntan a un DSN cuando se ejecutan en un mainframe IBM. Ejemplo:DSN:HQ.FOO.BAR
.file:
: Las rutas de acceso a los datos con este prefijo apuntan a un archivo Unix. Para especificar la longitud del registro lógico (LRECL), agrega#lrecl
antes de:
. Ejemplos:file:/path/to/file
,file#80:/path/to/file
.gs://
: Las rutas de acceso a los datos con este prefijo apuntan a un archivo en Cloud Storage. Ejemplo:gs://my_bucket/my/file.txt
DataSize
DataSize
representa un tamaño en forma de un importe y una unidad de medida, por ejemplo, 5 MiB. Puedes usar espacios en blanco entre el importe y la magnitud. El análisis del tamaño de los datos no distingue mayúsculas de minúsculas, por lo que puedes especificar unidades de medida en mayúsculas y minúsculas.
Puedes especificar el valor en los siguientes formatos:
- Formato Java: b/k/m/g/t, para byte, kibibyte, mebibyte, gibibyte y tebibyte, respectivamente.
- Formato internacional: KiB/MiB/GiB/TiB, para kibibyte, mebibyte, gibibyte y tebibyte, respectivamente.
- Formato métrico: b/kb/mb/gb/tb, para kilobytes, megabytes, gigabytes y terabytes, respectivamente.
TranscodeFormat
TranscodeFormat
representa el formato que se usará durante el proceso de transcodificación.
Estos son los valores válidos:
ORC
:ORC
es un formato de archivo de columnas autodescriptivo y consciente del tipo.
TranscodeInputFormat
Es el formato que se usará durante la transcodificación.
Estos son los valores válidos:
BIGQUERY
: Extrae datos directamente de BigQuery.INPUT
debe ser una ruta de acceso a un archivo de consulta.
Los parámetros de entrada disponibles son los siguientes:
keep_order
: Úsalo si el orden exacto de los registros es importante. Ten en cuenta que esto limitará el flujo de entrada.project_id
: Es el ID del proyecto que se usará cuando se ejecute la tarea.location
: Es la ubicación que se usará cuando se ejecute el trabajo.