Referência da linha de comando do Mainframe Connector

Este documento descreve a sintaxe, os comandos, as flags e os argumentos da ferramenta de linha de comando do Mainframe Connector.

Comandos

bq export

Exportar uma tabela do BigQuery.

Sinopse

bq export [options]

Sinalizações e argumentos

Para executar esse comando, você precisa fornecer uma consulta SQL (consulte as flags --sql e query_dsn) e um copybook (consulte a flag cobDsn). É possível executar esse comando no modo local, remoto e independente. Para o modo remoto, consulte as flags --bucket, --remoteHost, --remotePort e --remoteUrl. O comando bq export usa as seguintes flags e argumentos:

--project_id=ID
Especifique o projeto a ser usado para executar esse comando.
--allow_large_results
(Opcional) Use tamanhos grandes de tabela de destino para consultas SQL legadas.
--batch
(Opcional) Execute a consulta no modo em lote.
--bucket=BUCKET
(Opcional) Grave a saída do comando em um local dentro de um bucket do Cloud Storage. Os arquivos de saída são gravados no caminho de destino gs://BUCKET/EXPORT/. Esse argumento é obrigatório para o modo remoto.
--cobDsn=DSN
(Opcional) Especifique o DSN do copybook que você quer usar. Se você não fornecer um valor, o Mainframe Connector vai ler de DD COPYBOOK.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] não estiver presente, o projeto padrão será usado.
--destination_table=TABLE
(Opcional) Especifique a tabela de destino em que você quer gravar os resultados da consulta.
--dry_run
(Opcional) Valide a consulta sem executá-la.
--encoding=ENCODING
(opcional) Especifique o conjunto de caracteres a ser usado para codificar e decodificar campos de caracteres. Quando fornecido, esse valor substitui o padrão definido pela variável de ambiente ENCODING.
--exporter_thread_count=COUNT
(Opcional) Defina o número de linhas de execução do exportador. O valor padrão é 4.
--help ou -h
Mostra este texto de ajuda.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifique o tempo limite de atividade em segundos para um canal HTTP. O valor padrão é de 480 segundos.
--location=LOCATION
(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é "US".
--max_read_queue=NUMBER
(Opcional) Defina o tamanho máximo da fila de registros Avro. O valor padrão é o dobro do número de linhas de execução.
--max_read_streams=NUMBER
(Opcional) Defina o número máximo de linhas de execução de streams de leitura. O valor padrão é 4.
--maximum_bytes_billed=BYTES
(Opcional) Limite os bytes faturados para a consulta.
--order_response
(Opcional) Mantenha a resposta ordenada conforme retornado do BigQuery.
--outDD=OUTPUT
(Opcional) Grave os registros de saída no conjunto de dados especificado no z/OS. O valor padrão é DD OUTFILE.
--parser_type=TYPE
(Opcional) Defina o analisador de configuração como legacy, copybook ou auto. O valor padrão é auto.
--query_dsn=DSN
(Opcional) Leia uma consulta do conjunto de dados especificado no z/OS. Use o formato HLQ.MEMBER ou HLQ.PDS(MEMBER). Se você não fornecer um valor, o Mainframe Connector vai ler de DD QUERY.
--remoteHost=HOST
(Opcional) Especifique o endereço IP do host remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --bucket.
--remotePort=PORT
(Opcional) Especifique a porta remota. O valor padrão é 51770. Para executar o Mainframe Connector no modo remoto, defina a flag --bucket.
--remoteUrl=URL
(Opcional) Especifique o URL remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --bucket.
--run_mode=MODE
(Opcional) Selecione a implementação da exportação. Use uma das seguintes opções:
  • directstorage: o arquivo binário é salvo localmente (padrão).
  • gcsoutput: o arquivo binário é salvo no Cloud Storage.
--sql=SQL
(Opcional) Especifique a consulta SQL do BigQuery a ser executada.
--stats_table=TABLE
(Opcional) Especifique a tabela em que as estatísticas serão inseridas.
--timeOutMinutes=MINUTES
(Opcional) Defina o tempo limite em minutos para a chamada grpc remota. O valor padrão é 90 minutos.
--transcoding_buffer=BUFFER
(Opcional) Define o tamanho do buffer de transcodificação por linha de execução, em MB. O valor padrão é 20.
--use_cache={true|false}
(Opcional) Para armazenar os resultados da consulta em cache, defina como "true".
--use_legacy_sql
(Opcional) Use o SQL legado em vez do SQL padrão.

bq load

Carregar dados em uma tabela do BigQuery.

Sinopse

bq load [options] tablespec path

Sinalizações e argumentos

O comando bq load usa as seguintes sinalizações e argumentos:

path
Especifique uma lista separada por vírgulas de URIs de arquivos de origem. O formato compatível é gs://bucket/path. Exemplo: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.
tablespec
Especifique a tabela de destino dos dados. O formato compatível é [PROJECT]:[DATASET].[TABLE]
--project_id=ID
Especifique o projeto a ser usado para executar esse comando.
--allow_jagged_rows
(Opcional) Permite a falta de colunas opcionais à direita nos dados CSV.
--allow_quoted_newlines
(Opcional) Permite novas linhas entre aspas em dados CSV.
--append_table
(Opcional) Anexe os dados carregados aos dados atuais na tabela de destino.
--autodetect
(Opcional) Ative a detecção automática de esquema para dados CSV e JSON.
--clustering_fields=FIELDS
(Opcional) Se especificada, uma lista de colunas separada por vírgulas é usada para agrupar a tabela de destino em uma consulta. Essa flag precisa ser usada com as flags de particionamento de tempo para criar uma tabela particionada por tempo de processamento ou uma tabela particionada em uma coluna DATE ou TIMESTAMP. Quando especificada, a tabela é particionada e, em seguida, armazenada em cluster usando as colunas fornecidas.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] não estiver presente, o projeto padrão será usado.
--debug_mode={true|false}
(Opcional) Defina o nível de geração de registros como "debug".
--destination_kms_key=KEY
(Opcional) A chave do Cloud KMS para criptografia dos dados da tabela de destino.
--encoding ou -E=ENCODING
(opcional) Especifique o conjunto de caracteres a ser usado para codificar e decodificar campos de caracteres. Quando especificado, esse valor substitui o padrão definido pela variável de ambiente ENCODING.
--field_delimiter ou -F=FIELD
(Opcional) Especifique o delimitador de coluna nos dados CSV. Use \t ou tab para delimitadores de tabulação.
--help ou -h
Mostra este texto de ajuda.
--ignore_unknown_values=VALUES
(Opcional) Ignora valores extras não reconhecidos em dados CSV ou JSON.
--location=LOCATION
(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é "US".
--max_bad_records=RECORDS
(Opcional) Defina o número máximo de registros inválidos permitidos antes da falha do job. No máximo, cinco erros de qualquer tipo são retornados, seja qual for o valor de --max_bad_records. Essa flag se aplica apenas ao carregamento de dados CSV, JSON e Google Sheets. O valor padrão é 0.
--max_polling_interval_ms=MILLISECONDS
(Opcional) O tempo máximo de espera de um job do BigQuery.
--null_marker=MARKER
(Opcional) Especifique uma string personalizada que represente um valor NULL nos dados CSV.
--projection_fields=FIELDS
(Opcional) Se você definir --source_format como DATASTORE_BACKUP, essa flag vai indicar as propriedades da entidade a serem carregadas de uma exportação do Datastore. Especifique os nomes das propriedades em uma lista separada por vírgulas. Nomes de propriedades diferenciam maiúsculas e minúsculas e precisam se referir às propriedades de nível superior. Também é possível usar essa flag com exportações do Firestore.
--quote=QUOTE
(Opcional) Especifique um caractere de aspas ao redor dos campos nos dados CSV. É possível especificar qualquer caractere de um byte como argumento. O valor padrão é uma aspa dupla ("). Para especificar que não há caracteres de aspas, use uma string vazia.
--replace
(Opcional) Substitua os dados atuais na tabela de destino pelos dados carregados.
--require_partition_filter={true|false}
(Opcional) Para ter um filtro de partição para consultas na tabela fornecida, defina como "true". Esse argumento só se aplica a tabelas particionadas e se a flag --time_partitioning_field estiver definida como "true". O valor padrão é falso.
--schema=SCHEMA
(Opcional) Defina o esquema da tabela de destino. Especifique o valor como uma lista separada por vírgulas de definições de coluna no formato [FIELD]:[DATA_TYPE]. Exemplo: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(Opcional) Ao anexar dados a uma tabela (em um job de carregamento ou de consulta) ou ao substituir uma partição de tabela, especifique como atualizar o esquema da tabela de destino. Use um dos seguintes valores:
  • ALLOW_FIELD_ADDITION: permite que novos campos sejam adicionados.
  • ALLOW_FIELD_RELAXATION: permite o relaxamento de campos REQUIRED para NULLABLE.
Repita essa flag para especificar várias opções de atualização de esquema.
--skip_leading_rows=NUMBER
(Opcional) Especifique o número de linhas a serem ignoradas no início do arquivo de origem. O valor padrão é 0.
--source_format=FORMAT
(Opcional) Especifique o formato dos dados de origem. É possível usar um dos seguintes valores: CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (use esse valor para o Filestore), PARQUET, ORC. O valor padrão é ORC.
--stats_table=TABLE
(Opcional) Especifique a tabela em que as estatísticas serão inseridas.
--time_partitioning_expiration=SECONDS
(Opcional) Especifique quando uma partição baseada em tempo precisa ser excluída, em segundos. O prazo de validade é a soma da data UTC da partição com o valor especificado. Se você fornecer um número negativo, a partição baseada em tempo nunca vai expirar.
--time_partitioning_field=FIELD
(opcional): especifique o campo usado para determinar como criar uma partição baseada em tempo. Se o particionamento baseado em tempo estiver ativado sem esse valor, a tabela será particionada com base no tempo de carregamento.
--time_partitioning_type=TYPE
(Opcional) Ative o particionamento baseado em tempo em uma tabela e defina o tipo de partição usando o seguinte valor: DAY.
--use_avro_logical_types={true|false}
(Opcional) Se --source_format estiver definido como AVRO, defina essa flag como "true" para converter os tipos lógicos nos tipos correspondentes (como TIMESTAMP), em vez de usar apenas os tipos brutos (como INTEGER). O valor padrão é "false".

bq mk

Crie recursos do BigQuery, como tabelas integradas ou externas, que precisam de particionamento e clustering. Também é possível usar o comando bq mk para gerar uma tabela do BigQuery diretamente da análise de copybooks COBOL usando a flag --schema_from_copybook.

Sinopse

bq mk [options]

Sinalizações e argumentos

O comando bq mk usa as seguintes sinalizações e argumentos:

--project_id=ID
Especifique o projeto a ser usado para executar esse comando.
--tablespec=TABLE
Especifique a tabela de destino dos dados. O formato compatível é [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(Opcional) Especifique uma lista separada por vírgulas de até quatro nomes de colunas que especificam os campos a serem usados para o clustering de tabelas.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] não estiver presente, o projeto padrão será usado.
--description=DESCRIPTION
(Opcional) Forneça uma descrição para o conjunto de dados ou a tabela.
--dry_run
(Opcional) Imprima a instrução de linguagem de definição de dados (DDL) da tabela.
--encoding=ENCODING
(opcional) Especifique o conjunto de caracteres a ser usado para codificar e decodificar campos de caracteres. Quando especificado, esse valor substitui o padrão definido pela variável de ambiente ENCODING.
--expiration=EXPIRATION
(Opcional) Especifique a vida útil da tabela. Se você não especificar um valor, o BigQuery criará a tabela com a vida útil padrão do conjunto de dados ou ela não vai expirar.
--external_table_definition ou -e=TABLE
(Opcional) Especifique um nome e uma definição de esquema para criar uma tabela externa. Exemplo: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help ou -h
Mostra este texto de ajuda.
--location=LOCATION
(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é "US".
--parser_type=TYPE
(Opcional) Defina o analisador de configuração como legacy, copybook ou auto. O valor padrão é auto.
--require_partition_filter={true|false}
(Opcional) Para ter um filtro de partição para consultas na tabela fornecida, defina como "true". Esse argumento só se aplica a tabelas particionadas e se a flag --time_partitioning_field estiver definida como "true". O valor padrão é "true".
--schema=SCHEMA
(Opcional) Especifique o caminho para um arquivo de esquema JSON local ou uma lista separada por vírgulas de definições de coluna no formato FIELD:DATA_TYPE, FIELD:DATA_TYPE e assim por diante.
--schema_from_copybook=SCHEMA
(Opcional) Gere o esquema de um copybook.
--table ou -t=TABLE
(Opcional) Crie uma tabela.
--time_partitioning_expiration=SECONDS
(Opcional) Especifique quando uma partição baseada em tempo precisa ser excluída, em segundos. O prazo de validade é a soma da data UTC da partição com o valor especificado. Se você fornecer um número negativo, a partição baseada em tempo nunca vai expirar.
--time_partitioning_field=FIELD
(opcional): especifique o campo usado para determinar como criar uma partição baseada em tempo. Se o particionamento baseado em tempo estiver ativado sem esse valor, a tabela será particionada com base no tempo de carregamento.
--view
(Opcional) Crie uma visualização.

bq query

Execute uma consulta do BigQuery.

Sinopse

bq query [options]

Sinalizações e argumentos

É possível executar esse comando nos modos local e remoto. Para o modo remoto, consulte as flags --remoteHost, --remotePort e --remoteUrl e a variável de ambiente BQ_QUERY_REMOTE_EXECUTION. O comando bq query usa as seguintes flags e argumentos:

--project_id=ID
Especifique o projeto a ser usado para executar esse comando.
--allow_large_results
(Opcional) Use tamanhos grandes de tabela de destino para consultas SQL legadas.
--append_table
(Opcional) Anexe os dados carregados aos dados atuais na tabela de destino.
--batch
(Opcional) Execute a consulta no modo em lote.
--clustering_fields=FIELDS
(Opcional) Especifique uma lista separada por vírgulas de até quatro nomes de colunas que especificam os campos a serem usados para o clustering de tabelas. Se você especificar esse valor com particionamento, a tabela será particionada e, em seguida, cada partição será agrupada usando as colunas fornecidas.
--create_if_needed
(Opcional) Crie a tabela de destino se ela não existir.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] não estiver presente, o projeto padrão será usado.
--destination_table=TABLE
(Opcional) Especifique a tabela de destino em que você quer gravar os resultados da consulta.
--dry_run
(Opcional) Valide a consulta sem executá-la.
--follow={true|false}
(Opcional) Para rastrear etapas de consulta individuais ou o script como um todo, defina como "true". O valor padrão é falso.
--help ou -h
Mostra este texto de ajuda.
--location=LOCATION
(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é "US".
--maximum_bytes_billed=BYTES
(Opcional) Especifique o limite de bytes faturados para a consulta.
--parameters=PARAMETERS
(Opcional) Especifique parâmetros de consulta separados por vírgulas no formato [NAME]:[TYPE]:[VALUE]. Um nome vazio gera um parâmetro de posição. É possível omitir [TYPE] para pressupor um valor STRING no formato name::value ou ::value. NULL produz um valor nulo.
--query_dsn=DSN
(Opcional) Especifique o DSN para ler a consulta, no formato HLQ.MEMBER ou HLQ.PDS(MEMBER). Se query_dsn não for fornecido, QUERY DD será usado.
--remoteHost=HOST
(Opcional) Especifique o endereço IP do host remoto. Para executar a consulta no modo remoto, defina a variável de ambiente BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(Opcional) Especifique a porta remota. O valor padrão é 51770. Para executar a consulta no modo remoto, defina a variável de ambiente BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(Opcional) Especifique o URL remoto. Para executar a consulta no modo remoto, defina a variável de ambiente BQ_QUERY_REMOTE_EXECUTION.
--replace
(Opcional) Substitua a tabela de destino pelos resultados da consulta.
--report_row_limit=LIMIT
(Opcional) Especifique o número máximo de linhas a serem impressas no relatório de auditoria. O valor padrão é 30.
--require_partition_filter={true|false}
(Opcional) Para ter um filtro de partição para consultas na tabela fornecida, defina como "true". O valor padrão é "true".
--schema_update_option=OPTION
(Opcional) Atualize o esquema da tabela de destino ao anexar dados. Use os valores a seguir:
  • ALLOW_FIELD_ADDITION: permite que novos campos sejam adicionados.
  • ALLOW_FIELD_RELAXATION: permite o relaxamento de campos REQUIRED para NULLABLE.
--split_sql={true|false}
(Opcional) Defina como "true" para dividir o script SQL de entrada em consultas individuais. O valor padrão é "true".
--stats_table=TABLE
(Opcional) Especifique a tabela em que as estatísticas serão inseridas.
--sync={true|false}
(Opcional) Execute o comando no modo síncrono.
--synchronous_mode={true|false}
(Opcional) Uma alternativa para --sync.
--timeOutMinutes=MINUTES
(Opcional) Especifique o tempo limite em minutos para uma resposta de job do BigQuery. O valor padrão é de 240 minutos.
--time_partitioning_expiration=SECONDS
(Opcional) Especifique quando uma partição baseada em tempo precisa ser excluída, em segundos. O prazo de validade é a soma da data UTC da partição com o valor especificado. Se você fornecer um número negativo, a partição baseada em tempo nunca vai expirar.
--time_partitioning_field=FIELD
(opcional): especifique o campo usado para determinar como criar uma partição baseada em tempo. Se o particionamento baseado em tempo estiver ativado sem esse valor, a tabela será particionada com base no tempo de carregamento.
--time_partitioning_type=TYPE
(Opcional) Ative o particionamento baseado em tempo em uma tabela e defina o tipo de partição usando um dos seguintes valores: DAY, HOUR, MONTH, YEAR.
--use_cache={true|false}
(Opcional) Para armazenar os resultados da consulta em cache, defina como "true". O valor padrão é "true".
--use_legacy_sql
(Opcional) Use o SQL legado em vez do SQL padrão.

cloud run job cancel

Cancela uma execução de job específica.

Sinopse

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Sinalizações e argumentos

O comando cloud run job cancel usa as seguintes sinalizações e argumentos:

EXECUTION
Especifique o nome do ID de execução do job do Cloud Run.
--help ou -h
(Opcional) Mostra esta mensagem de ajuda.
--project=PROJECT
Especifique o ID do projeto.
--region=REGION
: especifique a região em que o recurso pode ser encontrado.

cloud run job execute

Executar um job específico.

Sinopse

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Sinalizações e argumentos

O comando cloud run job execute usa as seguintes sinalizações e argumentos:

JOB
Especifique o nome do job do Cloud Run a ser executado.
--args=ARGS
(opcional): argumentos separados por vírgula transmitidos ao comando executado pela imagem do contêiner. Se fornecidos, uma execução será criada com os valores de entrada.
--async
(Opcional) Especifique essa flag se quiser retornar imediatamente, sem aguardar a conclusão da operação em andamento.
--dump-execution-id=EXECUTION-ID : DataPath
(Opcional) Especifique o arquivo em que o ID de execução será gravado.
--help ou -h
(Opcional) Mostra esta mensagem de ajuda.
--polling-interval=POLLINGINTERVAL
(Opcional) Define o intervalo de polling para mostrar registros quando --tail_logs está ativado. O valor padrão é 60 segundos.
--project=PROJECT
Especifique o ID do projeto.
--region=REGION
Especifique a região em que o recurso pode ser encontrado.
--tail-logs
(Opcional) Se você executar o comando no modo síncrono especificando a flag --tail_logs, o Mainframe Connector vai mostrar os registros de progresso na tela. Se você especificar as flags --tail_logs e --async, uma mensagem de erro será exibida. Como o Cloud Logging não oferece suporte ao registro em tempo real, o comando só mostra os registros que já foram gravados. Por isso, alguns registros podem estar faltando quando você usa a flag --tail_logs. Para conferir os registros completos do job, use o comando cloud run job log depois que o job for concluído.
--task-timeout=TIMEOUT
(Opcional) Mostra o tempo máximo (prazo) que uma tentativa de tarefa de job pode ser executada. Se não for especificado, o padrão do job será usado.
--update-env-vars=ENVVARS
(Opcional) Lista de pares de chave-valor a serem definidos como substituições de variáveis de ambiente para a execução de um job.
--wait
(Opcional) Especifique essa flag se quiser que o comando aguarde até que a execução seja concluída antes de sair.

cloud run job log

Mostrar registros do Cloud Run

Sinopse

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

Sinalizações e argumentos

O comando cloud run job log usa as seguintes sinalizações e argumentos:

EXECUTION_ID
O nome do ID de execução do job do Cloud Run.
--help ou -h
(Opcional) Mostra esta mensagem de ajuda.
--log-filter=FILTER
(Opcional) Expressão de filtro que especifica as entradas de registro a serem retornadas.
--polling-interval=POLLINGINTERVAL
(Opcional) Define o intervalo de polling para mostrar registros quando --tail_logs está ativado. O valor padrão é 60 segundos.
--project=PROJECT
Especifique o ID do projeto.
--region=REGION
Especifique a região em que o recurso pode ser encontrado.
--tail
(Opcional) Mostra apenas os novos registros a partir de agora quando definido. Se não for definido, todos os registros de jobs serão mostrados.
--timeout=TIMEOUT
(Opcional) Tempo limite após o qual o comando será encerrado. Se não for definido, o comando vai atingir o tempo limite quando a execução for encerrada.

copy text

Copie o conjunto de dados de texto.

Sinopse

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

Sinalizações e argumentos

O comando copy text usa as seguintes sinalizações e argumentos:

INPUT : DataPath
Especifique o caminho dos dados do arquivo de entrada que você quer copiar.
OUTPUT : DataPath
Especifique o caminho dos dados do arquivo de saída que você quer copiar e codificar.
--buffer-size=BUFFERSIZE : DataSize
(Opcional) Indique o tamanho da leitura de memória para cada lote. O valor padrão é 64 MiB.
--help ou -h
(Opcional) Mostra esta mensagem de ajuda.

gsutil cp

Transcodifique os dados do mainframe para um bucket do Cloud Storage.

Sinopse

gsutil cp [options] gcsUri [dest]

Sinalizações e argumentos

É possível usar esse comando para as seguintes finalidades:

  • Copiar e transcodificar um arquivo de um mainframe ou um ambiente Linux para o Cloud Storage.
    • Origem: --inDSN. Se não for fornecido, será especificado por DD INFILE.
    • Destino: gcsUri
  • Copiar e transcodificar um arquivo no Cloud Storage
    • Origem: gcsUri
    • Destino: --destPath
  • Copie um arquivo do Cloud Storage para um mainframe.
    • Origem: gcsUri
    • Destino: --destDSN
    • Flags relevantes: --lrecl, --blksize, --recfm, --noseek.
  • Copie um arquivo do Cloud Storage para um ambiente Linux.
    • Origem: gcsUri
    • Destino: --destPath
Esse comando pode ser executado nos modos local, remoto e independente. Para o modo remoto, consulte as flags --remote, --remoteHost, --remotePort e --remoteUrl. O comando gsutil cp usa as seguintes flags e argumentos:

dest
(Opcional) O caminho local ou o nome da fonte de dados (DSN). Exemplos de formatos: /path/to/file, DATASET.MEMBER
gcsUri
O URI do Cloud Storage no formato gs://bucket/path. Pode representar o local de origem e de destino, dependendo do uso.
--batchSize=SIZE
(Opcional) Especifique os blocos a serem usados por lote. O valor padrão é 1000.
--blksize=SIZE
(Opcional) Especifique o tamanho do bloco do arquivo a ser copiado para o mainframe. Se blksize=0 e recfm não forem U, o sistema de mainframe vai determinar o tamanho ideal do bloco para o arquivo.
--cobDsn=DSN
(Opcional) Especifique o DSN do copybook que você quer usar. Se você não fornecer um valor, o Mainframe Connector vai ler de DD COPYBOOK.
--connections=NUMBER
(Opcional) Especifique o número de conexões que podem ser feitas com o receptor remoto. O valor padrão é 10.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] não estiver presente, o projeto padrão será usado.
--destDSN=OUTPUT
(Opcional) Especifique o DSN de destino.
--destPath=OUTPUT
(Opcional) Especifique o caminho de destino.
--dry_run
(Opcional) Teste a análise e a decodificação do copybook do arquivo QSAM.
--encoding=ENCODING
(opcional) Especifique o conjunto de caracteres a ser usado para codificar e decodificar campos de caracteres. Quando especificado, esse valor substitui o padrão definido pela variável de ambiente ENCODING.
--help ou -h
Mostra este texto de ajuda.
--inDsn=DSN
(Opcional) Especifique o DSN de entrada que você quer usar. Se você não fornecer um valor, o Mainframe Connector vai ler de DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifique o tempo limite de atividade em segundos para um canal HTTP. O valor padrão é de 480 segundos.
--location=LOCATION
(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é "US".
--lowerCaseColumnNames
(Opcional) Crie nomes de colunas em minúsculas para campos de copybook.
--lrecl=LRECL
(Opcional) Especifique o comprimento do registro lógico (lrecl) do arquivo que você quer copiar para o mainframe.
--maxChunkSize=SIZE
(Opcional) Especifique o tamanho máximo do bloco por lote. Use K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB ou TB para descrever o tamanho. O valor padrão é 128 MiB.
--max_error_pct=PCT
(Opcional) Especifique o limite de falha do job para erros de decodificação de linha. Os valores válidos estão no intervalo [0,0, 1,0]. O valor padrão é 0.
--noseek
(Opcional) Melhore o desempenho do download do Cloud Storage para o mainframe.
--parallel ou -m
(Opcional) Defina o número de gravadores simultâneos como 4.
--parallelism ou -p=NUMBER
(Opcional) Especifique o número de gravadores simultâneos. O valor padrão é 4.
--parser_type=TYPE
(Opcional) Defina o analisador de configuração como legacy, copybook ou auto. O valor padrão é auto.
--preload_chunk_count=NUMBER
(Opcional) Especifique o número de partes a serem pré-carregadas dos discos enquanto todos os workers estão ocupados. O valor padrão é 2.
--project_id=ID
(Opcional) Especifique o projeto a ser usado para executar esse comando.
--recfm=REFCM
(Opcional) Especifique o recfm do arquivo que você quer copiar para o mainframe. Você pode usar um dos seguintes valores: F, FB, V, VB, U. O valor padrão é FB.
--remote
(Opcional) Use um decodificador remoto.
--remoteHost=HOST
(Opcional) Especifique o endereço IP do host remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --remote.
--remotePort=PORT
(Opcional) Especifique a porta remota a ser usada. O valor padrão é 51770. Para executar o Mainframe Connector no modo remoto, defina a flag --remote.
--remoteUrl=URL
(Opcional) Especifique o URL remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --remote.
--replace
(Opcional) Exclua o destino de forma recursiva antes de fazer o upload.
--stats_table=TABLE
(Opcional) Especifique a tabela em que as estatísticas serão inseridas.
--tfDSN=DSN
(Opcional) Especifique as transformações de um DSN, DATASET.MEMBER ou PDS(MBR).
--tfGCS=GCS
(Opcional) Especifique o arquivo de transformações do Cloud Storage.
--timeOutMinutes=MINUTES
(Opcional) Especifique o tempo limite em minutos para uma chamada grpc remota. O valor padrão é de 90 minutos para o Cloud Storage e 50 minutos para um mainframe.

gsutil rm

Remova objetos do Cloud Storage.

Sinopse

gsutil rm [-hR] URL...

Sinalizações e argumentos

O comando gsutil rm usa as seguintes sinalizações e argumentos:

URL
Especifique o local do Cloud Storage no formato gs://bucket/prefix.
--help ou -h
(Opcional) Mostra esta mensagem de ajuda.
-R ou -r
(Opcional) Exclua recursivamente o conteúdo de diretórios ou objetos que correspondem à expressão de caminho. Não gera um erro se o diretório ou objeto não existir.

pubsub topics publish

Publicar uma mensagem em um tópico do Pub/Sub.

Esse comando permite enviar dados de mensagens diretamente usando a flag --data ou por um arquivo usando a flag --data-path. Também é possível incluir atributos, uma chave de ordenação e aplicar propriedades de mensagem. Além disso, é possível aplicar substituições dinâmicas de strings ao conteúdo da mensagem.

Sinopse

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

Sinalizações e argumentos

O comando pubsub topics publish usa as seguintes sinalizações e argumentos:

TOPIC
Especifique o nome do tópico no formato projects/{project}/topics/{topic}.
--attributes=NAME=VALUE
(Opcional) Especifique uma lista de atributos separados por vírgulas. Cada ATTRIBUTE tem o formato name=value. É possível especificar até 100 atributos. Para uma lista completa de diretrizes de atributos, consulte Usar atributos para publicar uma mensagem.
--data-path=DATAPATH : DataPath
(Opcional) Especifique o caminho para o arquivo que contém os dados da mensagem. É necessário definir uma das flags --data ou --data-path, mas não ambas. Para mais informações sobre formatação de mensagens e limites de tamanho, consulte Publicar mensagens em tópicos.
--data=DATA
(Opcional) Especifique o corpo da mensagem que você quer publicar no nome do tópico. É necessário definir uma das flags --data ou --data-path, mas não ambas. Para mais informações sobre formatação de mensagens e limites de tamanho, consulte Publicar mensagens em tópicos.
--help ou -h
(Opcional) Mostra esta mensagem de ajuda.
--message-property=KEY=VALUE
(Opcional) Especifique as propriedades a serem aplicadas à mensagem. Uma chave de propriedade válida é encoding. Essa chave de propriedade especifica a codificação de caracteres a ser usada na string de mensagem. A string de mensagem é convertida em bytes usando essa codificação antes de ser enviada ao tópico do Pub/Sub. Para uma lista de valores de codificação compatíveis, consulte codificações compatíveis. O padrão é UTF-8.
--ordering-key=ORDERING-KEY
(Opcional) Especifique a chave para a entrega ordenada de mensagens aos assinantes. Todas as mensagens com a mesma chave de ordenação são enviadas aos assinantes na ordem em que o Pub/Sub as recebe.
--substitution=KEY=VALUE

(Opcional) Usando --data ou --data-path, especifique os pares de chave-valor que serão usados para a substituição dinâmica nos dados de mensagens do Pub/Sub. O Mainframe Connector verifica os dados da mensagem em busca de marcadores de posição e os substitui pelos valores correspondentes. Defina os marcadores de posição nos dados usando a sintaxe ${KEY}, por exemplo, ${NAME}. Especifique cada substituição como um par de chave-valor usando o formato KEY=VALUE. É possível especificar várias substituições repetindo a opção: --substitution key1=value1 --substitution key2=value2.

Por exemplo, se os dados de entrada forem: Hello, ${username}! e você usar --substitution username=World, a mensagem enviada ao Pub/Sub será: Hello, World!.

qsam decode

Decodifica dados do QSAM.

Esse comando decodifica registros de um arquivo QSAM para o formato especificado usando o argumento --output-format. O arquivo QSAM original é dividido em partes com base no valor especificado com o argumento --max-chunk-size. A saída transcodificada é salva no caminho de destino como arquivos classificados lexicograficamente.

Sinopse

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Sinalizações e argumentos

O comando qsam decode usa as seguintes sinalizações e argumentos:

INPUT : DataPath
Especifique o caminho de dados do arquivo QSAM que você quer decodificar.
OUTPUT : DataPath
Especifique o caminho de dados do prefixo de saída. Toda a saída é armazenada nesse prefixo.
--chunk-size=CHUNK-SIZE : DataSize
(Opcional) Especifique a quantidade de dados de entrada a serem incluídos em cada arquivo de saída. O arquivo de saída pode ser maior ou menor. O tamanho do bloco é arredondado para baixo até o múltiplo mais próximo do comprimento do registro lógico. O valor padrão é 128 MiB.
--copybook=COPYBOOK : DataPath
Especifique o caminho de dados do arquivo que contém o copybook.
--help ou -h
(Opcional) Mostra esta mensagem de ajuda.
--input-parameter=KEY=VALUE

(Opcional) Especifique parâmetros para configurar a entrada. Cada parâmetro é definido como KEY=VALUE. Estas são as chaves de parâmetro de entrada compatíveis:

--max-error-percent=MAX_ERROR_PERCENT

(Opcional) Especifique a porcentagem de registros processados que podem ter erros antes da falha do processo de transcodificação. O valor pode variar entre 0,0 (falha se houver erros de transcodificação) e 1,0 (não falha se houver erros de transcodificação). O valor padrão é 0.

--output-format=FORMAT : TranscodeFormat

(Opcional) Especifique o formato do arquivo de saída. Se você fornecer o DataPath de um tópico do Pub/Sub como o valor de OUTPUT, o formato de saída padrão será JSONL. Para todos os outros DataPaths, o formato de saída padrão é ORC.

--parallelism=COUNT

(Opcional) Especifique o número de linhas de execução de processamento. O valor precisa ser igual ou menor que o número de núcleos disponíveis. O valor padrão é 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(Opcional) Especifique o número de partes de dados a serem pré-carregadas quando todas as linhas de execução estiverem em processamento. O valor padrão é 1.

--replace

(Opcional) Se especificado, exclui o caminho de saída de forma recursiva antes de gravar os resultados da decodificação.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifique o arquivo que contém a configuração de transcodificação. Para mais informações sobre o formato de configuração do transcodificador, consulte Configuração do transcodificador.

qsam encode

Codifique os dados do QSAM.

Esse comando extrai dados de uma fonte externa e os converte em um arquivo QSAM. A entrada é definida pelo valor especificado usando o argumento --input-format.

Sinopse

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Sinalizações e argumentos

O comando qsam encode usa as seguintes sinalizações e argumentos:

INPUT : DataPath
Especifique o caminho dos dados do arquivo de entrada que você quer codificar em um arquivo QSAM.
OUTPUT : DataPath
Especifique o caminho dos dados do arquivo QSAM que você quer codificar.
--copybook=COPYBOOK : DataPath
Especifique o caminho de dados do arquivo que contém o copybook.
--help ou -h
(Opcional) Mostra esta mensagem de ajuda.
--input-format=FORMAT : TranscodeInputFormat
Especifique o formato da entrada.
--input-parameter=KEY=VALUE

(Opcional) Especifique parâmetros para configurar a entrada. Cada parâmetro é definido como KEY=VALUE. Estas são as chaves de parâmetro de entrada compatíveis:

--input-stream-count=COUNT

(Opcional) Especifique o número de fluxos de entrada. Esse é um valor máximo. Na realidade, menos streams podem ser usados. O valor padrão é 1.

--parallelism=COUNT

(Opcional) Especifique o número de linhas de execução de processamento. O valor precisa ser igual ou menor que o número de núcleos disponíveis. O valor padrão é 1.

--spillover=SPILLOVER : DataPath

(Opcional) Especifique um caminho de dados para o conjunto de dados de transbordamento. Se você não especificar essas informações, os detalhes do erro serão descartados.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifique o arquivo que contém a configuração de transcodificação. Para mais informações sobre o formato de configuração do transcodificador, consulte Configuração do transcodificador.

scp

Copie os arquivos para o Cloud Storage.

Sinopse

scp [options] [input] [output]

Sinalizações e argumentos

Para usar esse comando, verifique o seguinte:

  • Defina um valor de entrada exclusivo usando input, --inDD ou --inDsn.
  • Defina um valor de saída exclusivo usando a saída ou --gcsOutUri.

O comando scp usa as seguintes sinalizações e argumentos:

input
(Opcional) Especifique o DD ou DSN a ser copiado. Use --inDD ou --inDsn.
output
(Opcional) Especifique o URI da saída usando o formato gs://[BUCKET]/[PREFIX]. Use --gcsOutUri, em vez disso.
--compress
(Opcional) Compacte a saída com gzip.
--count ou -n=RECORDS
(Opcional) Especifique o número de registros a serem copiados. O padrão é ilimitado.
--encoding=ENCODING
(Opcional) Especifique a codificação de caracteres de entrada. O valor padrão é CP037.
--gcsOutUri=URI
(Opcional) Especifique o URI de destino do Cloud Storage da cópia do arquivo.
--help ou -h
Mostra este texto de ajuda.
--inDD=INPUT
(Opcional) Especifique o arquivo DD a ser copiado. O valor padrão é DD INFILE.
--inDsn=INPUT
(Opcional) Especifique o DSN a ser copiado.
--noConvert
(Opcional) Desativa a conversão da entrada de caracteres para ASCII. A conversão de caracteres é ativada por padrão.

systemreport

Forneça um relatório do sistema.

Sinopse

systemreport [-h] [--available_security_providers] [--supported_ciphers]

Sinalizações e argumentos

O comando systemreport usa as seguintes sinalizações e argumentos:

--available_security_providers
(Opcional) Imprima os provedores de segurança compatíveis.
--help ou -h
(Opcional) Mostra esta mensagem de ajuda.
--supported_ciphers
(Opcional) Imprima as cifras compatíveis.

Tipos de parâmetros

Esses tipos comuns são usados em comandos do Mainframe Connector.

DataPath

DataPath é uma string que representa uma entrada ou uma saída. Cada tipo de DataPath tem um prefixo e argumentos próprios, conforme a seguir:

  • DD:: caminhos de dados com esse prefixo apontam para uma instrução de definição de dados (DD) ao serem executados em um job da linguagem de controle de jobs (JCL). Para mudar a codificação de DD, adicione encoding= ao DD. Por exemplo, DD:DDNAME ou DD:DDNAME?encoding=UTF-8. A codificação padrão do DD é a do SO.

  • DSN:: os caminhos de dados com esse prefixo apontam para um nome da fonte de dados (DSN) ao serem executados em um mainframe. Para mudar a codificação do DSN, adicione encoding= ao DSN. Por exemplo, DSN:HQ.FOO.BAR ou DSN:HQ.FOO.BAR?encoding=cp037.

  • file:: os caminhos de dados com esse prefixo apontam para um arquivo Unix. É possível especificar o seguinte no arquivo Unix:

    • O comprimento do registro lógico (LRECL) adicionando #lrecl antes de :.
    • O formato de registro (RECFM) adicionando &recfm antes de :. O RECFM padrão é F.
    • A codificação adicionando &encoding antes de :. A codificação padrão é UTF-8.

    Por exemplo, file:/path/to/file, file?80:/path/to/file, file?80&recfm=FB:/path/to/file ou file?80&recfm=FB&encoding=cp037:/path/to/file.

  • gs://: caminhos de dados com esse prefixo apontam para um arquivo no Cloud Storage. É possível especificar o seguinte no arquivo:

    • O LRECL adicionando ?lrecl=lrecl após o prefixo do bucket.
    • O RECFM adicionando ?recfm=recfm após o prefixo do bucket. O RECFM padrão é F.
    • A codificação adicionando ?encoding= após o prefixo do bucket. A codificação padrão é UTF-8.

    Por exemplo, gs://my_bucket/my/file.txt,gs://my_bucket/my/file.txt?encoding=cp037,gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 ou gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm.

  • pubsub:: caminhos de dados com esse prefixo apontam para um recurso do Pub/Sub. Por exemplo, pubsub:projects/projectId/topics/topicId.

Para arquivos do Cloud Storage ou do Unix, se o RECFM estiver definido como V, o Mainframe Connector vai ler e gravar os arquivos no formato zzLL da seguinte maneira:

  • Os dois primeiros bytes são sempre 0x0000.
  • Os dois bytes subsequentes representam o tamanho dos dados.
  • Os bytes restantes constituem os dados reais do registro.

DataSize

DataSize representa um tamanho na forma de uma quantidade e uma unidade de medida, por exemplo, 5 MiB. Você pode usar espaços em branco entre o valor e a magnitude. A análise do tamanho dos dados não diferencia maiúsculas de minúsculas. Portanto, você pode especificar unidades de medida em maiúsculas e minúsculas.

É possível especificar o valor nos seguintes formatos:

  • Formato Java:b/k/m/g/t, para byte, kibibyte, mebibyte, gibibyte e tebibyte, respectivamente.
  • Formato internacional:KiB/MiB/GiB/TiB, para kibibyte, mebibyte, gibibyte e tebibyte, respectivamente.
  • Formato da métrica:b/kb/mb/gb/tb, para kilobyte, megabyte, gigabyte e terabyte, respectivamente.

TranscodeFormat

TranscodeFormat representa o formato a ser usado durante o processo de transcodificação.

Os valores válidos são:

  • ORC: ORC é um formato de arquivo colunar autodescritivo com reconhecimento de tipo.
  • CSV: CSV é um formato de texto simples que armazena dados tabulares com cada linha representando uma linha. É possível especificar os parâmetros de CSV usando o parâmetro de entrada csv-dialect. Você pode definir como --input-parameter csv-dialect=DataPath, em que DataPath aponta para o local desses parâmetros.
  • JSONL: JSONL é um formato de texto simples que armazena dados tabulares com cada linha representando uma linha. Você pode especificar os parâmetros JSON usando o parâmetro de entrada json-dialect. Você pode definir como --input-parameter json-dialect=DataPath, em que DataPath aponta para o local desses parâmetros.

TranscodeInputFormat

O formato a ser usado durante a transcodificação.

Os valores válidos são:

  • BIGQUERY: extrai dados diretamente do BigQuery. INPUT precisa ser um caminho para um arquivo de consulta.

    Os parâmetros de entrada disponíveis são:

    • keep_order: use se a ordem exata dos registros for importante. Isso vai limitar o fluxo de entrada.
    • project_id: ID do projeto a ser usado ao executar o job.
    • location: local a ser usado ao executar o job.

  • CSV: CSV é um formato de texto simples que armazena dados tabulares com cada linha representando uma linha. É possível especificar os parâmetros de CSV usando o parâmetro de entrada csv-dialect. Você pode definir como --input-parameter csv-dialect=DataPath, em que DataPath aponta para o local desses parâmetros.

  • JSONL: JSONL é um formato de texto simples que armazena dados tabulares com cada linha representando uma linha. Você pode especificar os parâmetros JSON usando o parâmetro de entrada json-dialect. Você pode definir como --input-parameter json-dialect=DataPath, em que DataPath aponta para o local desses parâmetros.