Riferimento alla riga di comando di Mainframe Connector

Questo documento descrive la sintassi, i comandi, i flag e gli argomenti dello strumento a riga di comando Mainframe Connector.

Comandi

bq export

Esporta una tabella da BigQuery.

Trama

bq export [options]

Flag e argomenti

Per eseguire questo comando, devi fornire una query SQL (vedi flag --sql e query_dsn) e un copybook (vedi flag cobDsn). Puoi eseguire questo comando in modalità locale, remota e autonoma. Per la modalità remota, consulta i flag --bucket, --remoteHost, --remotePort e --remoteUrl. Il comando bq export utilizza i seguenti flag e argomenti:

--project_id=ID
Specifica il progetto da utilizzare per eseguire questo comando.
--allow_large_results
(Facoltativo) Utilizza dimensioni delle tabelle di destinazione grandi per le query SQL precedenti.
--batch
(Facoltativo) Esegui la query in modalità batch.
--bucket=BUCKET
(Facoltativo) Scrivi l'output del comando in una posizione all'interno di un bucket Cloud Storage. I file di output vengono scritti nel percorso di destinazione gs://BUCKET/EXPORT/. Questo argomento è obbligatorio per la modalità remota.
--cobDsn=DSN
(Facoltativo) Specifica il DSN del libro di copie che vuoi utilizzare. Se non specifichi un valore, Mainframe Connector legge da DD COPYBOOK.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--destination_table=TABLE
(Facoltativo) Specifica la tabella di destinazione in cui vuoi scrivere i risultati della query.
--dry_run
(Facoltativo) Convalida la query senza eseguirla.
--encoding=ENCODING
(Facoltativo) Specifica l'insieme di caratteri da utilizzare per la codifica e la decodifica dei campi di caratteri. Se specificato, questo valore sostituisce quello predefinito impostato dalla variabile di ambiente ENCODING.
--exporter_thread_count=COUNT
(Facoltativo) Imposta il numero di thread dell'esportatore. Il valore predefinito è 4.
--help o -h
Mostra questo testo di supporto.
--keepAliveTimeInSeconds=SECONDS
(Facoltativo) Specifica il timeout keep-alive in secondi per un canale HTTP. Il valore predefinito è 480 secondi.
--location=LOCATION
(Facoltativo) Specifica una regione o una località multi-regione per eseguire il comando. Il valore predefinito è US.
--max_read_queue=NUMBER
(Facoltativo) Imposta la dimensione massima della coda dei record Avro. Il valore predefinito è il doppio del numero di thread.
--max_read_streams=NUMBER
(Facoltativo) Imposta il numero massimo di thread di stream di lettura. Il valore predefinito è 4.
--maximum_bytes_billed=BYTES
(Facoltativo) Limita i byte fatturati per la query.
--order_response
(Facoltativo) Mantieni la risposta ordinata come restituita da BigQuery.
--outDD=OUTPUT
(Facoltativo) Scrivi i record di output nel set di dati specificato in z/OS. Il valore predefinito è DD OUTFILE.
--parser_type=TYPE
(Facoltativo) Imposta il parser della configurazione su legacy, copybook o auto. Il valore predefinito è auto.
--query_dsn=DSN
(Facoltativo) Leggi una query dal set di dati specificato in z/OS. Utilizza il formato HLQ.MEMBER o HLQ.PDS(MEMBER). Se non fornisci un valore, Mainframe Connector legge da DD QUERY.
--remoteHost=HOST
(Facoltativo) Specifica l'indirizzo IP dell'host remoto. Per eseguire Mainframe Connector in modalità remota, imposta il flag --bucket.
--remotePort=PORT
(Facoltativo) Specifica la porta remota. Il valore predefinito è 51770. Per eseguire Mainframe Connector in modalità remota, imposta il flag --bucket.
--remoteUrl=URL
(Facoltativo) Specifica l'URL remoto. Per eseguire Mainframe Connector in modalità remota, imposta il flag --bucket.
--run_mode=MODE
(Facoltativo) Seleziona l'implementazione dell'esportazione. Puoi utilizzare una delle seguenti opzioni:
  • directstorage: il file binario viene salvato localmente (valore predefinito)
  • gcsoutput: il file binario viene salvato in Cloud Storage
--sql=SQL
(Facoltativo) Specifica la query SQL di BigQuery da eseguire.
--stats_table=TABLE
(Facoltativo) Specifica la tabella in cui inserire le statistiche.
--timeOutMinutes=MINUTES
(Facoltativo) Imposta il timeout in minuti per la chiamata grpc remota. Il valore predefinito è 90 minuti.
--transcoding_buffer=BUFFER
(Facoltativo) Imposta le dimensioni del buffer di transcodifica per thread in MB. Il valore predefinito è 20.
--use_cache={true|false}
(Facoltativo) Per memorizzare nella cache i risultati della query, imposta il valore su true.
--use_legacy_sql
(Facoltativo) Utilizza SQL precedente anziché SQL standard.

bq load

Carica i dati in una tabella BigQuery.

Trama

bq load [options] tablespec path

Flag e argomenti

Il comando bq load utilizza i seguenti flag e argomenti:

path
Specifica un elenco separato da virgole di URI dei file di origine. Il formato supportato è gs://bucket/path. Esempio: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.
tablespec
Specifica la tabella di destinazione per i dati. Il formato supportato è [PROJECT]:[DATASET].[TABLE]
--project_id=ID
Specifica il progetto da utilizzare per eseguire questo comando.
--allow_jagged_rows
(Facoltativo) Consenti colonne facoltative finali mancanti nei dati CSV.
--allow_quoted_newlines
(Facoltativo) Consenti i caratteri di fine riga tra virgolette all'interno dei dati CSV.
--append_table
(Facoltativo) Aggiungi i dati caricati ai dati esistenti nella tabella di destinazione.
--autodetect
(Facoltativo) Attiva il rilevamento automatico dello schema per i dati CSV e JSON.
--clustering_fields=FIELDS
(Facoltativo) Se specificato, viene utilizzato un elenco di colonne separate da virgole per raggruppare la tabella di destinazione in una query. Questo flag deve essere utilizzato con i flag di partizione temporale per creare una tabella partizionata per data di importazione o una tabella partizionata in base a una colonna DATE o TIMESTAMP. Se specificato, la tabella viene prima partizionata e poi raggruppata in cluster utilizzando le colonne fornite.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--debug_mode={true|false}
(Facoltativo) Imposta il livello di logging su debug.
--destination_kms_key=KEY
(Facoltativo) La chiave Cloud KMS per la crittografia dei dati della tabella di destinazione.
--encoding o -E=ENCODING
(Facoltativo) Specifica l'insieme di caratteri da utilizzare per la codifica e la decodifica dei campi di caratteri. Se specificato, questo valore sostituisce quello predefinito impostato dalla variabile di ambiente ENCODING.
--field_delimiter o -F=FIELD
(Facoltativo) Specifica il delimitatore di colonna nei dati CSV. Utilizza \t o tab per i delimitatori di tabulazione.
--help o -h
Mostra questo testo di supporto.
--ignore_unknown_values=VALUES
(Facoltativo) Ignora i valori extra non riconosciuti nei dati CSV o JSON.
--location=LOCATION
(Facoltativo) Specifica una regione o una località multi-regione per eseguire il comando. Il valore predefinito è US.
--max_bad_records=RECORDS
(Facoltativo) Imposta il numero massimo di record non validi consentiti prima che il job non vada a buon fine. Vengono restituiti un massimo di cinque errori di qualsiasi tipo, indipendentemente dal valore --max_bad_records. Questo flag si applica solo al caricamento di dati CSV, JSON e Fogli Google. Il valore predefinito è 0.
--max_polling_interval_ms=MILLISECONDS
(Facoltativo) Il tempo di attesa massimo per un job BigQuery.
--null_marker=MARKER
(Facoltativo) Specifica una stringa personalizzata che rappresenti un valore NULL nei dati CSV.
--projection_fields=FIELDS
(Facoltativo) Se imposti --source_format su DATASTORE_BACKUP, questo flag indica le proprietà delle entità da caricare da un'esportazione del data store. Specifica i nomi delle proprietà in un elenco separato da virgole. I nomi delle proprietà sono sensibili alle maiuscole e devono fare riferimento a proprietà di primo livello. Puoi utilizzare questo flag anche con le esportazioni di Firestore.
--quote=QUOTE
(Facoltativo) Specifica un carattere di virgolette per racchiudere i campi nei dati CSV. Puoi specificare qualsiasi carattere di un byte come argomento. Il valore predefinito è una virgola doppia ("). Per specificare che non sono presenti caratteri di virgolette, utilizza una stringa vuota.
--replace
(Facoltativo) Sostituisci i dati esistenti nella tabella di destinazione con i dati caricati.
--require_partition_filter={true|false}
(Facoltativo) Per avere un filtro di partizione per le query sulla tabella fornita, imposta su true. Questo argomento si applica solo alle tabelle partizionate e se il flag --time_partitioning_field è impostato su true. Il valore predefinito è false.
--schema=SCHEMA
(Facoltativo) Definisci lo schema della tabella di destinazione. Specifica il valore come elenco separato da virgole di definizioni di colonna nel formato [FIELD]:[DATA_TYPE]. Esempio: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(Facoltativo) Quando aggiungi dati a una tabella (in un job di caricamento o di query) o quando sovrascrivi una partizione della tabella, specifica come aggiornare lo schema della tabella di destinazione. Utilizza uno dei seguenti valori:
  • ALLOW_FIELD_ADDITION: consenti l'aggiunta di nuovi campi
  • ALLOW_FIELD_RELAXATION: consenti ai campi REQUIRED di rilassarsi in NULLABLE
Ripeti questo flag per specificare più opzioni di aggiornamento dello schema.
--skip_leading_rows=NUMBER
(Facoltativo) Specifica il numero di righe da saltare all'inizio del file di origine. Il valore predefinito è 0.
--source_format=FORMAT
(Facoltativo) Specifica il formato dei dati di origine. Puoi utilizzare uno dei seguenti valori: CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (utilizza questo valore per Filestore), PARQUET, ORC. Il valore predefinito è ORC.
--stats_table=TABLE
(Facoltativo) Specifica la tabella in cui inserire le statistiche.
--time_partitioning_expiration=SECONDS
(Facoltativo) Specifica quando deve essere eliminata una partizione basata sul tempo, in secondi. La data e l'ora di scadenza corrispondono alla data UTC della partizione più il valore specificato. Se fornisci un numero negativo, la partizione basata sul tempo non scade mai.
--time_partitioning_field=FIELD
(Facoltativo) Specifica il campo utilizzato per determinare come creare una partizione basata sul tempo. Se il partizionamento in base al tempo è attivato senza questo valore, la tabella viene suddivisa in base al tempo di caricamento.
--time_partitioning_type=TYPE
(Facoltativo) Attiva il partizionamento in base al tempo in una tabella e imposta il tipo di partizione utilizzando il seguente valore: DAY.
--use_avro_logical_types={true|false}
(Facoltativo) Se --source_format è impostato su AVRO, imposta questo flag su true per convertire i tipi logici nei tipi corrispondenti (ad esempio TIMESTAMP) anziché utilizzare solo i tipi non elaborati (ad esempio INTEGER). Il valore predefinito è false.

bq mk

Crea risorse BigQuery come tabelle integrate o tabelle esterne che richiedono la configurazione del partizionamento e del clustering. Puoi anche utilizzare il comando bq mk per generare una tabella BigQuery direttamente dall'analisi dei copybook COBOL utilizzando il flag --schema_from_copybook.

Trama

bq mk [options]

Flag e argomenti

Il comando bq mk utilizza i seguenti flag e argomenti:

--project_id=ID
Specifica il progetto da utilizzare per eseguire questo comando.
--tablespec=TABLE
Specifica la tabella di destinazione per i dati. Il formato supportato è [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(Facoltativo) Specifica un elenco separato da virgole di massimo quattro nomi di colonne che specificano i campi da utilizzare per il clustering delle tabelle.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--description=DESCRIPTION
(Facoltativo) Fornisci una descrizione per il set di dati o la tabella.
--dry_run
(Facoltativo) Stampa l'istruzione DDL (Data Definition Language) della tabella.
--encoding=ENCODING
(Facoltativo) Specifica l'insieme di caratteri da utilizzare per la codifica e la decodifica dei campi di caratteri. Se specificato, questo valore sostituisce quello predefinito impostato dalla variabile di ambiente ENCODING.
--expiration=EXPIRATION
(Facoltativo) Specifica il lifetime della tabella. Se non specifichi un valore, BigQuery crea la tabella con la durata predefinita del set di dati o la tabella non scade.
--external_table_definition o -e=TABLE
(Facoltativo) Specifica un nome e una definizione dello schema per creare una tabella esterna. Esempio: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help o -h
Mostra questo testo di supporto.
--location=LOCATION
(Facoltativo) Specifica una regione o una località multi-regione per eseguire il comando. Il valore predefinito è US.
--parser_type=TYPE
(Facoltativo) Imposta il parser della configurazione su legacy, copybook o auto. Il valore predefinito è auto.
--require_partition_filter={true|false}
(Facoltativo) Per avere un filtro di partizione per le query sulla tabella fornita, imposta su true. Questo argomento si applica solo alle tabelle partizionate e se il flag --time_partitioning_field è impostato su true. Il valore predefinito è true.
--schema=SCHEMA
(Facoltativo) Specifica il percorso a un file JSON di schema locale o un elenco di definizioni di colonne separate da virgole nel formato FIELD:DATA_TYPE, FIELD:DATA_TYPE e così via.
--schema_from_copybook=SCHEMA
(Facoltativo) Genera lo schema da un modello.
--table o -t=TABLE
(Facoltativo) Crea una tabella.
--time_partitioning_expiration=SECONDS
(Facoltativo) Specifica quando deve essere eliminata una partizione basata sul tempo, in secondi. La data e l'ora di scadenza corrispondono alla data UTC della partizione più il valore specificato. Se fornisci un numero negativo, la partizione basata sul tempo non scade mai.
--time_partitioning_field=FIELD
(Facoltativo) Specifica il campo utilizzato per determinare come creare una partizione basata sul tempo. Se il partizionamento in base al tempo è attivato senza questo valore, la tabella viene suddivisa in base al tempo di caricamento.
--view
(Facoltativo) Crea una visualizzazione.

bq query

Esegui una query BigQuery.

Trama

bq query [options]

Flag e argomenti

Puoi eseguire questo comando in modalità locale e remota. Per la modalità remota, consulta i flag --remoteHost, --remotePort e --remoteUrl e la variabile di ambiente BQ_QUERY_REMOTE_EXECUTION. Il comando bq query utilizza i seguenti flag e argomenti:

--project_id=ID
Specifica il progetto da utilizzare per eseguire questo comando.
--allow_large_results
(Facoltativo) Utilizza dimensioni delle tabelle di destinazione grandi per le query SQL precedenti.
--append_table
(Facoltativo) Aggiungi i dati caricati ai dati esistenti nella tabella di destinazione.
--batch
(Facoltativo) Esegui la query in modalità batch.
--clustering_fields=FIELDS
(Facoltativo) Specifica un elenco separato da virgole di massimo quattro nomi di colonna che specificano i campi da utilizzare per il clustering delle tabelle. Se specifichi questo valore con il partizionamento, la tabella viene prima partizionata e poi ogni partizione viene raggruppata in cluster utilizzando le colonne fornite.
--create_if_needed
(Facoltativo) Crea la tabella di destinazione se non esiste.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--destination_table=TABLE
(Facoltativo) Specifica la tabella di destinazione in cui vuoi scrivere i risultati della query.
--dry_run
(Facoltativo) Convalida la query senza eseguirla.
--follow={true|false}
(Facoltativo) Per monitorare i singoli passaggi della query o lo script nel suo complesso, imposta su true. Il valore predefinito è false.
--help o -h
Mostra questo testo di supporto.
--location=LOCATION
(Facoltativo) Specifica una regione o una località multi-regione per eseguire il comando. Il valore predefinito è US.
--maximum_bytes_billed=BYTES
(Facoltativo) Specifica il limite di byte fatturati per la query.
--parameters=PARAMETERS
(Facoltativo) Specifica i parametri di query separati da virgole nel formato [NAME]:[TYPE]:[VALUE]. Un nome vuoto crea un parametro posizionale. Puoi omettere [TYPE] per assumere un valore STRING nel formato name::value o ::value. NULL genera un valore nullo.
--query_dsn=DSN
(Facoltativo) Specifica il DSN da cui leggere la query nel formato HLQ.MEMBER o HLQ.PDS(MEMBER). Se non viene fornito query_dsn, viene utilizzato QUERY DD.
--remoteHost=HOST
(Facoltativo) Specifica l'indirizzo IP dell'host remoto. Per eseguire la query in modalità remota, imposta la variabile di ambiente BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(Facoltativo) Specifica la porta remota. Il valore predefinito è 51770. Per eseguire la query in modalità remota, imposta la variabile di ambiente BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(Facoltativo) Specifica l'URL remoto. Per eseguire la query in modalità remota, imposta la variabile di ambiente BQ_QUERY_REMOTE_EXECUTION.
--replace
(Facoltativo) Sovrascrivi la tabella di destinazione con i risultati della query.
--report_row_limit=LIMIT
(Facoltativo) Specifica il numero massimo di righe da stampare nel report di controllo. Il valore predefinito è 30.
--require_partition_filter={true|false}
(Facoltativo) Per avere un filtro di partizione per le query sulla tabella fornita, imposta su true. Il valore predefinito è true.
--schema_update_option=OPTION
(Facoltativo) Aggiorna lo schema della tabella di destinazione quando aggiungi i dati. Utilizza i seguenti valori:
  • ALLOW_FIELD_ADDITION: consente di aggiungere nuovi campi.
  • ALLOW_FIELD_RELAXATION: consente di rilassare i campi REQUIRED in NULLABLE.
--split_sql={true|false}
(Facoltativo) Per suddividere lo script SQL di input in singole query, imposta su true. Il valore predefinito è true.
--stats_table=TABLE
(Facoltativo) Specifica la tabella in cui inserire le statistiche.
--sync={true|false}
(Facoltativo) Esegui il comando in modalità sincrona.
--synchronous_mode={true|false}
(Facoltativo) Un'alternativa a --sync.
--timeOutMinutes=MINUTES
(Facoltativo) Specifica il timeout in minuti per la risposta di un job BigQuery. Il valore predefinito è 240 minuti.
--time_partitioning_expiration=SECONDS
(Facoltativo) Specifica quando deve essere eliminata una partizione basata sul tempo, in secondi. La data e l'ora di scadenza corrispondono alla data UTC della partizione più il valore specificato. Se fornisci un numero negativo, la partizione basata sul tempo non scade mai.
--time_partitioning_field=FIELD
(Facoltativo) Specifica il campo utilizzato per determinare come creare una partizione basata sul tempo. Se il partizionamento in base al tempo è attivato senza questo valore, la tabella viene suddivisa in base al tempo di caricamento.
--time_partitioning_type=TYPE
(Facoltativo) Attiva la suddivisione in base al tempo in una tabella e imposta il tipo di partizione utilizzando uno dei seguenti valori: DAY, HOUR, MONTH, YEAR.
--use_cache={true|false}
(Facoltativo) Per memorizzare nella cache i risultati della query, imposta su true. Il valore predefinito è true.
--use_legacy_sql
(Facoltativo) Utilizza SQL precedente anziché SQL standard.

cloud run job cancel

Annullare un'esecuzione di un job specifico.

Trama

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Flag e argomenti

Il comando cloud run job cancel utilizza i seguenti flag e argomenti:

EXECUTION
Specifica il nome dell'ID esecuzione del job Cloud Run.
--help o -h
(Facoltativo) Mostra questo messaggio di aiuto.
--project=PROJECT
Specifica l'ID progetto.
--region=REGION
Specifica la regione in cui si trova la risorsa.

cloud run job execute

Esegui un job specifico.

Trama

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Flag e argomenti

Il comando cloud run job execute utilizza i seguenti flag e argomenti:

JOB
Specifica il nome del job Cloud Run da eseguire.
--args=ARGS
(Facoltativo) Argomenti separati da virgole passati al comando eseguito dall'immagine del contenitore. Se specificato, verrà creata un'esecuzione con i valori di input.
--async
(Facoltativo) Specifica questo flag se vuoi tornare immediatamente, senza attendere il completamento dell'operazione in corso.
--dump-execution-id=EXECUTION-ID : DataPath
(Facoltativo) Specifica il file in cui scrivere l'ID esecuzione.
--help o -h
(Facoltativo) Mostra questo messaggio di aiuto.
--polling-interval=POLLINGINTERVAL
(Facoltativo) Imposta l'intervallo di polling per la visualizzazione dei log quando --tail_logs è attivato. Il valore predefinito è 60 secondi.
--project=PROJECT
Specifica l'ID progetto.
--region=REGION
Specifica la regione in cui si trova la risorsa.
--tail-logs
(Facoltativo) Se esegui il comando in modalità sincrona specificando il flag --tail_logs, Mainframe Connector mostra i log di avanzamento sullo schermo. Se specifichi sia gli indicatori --tail_logs che --async, viene visualizzato un messaggio di errore. Poiché Cloud Logging non supporta la registrazione in tempo reale, il comando mostra solo i log che sono già stati registrati. Di conseguenza, alcuni log potrebbero non essere presenti quando utilizzi il flag --tail_logs. Per visualizzare i log completi del job, utilizza il comando cloud run job log al termine del job.
--task-timeout=TIMEOUT
(Facoltativo) Mostra il tempo massimo (scadenza) esistente per l'esecuzione di un tentativo di attività di job. Se non specificato, verrà utilizzato il valore predefinito del job.
--update-env-vars=ENVVARS
(Facoltativo) Elenco di coppie chiave-valore da impostare come sostituzioni delle variabili di ambiente per un'esecuzione di un job.
--wait
(Facoltativo) Specifica questo flag se vuoi che il comando attenda il completamento dell'esecuzione prima di uscire.

cloud run job log

Visualizza i log di Cloud Run

Trama

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

Flag e argomenti

Il comando cloud run job log utilizza i seguenti flag e argomenti:

EXECUTION_ID
Il nome dell'ID esecuzione del job Cloud Run.
--help o -h
(Facoltativo) Mostra questo messaggio di aiuto.
--log-filter=FILTER
(Facoltativo) Espressione di filtro che specifica le voci di log da restituire.
--polling-interval=POLLINGINTERVAL
(Facoltativo) Imposta l'intervallo di polling per la visualizzazione dei log quando --tail_logs è attivato. Il valore predefinito è 60 secondi.
--project=PROJECT
Specifica l'ID progetto.
--region=REGION
Specifica la regione in cui si trova la risorsa.
--tail
(Facoltativo) Se impostato, vengono visualizzati solo i nuovi log a partire da questo momento. Se non è impostato, verranno visualizzati tutti i log dei job.
--timeout=TIMEOUT
(Facoltativo) Timeout dopo l'uscita del comando. Se non è impostato, il comando avrà un timeout al termine dell'esecuzione.

gsutil cp

Transcodifica i dati dal mainframe in un bucket Cloud Storage.

Trama

gsutil cp [options] gcsUri [dest]

Flag e argomenti

Puoi utilizzare questo comando per i seguenti scopi:

  • Copia e transcodifica un file da un mainframe o da un ambiente Linux a Cloud Storage.
    • Fonte: --inDSN. Se non specificato, viene specificato da DD INFILE.
    • Destinazione: gcsUri
  • Copiare e transcodificare un file in Cloud Storage
    • Origine: gcsUri
    • Destinazione: --destPath
  • Copiare un file da Cloud Storage a un mainframe.
    • Origine: gcsUri
    • Destinazione: --destDSN
    • Flag pertinenti: --lrecl, --blksize, --recfm, --noseek.
  • Copia un file da Cloud Storage a un ambiente Linux.
    • Origine: gcsUri
    • Destinazione: --destPath
Questo comando può essere eseguito in modalità locale, remota e autonoma. Per la modalità remota, consulta i flag --remote, --remoteHost, --remotePort e --remoteUrl. Il comando gsutil cp utilizza i seguenti flag e argomenti:

dest
(Facoltativo) Il percorso locale o il nome dell'origine dati (DSN). Formati di esempio: /path/to/file, DATASET.MEMBER
gcsUri
L'URI Cloud Storage nel formato gs://bucket/path. Può rappresentare sia la località di origine sia quella di destinazione, a seconda dell'utilizzo.
--batchSize=SIZE
(Facoltativo) Specifica i blocchi da utilizzare per batch. Il valore predefinito è 1000.
--blksize=SIZE
(Facoltativo) Specifica la dimensione del blocco del file da copiare nel mainframe. Se blksize=0 e recfm non sono U, il sistema mainframe determina la dimensione ottimale del blocco per il file.
--cobDsn=DSN
(Facoltativo) Specifica il DSN del libro di copie che vuoi utilizzare. Se non specifichi un valore, Mainframe Connector legge da DD COPYBOOK.
--connections=NUMBER
(Facoltativo) Specifica il numero di connessioni che possono essere effettuate al destinatario remoto. Il valore predefinito è 10.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--destDSN=OUTPUT
(Facoltativo) Specifica il DSN di destinazione.
--destPath=OUTPUT
(Facoltativo) Specifica il percorso di destinazione.
--dry_run
(Facoltativo) Testa l'analisi e la decodifica del file QSAM del libro mastro.
--encoding=ENCODING
(Facoltativo) Specifica l'insieme di caratteri da utilizzare per la codifica e la decodifica dei campi di caratteri. Se specificato, questo valore sostituisce quello predefinito impostato dalla variabile di ambiente ENCODING.
--help o -h
Mostra questo testo di supporto.
--inDsn=DSN
(Facoltativo) Specifica il DSN infile che vuoi utilizzare. Se non specifichi un valore, Mainframe Connector legge da DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Facoltativo) Specifica il timeout keep-alive in secondi per un canale HTTP. Il valore predefinito è 480 secondi.
--location=LOCATION
(Facoltativo) Specifica una regione o una località multi-regione per eseguire il comando. Il valore predefinito è US.
--lowerCaseColumnNames
(Facoltativo) Crea nomi di colonne in minuscolo per i campi del libro mastro.
--lrecl=LRECL
(Facoltativo) Specifica la lunghezza del record logico (lrecl) del file che vuoi copiare nel mainframe.
--maxChunkSize=SIZE
(Facoltativo) Specifica la dimensione massima del chunk per batch. Per descrivere le dimensioni, devi utilizzare K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB o TB. Il valore predefinito è 128 MiB.
--max_error_pct=PCT
(Facoltativo) Specifica la soglia di errore di mancata esecuzione del job per gli errori di decodifica delle righe. I valori validi sono compresi nell'intervallo [0,0, 1,0]. Il valore predefinito è 0.
--noseek
(Facoltativo) Migliora le prestazioni di download da Cloud Storage al mainframe.
--parallel o -m
(Facoltativo) Imposta il numero di autori simultanei su 4.
--parallelism o -p=NUMBER
(Facoltativo) Specifica il numero di autori simultanei. Il valore predefinito è 4.
--parser_type=TYPE
(Facoltativo) Imposta il parser della configurazione su legacy, copybook o auto. Il valore predefinito è auto.
--preload_chunk_count=NUMBER
(Facoltativo) Specifica il numero di chunk da precaricare dai dischi quando tutti i worker sono occupati. Il valore predefinito è 2.
--project_id=ID
(Facoltativo) Specifica il progetto da utilizzare per eseguire questo comando.
--recfm=REFCM
(Facoltativo) Specifica il valore recfm del file che vuoi copiare nel mainframe. Puoi utilizzare uno dei seguenti valori: F, FB, V, VB, U. Il valore predefinito è FB.
--remote
(Facoltativo) Utilizza un decodificatore remoto.
--remoteHost=HOST
(Facoltativo) Specifica l'indirizzo IP dell'host remoto. Per eseguire Mainframe Connector in modalità remota, imposta il flag --remote.
--remotePort=PORT
(Facoltativo) Specifica la porta remota da utilizzare. Il valore predefinito è 51770. Per eseguire Mainframe Connector in modalità remota, imposta il flag --remote.
--remoteUrl=URL
(Facoltativo) Specifica l'URL remoto. Per eseguire Mainframe Connector in modalità remota, imposta il flag --remote.
--replace
(Facoltativo) Elimina la destinazione in modo ricorsivo prima del caricamento.
--stats_table=TABLE
(Facoltativo) Specifica la tabella in cui inserire le statistiche.
--tfDSN=DSN
(Facoltativo) Specifica le trasformazioni da un DSN, DATASET.MEMBER o PDS(MBR).
--tfGCS=GCS
(Facoltativo) Specifica il file delle trasformazioni da Cloud Storage.
--timeOutMinutes=MINUTES
(Facoltativo) Specifica il timeout in minuti per una chiamata grpc remota. Il valore predefinito è 90 minuti per Cloud Storage e 50 minuti per un mainframe.

gsutil rm

Rimuovi gli oggetti Cloud Storage.

Trama

gsutil rm [-hR] URL...

Flag e argomenti

Il comando gsutil rm utilizza i seguenti flag e argomenti:

URL
Specifica la posizione di Cloud Storage nel formato gs://bucket/prefix.
--help o -h
(Facoltativo) Mostra questo messaggio di aiuto.
-R o -r
(Facoltativo) Elimina in modo ricorsivo i contenuti delle directory o degli oggetti corrispondenti all'espressione del percorso. Non genera un errore se la directory o l'oggetto non esiste.

scp

Copia i file in Cloud Storage.

Trama

scp [options] [input] [output]

Flag e argomenti

Per utilizzare questo comando, devi assicurarti di quanto segue:

  • Imposta un valore di input univoco tramite input, --inDD o --inDsn.
  • Imposta un valore di output univoco tramite output o --gcsOutUri.

Il comando scp utilizza i seguenti flag e argomenti:

input
(Facoltativo) Specifica il DD o il DSN da copiare. Puoi utilizzare --inDD o --inDsn.
output
(Facoltativo) Specifica l'URI dell'output utilizzando il formato gs://[BUCKET]/[PREFIX]. Puoi utilizzare --gcsOutUri.
--compress
(Facoltativo) Comprimi l'output con gzip.
--count o -n=RECORDS
(Facoltativo) Specifica il numero di record da copiare. Il valore predefinito è illimitato.
--encoding=ENCODING
(Facoltativo) Specifica la codifica dei caratteri di input. Il valore predefinito è CP037.
--gcsOutUri=URI
(Facoltativo) Specifica l'URI Cloud Storage di destinazione della copia del file.
--help o -h
Mostra questo testo di supporto.
--inDD=INPUT
(Facoltativo) Specifica il file DD da copiare. Il valore predefinito è DD INFILE.
--inDsn=INPUT
(Facoltativo) Specifica il DSN da copiare.
--noConvert
(Facoltativo) Disattiva la conversione dell'input di caratteri in ASCII. La conversione dei caratteri è attiva per impostazione predefinita.

systemreport

Fornire un report di sistema.

Trama

systemreport [-h] [--available_security_providers] [--supported_ciphers]

Flag e argomenti

Il comando systemreport utilizza i seguenti flag e argomenti:

--available_security_providers
(Facoltativo) Stampa i fornitori di servizi di sicurezza supportati.
--help o -h
(Facoltativo) Mostra questo messaggio di aiuto.
--supported_ciphers
(Facoltativo) Stampa le cifre supportate.

qsam decode

Decodifica i dati QSAM.

Questo comando decodifica i record di un file QSAM nel formato specificato utilizzando l'argomento --output-format. Il file QSAM originale viene suddiviso in blocchi in base al valore specificato con l'argomento --max-chunk-size. L'output transcodificato viene salvato nel percorso di destinazione come file ordinati in ordine alfabetico.

Trama

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   INPUT OUTPUT

Flag e argomenti

Il comando qsam decode utilizza i seguenti flag e argomenti:

INPUT : DataPath
Specifica il percorso dei dati del file QSAM da decodificare.
OUTPUT : DataPath
Specifica il percorso dati del prefisso di output. Tutto l'output viene archiviato sotto questo prefisso.
--chunk-size=CHUNK-SIZE : DataSize
(Facoltativo) Specifica la quantità di dati di input da includere in ogni file di output. Il file di output potrebbe essere più grande o più piccolo. La dimensione del chunk viene arrotondata per difetto al multiplo più vicino della lunghezza del record logico. Il valore predefinito è 128 MiB.
--copybook=COPYBOOK : DataPath
Specifica il percorso dei dati del file contenente il modello.
--help o -h
(Facoltativo) Mostra questo messaggio di aiuto.
--max-error-percent=MAX_ERROR_PERCENT
(Facoltativo) Specifica la percentuale di record elaborati che possono contenere errori prima che il processo di transcodifica non vada a buon fine. Il valore può variare da 0,0 (ovvero non va a buon fine se si verificano errori di transcodifica) a 1,0 (ovvero va a buon fine anche se si verificano errori di transcodifica). Il valore predefinito è 0.
--output-format=FORMAT : TranscodeFormat
(Facoltativo) Specifica il formato del file di output. Il valore predefinito è orc.
--parallelism=COUNT
(Facoltativo) Specifica il numero di thread di elaborazione. Il valore deve essere uguale o inferiore al numero di core disponibili. Il valore predefinito è 1.
--preload-chunk-count=PRELOAD_CHUNK_COUNT
(Facoltativo) Specifica il numero di chunk di dati da precaricare quando tutti i thread sono in elaborazione. Il valore predefinito è 1.
--replace
(Facoltativo) Se specificato, elimina il percorso di output in modo ricorsivo prima di scrivere i risultati della decodifica.
--transcode-configuration=CONFIG : DataPath
(Facoltativo) Specifica il file contenente la configurazione di transcodifica. Per ulteriori informazioni sul formato di configurazione del transcoder, consulta Configurazione del transcoder.

qsam encode

Codifica i dati QSAM.

Questo comando prende i dati da un'origine esterna e li converte in un file QSAM. L'input è definito dal valore specificato utilizzando l'argomento --input-format.

Trama

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Flag e argomenti

Il comando qsam encode utilizza i seguenti flag e argomenti:

INPUT : DataPath
Specifica il percorso dei dati del file di input che vuoi codificare in un file QSAM.
OUTPUT : DataPath
Specifica il percorso dei dati del file QSAM in cui vuoi eseguire la codifica.
--copybook=COPYBOOK : DataPath
Specifica il percorso dei dati del file contenente il modello.
--help o -h
(Facoltativo) Mostra questo messaggio di aiuto.
--input-format=FORMAT : TranscodeInputFormat
Specifica il formato dell'input.
--input-parameter=KEY=VALUE
(Facoltativo) Specifica i parametri per configurare l'input. Sono specifici per il formato di input.
--input-stream-count=COUNT
(Facoltativo) Specifica il numero di stream di input. Si tratta di un valore massimo, in realtà è possibile utilizzare meno stream. Il valore predefinito è 1.
--parallelism=COUNT
(Facoltativo) Specifica il numero di thread di elaborazione. Il valore deve essere uguale o inferiore al numero di core disponibili. Il valore predefinito è 1.
--spillover=SPILLOVER : DataPath
(Facoltativo) Specifica un percorso dati per il set di dati di overflow. Se non specifichi queste informazioni, i dettagli dell'errore verranno ignorati.
--transcode-configuration=CONFIG : DataPath
(Facoltativo) Specifica il file contenente la configurazione di transcodifica. Per ulteriori informazioni sul formato di configurazione del transcoder, consulta Configurazione del transcoder.

Tipi di parametri

Questi tipi comuni utilizzati nei comandi del connettore mainframe.

DataPath

DataPath è una stringa che rappresenta un input o un output. Ogni tipo di DataPath ha il proprio prefisso, come indicato di seguito:

  • DD:: i percorsi dati con questo prefisso rimandano a un DD quando vengono eseguiti in un job JCL. Esempio: DD:DDNAME.

  • DSN:: i percorsi dati con questo prefisso rimandano a un DSN quando vengono eseguiti su un mainframe IBM. Esempio: DSN:HQ.FOO.BAR.

  • file:: i percorsi dei dati con questo prefisso rimandano a un file Unix. Puoi specificare la lunghezza del record logico (LRECL) aggiungendo #lrecl prima di :. Esempi: file:/path/to/file, file#80:/path/to/file.

  • gs://: i percorsi dei dati con questo prefisso rimandano a un file in Cloud Storage. Esempio: gs://my_bucket/my/file.txt

DataSize

DataSize rappresenta una dimensione sotto forma di quantità e unità di misura, ad esempio 5 MiB. Puoi utilizzare spazi tra l'importo e l'intensità. L'analisi delle dimensioni dei dati è insensibile alle maiuscole, quindi puoi specificare le unità di misura sia in maiuscolo che in minuscolo.

Puoi specificare il valore nei seguenti formati:

  • Formato Java: b/k/m/g/t, rispettivamente per byte, kibibyte, mebibyte, gibibyte e tebibyte.
  • Formato internazionale: KiB/MiB/GiB/TiB, rispettivamente per kibibyte, mebibyte, gibibyte e tebibyte.
  • Formato della metrica: b/kb/mb/gb/tb, rispettivamente per kilobyte, megabyte, gigabyte e terabyte.

TranscodeFormat

TranscodeFormat indica il formato da utilizzare durante la procedura di transcodifica.

I valori validi sono:

  • ORC: ORC è un formato file a colonne autodescrittivo e consapevole del tipo.

TranscodeInputFormat

Il formato da utilizzare durante la transcodifica.

I valori validi sono:

  • BIGQUERY: estrae i dati direttamente da BigQuery. INPUT deve essere il percorso di un file di query.

I parametri di input disponibili sono:

  • keep_order: da utilizzare se l'ordine esatto dei record è importante. Tieni presente che questo limiterà lo stream di input.
  • project_id: l'ID progetto da utilizzare durante l'esecuzione del job.
  • location: posizione da utilizzare durante l'esecuzione del job.