Riferimento alla riga di comando di Mainframe Connector

Questo documento descrive la sintassi, i comandi, i flag e gli argomenti dello strumento a riga di comando Mainframe Connector.

Comandi

bq export

Esporta una tabella da BigQuery.

Trama

bq export [options]

Flag e argomenti

Per eseguire questo comando, devi fornire una query SQL (vedi i flag --sql e query_dsn) e un copybook (vedi il flag cobDsn). Puoi eseguire questo comando in modalità locale, remota e autonoma. Per la modalità remota, consulta i flag --bucket, --remoteHost, --remotePort e --remoteUrl. Il comando bq export utilizza i seguenti flag e argomenti:

--project_id=ID
Specifica il progetto da utilizzare per eseguire questo comando.
--allow_large_results
(Facoltativo) Utilizza dimensioni delle tabelle di destinazione di grandi dimensioni per le query SQL precedente precedenti.
--batch
(Facoltativo) Esegui la query in modalità batch.
--bucket=BUCKET
(Facoltativo) Scrivi l'output del comando in una posizione all'interno di un bucket Cloud Storage. I file di output vengono scritti nel percorso di destinazione gs://BUCKET/EXPORT/. Questo argomento è obbligatorio per la modalità remota.
--cobDsn=DSN
(Facoltativo) Specifica il DSN del copybook che vuoi utilizzare. Se non fornisci un valore, Mainframe Connector legge da DD COPYBOOK.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--destination_table=TABLE
(Facoltativo) Specifica la tabella di destinazione in cui vuoi scrivere i risultati della query.
--dry_run
(Facoltativo) Convalida la query senza eseguirla.
--encoding=ENCODING
(Facoltativo) Specifica il set di caratteri da utilizzare per la codifica e la decodifica dei campi di caratteri. Se fornito, questo valore sostituisce il valore predefinito impostato dalla variabile di ambiente ENCODING.
--exporter_thread_count=COUNT
(Facoltativo) Imposta il numero di thread dell'esportatore. Il valore predefinito è 4.
--help o -h
Visualizza questo testo di assistenza.
--keepAliveTimeInSeconds=SECONDS
(Facoltativo) Specifica il timeout keep-alive in secondi per un canale HTTP. Il valore predefinito è 480 secondi.
--location=LOCATION
(facoltativo) Specifica una regione o una multi-regione in cui eseguire il comando. Il valore predefinito è US.
--max_read_queue=NUMBER
(Facoltativo) Imposta la dimensione massima della coda dei record Avro. Il valore predefinito è il doppio del numero di thread.
--max_read_streams=NUMBER
(Facoltativo) Imposta il numero massimo di thread di flussi di lettura. Il valore predefinito è 4.
--maximum_bytes_billed=BYTES
(Facoltativo) Limita i byte fatturati per la query.
--order_response
(Facoltativo) Mantieni la risposta ordinata come restituita da BigQuery.
--outDD=OUTPUT
(Facoltativo) Scrivi i record di output nel set di dati specificato in z/OS. Il valore predefinito è DD OUTFILE.
--parser_type=TYPE
(Facoltativo) Imposta il parser di configurazione su legacy, copybook o auto. Il valore predefinito è auto.
--query_dsn=DSN
(Facoltativo) Leggi una query dal set di dati specificato in z/OS. Utilizza il formato HLQ.MEMBER o HLQ.PDS(MEMBER). Se non fornisci un valore, Mainframe Connector legge da DD QUERY.
--remoteHost=HOST
(Facoltativo) Specifica l'indirizzo IP dell'host remoto. Per eseguire Mainframe Connector in modalità remota, imposta il flag --bucket.
--remotePort=PORT
(Facoltativo) Specifica la porta remota. Il valore predefinito è 51770. Per eseguire Mainframe Connector in modalità remota, imposta il flag --bucket.
--remoteUrl=URL
(Facoltativo) Specifica l'URL remoto. Per eseguire Mainframe Connector in modalità remota, imposta il flag --bucket.
--run_mode=MODE
(Facoltativo) Seleziona l'implementazione dell'esportazione. Puoi utilizzare una delle seguenti opzioni:
  • directstorage: il file binario viene salvato localmente (impostazione predefinita)
  • gcsoutput: il file binario viene salvato in Cloud Storage
--sql=SQL
(Facoltativo) Specifica la query SQL di BigQuery da eseguire.
--stats_table=TABLE
(Facoltativo) Specifica la tabella in cui inserire le statistiche.
--timeOutMinutes=MINUTES
(Facoltativo)
Imposta il timeout in minuti per la chiamata grpc remota. Il valore predefinito è 90 minuti.
--transcoding_buffer=BUFFER
(Facoltativo) Imposta le dimensioni del buffer di transcodifica per thread, in MB. Il valore predefinito è 20.
--use_cache={true|false}
(Facoltativo) Imposta su true per memorizzare nella cache i risultati della query.
--use_legacy_sql
(Facoltativo) Utilizza SQL precedente anziché SQL standard.

bq load

Carica i dati in una tabella BigQuery.

Trama

bq load [options] tablespec path

Flag e argomenti

Il comando bq load utilizza i seguenti flag e argomenti:

path
Specifica un elenco separato da virgole di URI dei file di origine. Il formato supportato è gs://bucket/path. Esempio: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.
tablespec
Specifica la tabella di destinazione per i dati. Il formato supportato è [PROJECT]:[DATASET].[TABLE]
--project_id=ID
Specifica il progetto da utilizzare per eseguire questo comando.
--allow_jagged_rows
(Facoltativo) Consenti colonne facoltative finali mancanti nei dati CSV.
--allow_quoted_newlines
(Facoltativo) Consenti caratteri di fine riga con virgolette all'interno dei dati CSV.
--append_table
(Facoltativo) Aggiungi i dati caricati ai dati esistenti nella tabella di destinazione.
--autodetect
(Facoltativo) Abilita il rilevamento automatico dello schema per i dati CSV e JSON.
--clustering_fields=FIELDS
(Facoltativo) Se specificato, un elenco di colonne separate da virgole viene utilizzato per raggruppare la tabella di destinazione in una query. Questo flag deve essere utilizzato con i flag di partizionamento temporale per creare una tabella partizionata per data di importazione o una tabella partizionata in base a una colonna DATE o TIMESTAMP. Se specificata, la tabella viene prima partizionata e poi raggruppata in cluster utilizzando le colonne fornite.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--debug_mode={true|false}
(Facoltativo) Imposta il livello di logging su debug.
--destination_kms_key=KEY
(Facoltativo) La chiave Cloud KMS per la crittografia dei dati della tabella di destinazione.
--encoding o -E=ENCODING
(Facoltativo) Specifica il set di caratteri da utilizzare per la codifica e la decodifica dei campi di caratteri. Se specificato, questo valore sostituisce il valore predefinito impostato dalla variabile di ambiente ENCODING.
--field_delimiter o -F=FIELD
(Facoltativo) Specifica il delimitatore di colonne nei dati CSV. Utilizza \t o tab come delimitatori di tabulazione.
--help o -h
Visualizza questo testo di assistenza.
--ignore_unknown_values=VALUES
(Facoltativo) Ignora i valori extra non riconosciuti nei dati CSV o JSON.
--location=LOCATION
(facoltativo) Specifica una regione o una multi-regione in cui eseguire il comando. Il valore predefinito è US.
--max_bad_records=RECORDS
(Facoltativo) Imposta il numero massimo di record non validi consentiti prima che il job non vada a buon fine. Vengono restituiti al massimo cinque errori di qualsiasi tipo, indipendentemente dal valore di --max_bad_records. Questo flag si applica solo al caricamento di dati CSV, JSON e Google Sheets. Il valore predefinito è 0.
--max_polling_interval_ms=MILLISECONDS
(Facoltativo) Il tempo di attesa massimo per un job BigQuery.
--null_marker=MARKER
(Facoltativo) Specifica una stringa personalizzata che rappresenti un valore NULL nei dati CSV.
--projection_fields=FIELDS
(Facoltativo) Se imposti --source_format su DATASTORE_BACKUP, questo flag indica le proprietà dell'entità da caricare da un'esportazione del datastore. Specifica i nomi delle proprietà in un elenco separato da virgole. I nomi delle proprietà sono sensibili alle maiuscole e devono fare riferimento alle proprietà di primo livello. Puoi utilizzare questo flag anche con le esportazioni di Firestore.
--quote=QUOTE
(Facoltativo) Specifica un carattere di citazione per racchiudere i campi nei dati CSV. Puoi specificare qualsiasi carattere a un byte come argomento. Il valore predefinito è una virgoletta doppia ("). Per specificare che non sono presenti caratteri di virgolette, utilizza una stringa vuota.
--replace
(Facoltativo) Sostituisci i dati esistenti nella tabella di destinazione con i dati caricati.
--require_partition_filter={true|false}
(Facoltativo) Imposta su true per avere un filtro di partizione per le query sulla tabella fornita. Questo argomento si applica solo alle tabelle partizionate e se il flag --time_partitioning_field è impostato su true. Il valore predefinito è false.
--schema=SCHEMA
(Facoltativo) Definisci lo schema della tabella di destinazione. Specifica il valore come elenco separato da virgole di definizioni di colonne nel formato [FIELD]:[DATA_TYPE]. Esempio: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(Facoltativo) Quando aggiungi dati a una tabella (in un job di caricamento o di query) o quando sovrascrivi una partizione di tabella, specifica come aggiornare lo schema della tabella di destinazione. Utilizza uno dei seguenti valori:
  • ALLOW_FIELD_ADDITION: Consenti l'aggiunta di nuovi campi
  • ALLOW_FIELD_RELAXATION: Consenti ai campi di rilassamento REQUIRED di NULLABLE
Ripeti questo flag per specificare più opzioni di aggiornamento dello schema.
--skip_leading_rows=NUMBER
(Facoltativo) Specifica il numero di righe da ignorare all'inizio del file di origine. Il valore predefinito è 0.
--source_format=FORMAT
(Facoltativo) Specifica il formato dei dati di origine. Puoi utilizzare uno dei seguenti valori: CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (utilizza questo valore per Filestore), PARQUET, ORC. Il valore predefinito è ORC.
--stats_table=TABLE
(Facoltativo) Specifica la tabella in cui inserire le statistiche.
--time_partitioning_expiration=SECONDS
(Facoltativo) Specifica quando deve essere eliminata una partizione basata sul tempo, in secondi. Il tempo di scadenza corrisponde alla data UTC della partizione più il valore specificato. Se fornisci un numero negativo, la partizione basata sul tempo non scade mai.
--time_partitioning_field=FIELD
(Facoltativo) Specifica il campo utilizzato per determinare come creare una partizione basata sul tempo. Se il partizionamento basato sul tempo è attivato senza questo valore, la tabella viene partizionata in base all'ora di caricamento.
--time_partitioning_type=TYPE
(Facoltativo) Abilita il partizionamento basato sul tempo in una tabella e imposta il tipo di partizione utilizzando il seguente valore: DAY.
--use_avro_logical_types={true|false}
(Facoltativo) Se --source_format è impostato su AVRO, imposta questo flag su true per convertire i tipi logici nei tipi corrispondenti (ad esempio TIMESTAMP) anziché utilizzare solo i tipi non elaborati (ad esempio INTEGER). Il valore predefinito è false.

bq mk

Crea una risorsa BigQuery, ad esempio tabelle integrate o tabelle esterne, per cui è necessario configurare il partizionamento e il clustering. Puoi anche utilizzare il comando bq mk per generare una tabella BigQuery direttamente dall'analisi dei copybook COBOL utilizzando il flag --schema_from_copybook.

Trama

bq mk [options]

Flag e argomenti

Il comando bq mk utilizza i seguenti flag e argomenti:

--project_id=ID
Specifica il progetto da utilizzare per eseguire questo comando.
--tablespec=TABLE
Specifica la tabella di destinazione per i dati. Il formato supportato è [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(Facoltativo) Specifica un elenco separato da virgole di massimo quattro nomi di colonne che specificano i campi da utilizzare per il clustering delle tabelle.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--description=DESCRIPTION
(Facoltativo) Fornisci una descrizione del set di dati o della tabella.
--dry_run
(Facoltativo) Stampa l'istruzione DDL (Data Definition Language) della tabella.
--encoding=ENCODING
(Facoltativo) Specifica il set di caratteri da utilizzare per la codifica e la decodifica dei campi di caratteri. Se specificato, questo valore sostituisce il valore predefinito impostato dalla variabile di ambiente ENCODING.
--expiration=EXPIRATION
(Facoltativo) Specifica la durata della tabella. Se non specifichi un valore, BigQuery crea la tabella con la durata predefinita della tabella del set di dati oppure la tabella non scade.
--external_table_definition o -e=TABLE
(Facoltativo) Specifica un nome e una definizione dello schema per creare una tabella esterna. Esempio: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help o -h
Visualizza questo testo di assistenza.
--location=LOCATION
(facoltativo) Specifica una regione o una multi-regione in cui eseguire il comando. Il valore predefinito è US.
--parser_type=TYPE
(Facoltativo) Imposta il parser di configurazione su legacy, copybook o auto. Il valore predefinito è auto.
--require_partition_filter={true|false}
(Facoltativo) Imposta su true per avere un filtro di partizione per le query sulla tabella fornita. Questo argomento si applica solo alle tabelle partizionate e se il flag --time_partitioning_field è impostato su true. Il valore predefinito è true.
--schema=SCHEMA
(Facoltativo) Specifica il percorso a un file JSON di schema locale oppure un elenco di definizioni di colonne separate da virgole nel formato FIELD:DATA_TYPE, FIELD:DATA_TYPE e così via.
--schema_from_copybook=SCHEMA
(Facoltativo) Genera lo schema da un copybook.
--table o -t=TABLE
(Facoltativo) Crea una tabella.
--time_partitioning_expiration=SECONDS
(Facoltativo) Specifica quando deve essere eliminata una partizione basata sul tempo, in secondi. Il tempo di scadenza corrisponde alla data UTC della partizione più il valore specificato. Se fornisci un numero negativo, la partizione basata sul tempo non scade mai.
--time_partitioning_field=FIELD
(Facoltativo) Specifica il campo utilizzato per determinare come creare una partizione basata sul tempo. Se il partizionamento basato sul tempo è attivato senza questo valore, la tabella viene partizionata in base all'ora di caricamento.
--view
(Facoltativo) Crea una visualizzazione.

bq query

Esegui una query BigQuery.

Trama

bq query [options]

Flag e argomenti

Puoi eseguire questo comando nelle modalità locale e remota. Per la modalità remota, vedi i flag --remoteHost, --remotePort e --remoteUrl e la variabile di ambiente BQ_QUERY_REMOTE_EXECUTION. Il comando bq query utilizza i seguenti flag e argomenti:

--project_id=ID
Specifica il progetto da utilizzare per eseguire questo comando.
--allow_large_results
(Facoltativo) Utilizza dimensioni delle tabelle di destinazione di grandi dimensioni per le query SQL precedente precedenti.
--append_table
(Facoltativo) Aggiungi i dati caricati ai dati esistenti nella tabella di destinazione.
--batch
(Facoltativo) Esegui la query in modalità batch.
--clustering_fields=FIELDS
(Facoltativo) Specifica un elenco separato da virgole di massimo quattro nomi di colonna che specificano i campi da utilizzare per il clustering delle tabelle. Se specifichi questo valore con il partizionamento, la tabella viene prima partizionata e poi ogni partizione viene raggruppata in cluster utilizzando le colonne fornite.
--create_if_needed
(Facoltativo) Crea la tabella di destinazione se non esiste.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--destination_table=TABLE
(Facoltativo) Specifica la tabella di destinazione in cui vuoi scrivere i risultati della query.
--dry_run
(Facoltativo) Convalida la query senza eseguirla.
--follow={true|false}
(Facoltativo) Imposta su true per monitorare i singoli passaggi della query o lo script nel suo complesso. Il valore predefinito è false.
--help o -h
Visualizza questo testo di assistenza.
--location=LOCATION
(facoltativo) Specifica una regione o una multi-regione in cui eseguire il comando. Il valore predefinito è US.
--maximum_bytes_billed=BYTES
(Facoltativo) Specifica il limite dei byte fatturati per la query.
--parameters=PARAMETERS
(Facoltativo) Specifica i parametri di ricerca separati da virgole nel formato [NAME]:[TYPE]:[VALUE]. Un nome vuoto crea un parametro posizionale. Puoi omettere [TYPE] per presupporre un valore STRING nel formato name::value o ::value. NULL produce un valore nullo.
--query_dsn=DSN
(Facoltativo) Specifica il DSN da cui leggere la query nel formato HLQ.MEMBER o HLQ.PDS(MEMBER). Se query_dsn non viene fornito, viene utilizzato QUERY DD.
--remoteHost=HOST
(Facoltativo) Specifica l'indirizzo IP dell'host remoto. Per eseguire la query in modalità remota, imposta la variabile di ambiente BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(Facoltativo) Specifica la porta remota. Il valore predefinito è 51770. Per eseguire la query in modalità remota, imposta la variabile di ambiente BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(Facoltativo) Specifica l'URL remoto. Per eseguire la query in modalità remota, imposta la variabile di ambiente BQ_QUERY_REMOTE_EXECUTION.
--replace
(Facoltativo) Sovrascrivi la tabella di destinazione con i risultati della query.
--report_row_limit=LIMIT
(Facoltativo) Specifica il numero massimo di righe da stampare nel report di controllo. Il valore predefinito è 30.
--require_partition_filter={true|false}
(Facoltativo) Imposta su true per avere un filtro di partizione per le query sulla tabella fornita. Il valore predefinito è true.
--schema_update_option=OPTION
(Facoltativo) Aggiorna lo schema della tabella di destinazione durante l'aggiunta dei dati. Utilizza i seguenti valori:
  • ALLOW_FIELD_ADDITION: consente di aggiungere nuovi campi.
  • ALLOW_FIELD_RELAXATION: consente di rilassare i campi REQUIRED fino a NULLABLE.
--split_sql={true|false}
(Facoltativo) Imposta su true per dividere lo script SQL di input in singole query. Il valore predefinito è true.
--stats_table=TABLE
(Facoltativo) Specifica la tabella in cui inserire le statistiche.
--sync={true|false}
(Facoltativo) Esegui il comando in modalità sincrona.
--synchronous_mode={true|false}
(Facoltativo) Un'alternativa a --sync.
--timeOutMinutes=MINUTES
(Facoltativo) Specifica il timeout in minuti per una risposta del job BigQuery. Il valore predefinito è 240 minuti.
--time_partitioning_expiration=SECONDS
(Facoltativo) Specifica quando deve essere eliminata una partizione basata sul tempo, in secondi. Il tempo di scadenza corrisponde alla data UTC della partizione più il valore specificato. Se fornisci un numero negativo, la partizione basata sul tempo non scade mai.
--time_partitioning_field=FIELD
(Facoltativo) Specifica il campo utilizzato per determinare come creare una partizione basata sul tempo. Se il partizionamento basato sul tempo è attivato senza questo valore, la tabella viene partizionata in base all'ora di caricamento.
--time_partitioning_type=TYPE
(Facoltativo) Attiva il partizionamento basato sul tempo in una tabella e imposta il tipo di partizione utilizzando uno dei seguenti valori: DAY, HOUR, MONTH, YEAR.
--use_cache={true|false}
(Facoltativo) Imposta su true per memorizzare nella cache i risultati della query. Il valore predefinito è true.
--use_legacy_sql
(Facoltativo) Utilizza SQL precedente anziché SQL standard.

cloud run job cancel

Annulla l'esecuzione di un job specifico.

Trama

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Flag e argomenti

Il comando cloud run job cancel utilizza i seguenti flag e argomenti:

EXECUTION
Specifica il nome dell'ID esecuzione del job Cloud Run.
--help o -h
(Facoltativo) Mostra questo messaggio della guida.
--project=PROJECT
Specifica l'ID progetto.
--region=REGION
Specifica la regione in cui si trova la risorsa.

cloud run job execute

Esegui un job specifico.

Trama

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Flag e argomenti

Il comando cloud run job execute utilizza i seguenti flag e argomenti:

JOB
Specifica il nome del job Cloud Run da eseguire.
--args=ARGS
(Facoltativo) Argomenti separati da virgole passati al comando eseguito dall'immagine container. Se fornito, verrà creata un'esecuzione con i valori di input.
--async
(Facoltativo) Specifica questo flag se vuoi tornare immediatamente, senza attendere il completamento dell'operazione in corso.
--dump-execution-id=EXECUTION-ID : DataPath
(Facoltativo) Specifica il file in cui scrivere l'ID esecuzione.
--help o -h
(Facoltativo) Mostra questo messaggio della guida.
--polling-interval=POLLINGINTERVAL
(Facoltativo) Imposta l'intervallo di polling per la visualizzazione dei log quando --tail_logs è attivato. Il valore predefinito è 60 secondi.
--project=PROJECT
Specifica l'ID progetto.
--region=REGION
Specifica la regione in cui si trova la risorsa.
--tail-logs
(Facoltativo) Se esegui il comando in modalità sincrona specificando il flag --tail_logs, Mainframe Connector visualizza i log di avanzamento sullo schermo. Se specifichi sia i flag --tail_logs che --async, viene visualizzato un messaggio di errore. Poiché Cloud Logging non supporta la registrazione dei log in tempo reale, il comando mostra solo i log già registrati. Di conseguenza, alcuni log potrebbero mancare quando utilizzi il flag --tail_logs. Per visualizzare i log completi del job, utilizza il comando cloud run job log al termine del job.
--task-timeout=TIMEOUT
(Facoltativo) Mostra il tempo massimo (scadenza) esistente per l'esecuzione di un tentativo di attività del job. Se non specificato, verrà utilizzato il valore predefinito del job.
--update-env-vars=ENVVARS
(Facoltativo) Elenco di coppie chiave-valore da impostare come override delle variabili di ambiente per l'esecuzione di un job.
--wait
(Facoltativo) Specifica questo flag se vuoi che il comando attenda il completamento dell'esecuzione prima di uscire.

cloud run job log

Visualizza i log di Cloud Run

Trama

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

Flag e argomenti

Il comando cloud run job log utilizza i seguenti flag e argomenti:

EXECUTION_ID
Il nome dell'ID esecuzione del job Cloud Run.
--help o -h
(Facoltativo) Mostra questo messaggio della guida.
--log-filter=FILTER
(Facoltativo) Espressione di filtro che specifica le voci di log da restituire.
--polling-interval=POLLINGINTERVAL
(Facoltativo) Imposta l'intervallo di polling per la visualizzazione dei log quando --tail_logs è attivato. Il valore predefinito è 60 secondi.
--project=PROJECT
Specifica l'ID progetto.
--region=REGION
Specifica la regione in cui si trova la risorsa.
--tail
(Facoltativo) Se impostato, mostra solo i nuovi log a partire da questo momento. Se non è impostato, verranno mostrati tutti i log dei job.
--timeout=TIMEOUT
(Facoltativo) Timeout dopo il quale il comando verrà chiuso. Se non è impostato, il comando scade quando l'esecuzione termina.

copy text

Copia il set di dati di testo.

Trama

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

Flag e argomenti

Il comando copy text utilizza i seguenti flag e argomenti:

INPUT : DataPath
Specifica il percorso dei dati del file di input che vuoi copiare.
OUTPUT : DataPath
Specifica il percorso dei dati del file di output che vuoi copiare e codificare.
--buffer-size=BUFFERSIZE : DataSize
(Facoltativo) Indica le dimensioni di lettura della memoria per ogni blocco. Il valore predefinito è 64 MiB.
--help o -h
(Facoltativo) Mostra questo messaggio della guida.

gsutil cp

Esegui la transcodifica dei dati dal mainframe a un bucket Cloud Storage.

Trama

gsutil cp [options] gcsUri [dest]

Flag e argomenti

Puoi utilizzare questo comando per i seguenti scopi:

  • Copia e transcodifica un file da un ambiente Mainframe o Linux a Cloud Storage.
    • Fonte: --inDSN. Se non fornito, viene specificato da DD INFILE.
    • Destinazione: gcsUri
  • Copiare e transcodificare un file in Cloud Storage
    • Origine: gcsUri
    • Destinazione: --destPath
  • Copia un file da Cloud Storage a un mainframe.
    • Origine: gcsUri
    • Destinazione: --destDSN
    • Flag pertinenti: --lrecl, --blksize, --recfm, --noseek.
  • Copia un file da Cloud Storage in un ambiente Linux.
    • Origine: gcsUri
    • Destinazione: --destPath
Questo comando può essere eseguito in modalità locale, remota e autonoma. Per la modalità remota, consulta i flag --remote, --remoteHost, --remotePort e --remoteUrl. Il comando gsutil cp utilizza i seguenti flag e argomenti:

dest
(Facoltativo) Il percorso locale o il nome dell'origine dati (DSN). Formati di esempio: /path/to/file, DATASET.MEMBER
gcsUri
L'URI Cloud Storage nel formato gs://bucket/path. Può rappresentare sia la posizione di origine che quella di destinazione, a seconda dell'utilizzo.
--batchSize=SIZE
(Facoltativo) Specifica i blocchi da utilizzare per batch. Il valore predefinito è 1000.
--blksize=SIZE
(Facoltativo) Specifica la dimensione del blocco del file da copiare nel mainframe. Se blksize=0 e recfm non sono U, il sistema mainframe determina la dimensione ottimale del blocco per il file.
--cobDsn=DSN
(Facoltativo) Specifica il DSN del copybook che vuoi utilizzare. Se non fornisci un valore, Mainframe Connector legge da DD COPYBOOK.
--connections=NUMBER
(Facoltativo) Specifica il numero di connessioni che possono essere effettuate al ricevitore remoto. Il valore predefinito è 10.
--dataset_id=ID
(Facoltativo) Specifica il set di dati predefinito da utilizzare con il comando. Puoi impostare il valore su [PROJECT_ID]:[DATASET] o [DATASET]. Se [PROJECT_ID] non è presente, viene utilizzato il progetto predefinito.
--destDSN=OUTPUT
(Facoltativo) Specifica il DSN di destinazione.
--destPath=OUTPUT
(Facoltativo) Specifica il percorso di destinazione.
--dry_run
(Facoltativo) Testa l'analisi e la decodifica del copybook del file QSAM.
--encoding=ENCODING
(Facoltativo) Specifica il set di caratteri da utilizzare per la codifica e la decodifica dei campi di caratteri. Se specificato, questo valore sostituisce il valore predefinito impostato dalla variabile di ambiente ENCODING.
--help o -h
Visualizza questo testo di assistenza.
--inDsn=DSN
(Facoltativo) Specifica il DSN nel file che vuoi utilizzare. Se non fornisci un valore, Mainframe Connector legge da DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Facoltativo) Specifica il timeout keep-alive in secondi per un canale HTTP. Il valore predefinito è 480 secondi.
--location=LOCATION
(facoltativo) Specifica una regione o una multi-regione in cui eseguire il comando. Il valore predefinito è US.
--lowerCaseColumnNames
(Facoltativo) Crea nomi di colonne in minuscolo per i campi del copybook.
--lrecl=LRECL
(Facoltativo) Specifica la lunghezza del record logico (lrecl) del file che vuoi copiare nel mainframe.
--maxChunkSize=SIZE
(Facoltativo) Specifica la dimensione massima del blocco per batch. Per descrivere la dimensione, devi utilizzare K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB o TB. Il valore predefinito è 128 MiB.
--max_error_pct=PCT
(Facoltativo) Specifica la soglia di errore del job per gli errori di decodifica delle righe. I valori validi sono compresi nell'intervallo [0,0, 1,0]. Il valore predefinito è 0.
--noseek
(Facoltativo) Migliora le prestazioni di download da Cloud Storage al mainframe.
--parallel o -m
(Facoltativo) Imposta il numero di autori simultanei su 4.
--parallelism o -p=NUMBER
(Facoltativo) Specifica il numero di autori simultanei. Il valore predefinito è 4.
--parser_type=TYPE
(Facoltativo) Imposta il parser di configurazione su legacy, copybook o auto. Il valore predefinito è auto.
--preload_chunk_count=NUMBER
(Facoltativo) Specifica il numero di blocchi da precaricare dai dischi mentre tutti i worker sono occupati. Il valore predefinito è 2.
--project_id=ID
(Facoltativo) Specifica il progetto da utilizzare per eseguire questo comando.
--recfm=REFCM
(Facoltativo) Specifica il recfm del file che vuoi copiare nel mainframe. Puoi utilizzare uno dei seguenti valori: F, FB, V, VB, U. Il valore predefinito è FB.
--remote
(Facoltativo) Utilizza un decoder remoto.
--remoteHost=HOST
(Facoltativo) Specifica l'indirizzo IP dell'host remoto. Per eseguire Mainframe Connector in modalità remota, imposta il flag --remote.
--remotePort=PORT
(Facoltativo) Specifica la porta remota da utilizzare. Il valore predefinito è 51770. Per eseguire Mainframe Connector in modalità remota, imposta il flag --remote.
--remoteUrl=URL
(Facoltativo) Specifica l'URL remoto. Per eseguire Mainframe Connector in modalità remota, imposta il flag --remote.
--replace
(Facoltativo) Elimina la destinazione in modo ricorsivo prima del caricamento.
--stats_table=TABLE
(Facoltativo) Specifica la tabella in cui inserire le statistiche.
--tfDSN=DSN
(Facoltativo)
specifica le trasformazioni da un DSN, DATASET.MEMBER o PDS(MBR).
--tfGCS=GCS
(Facoltativo) Specifica il file di trasformazioni da Cloud Storage.
--timeOutMinutes=MINUTES
(Facoltativo) Specifica il timeout in minuti per una chiamata grpc remota. Il valore predefinito è 90 minuti per Cloud Storage e 50 minuti per un mainframe.

gsutil rm

Rimuovi gli oggetti Cloud Storage.

Trama

gsutil rm [-hR] URL...

Flag e argomenti

Il comando gsutil rm utilizza i seguenti flag e argomenti:

URL
Specifica la posizione di Cloud Storage nel formato gs://bucket/prefix.
--help o -h
(Facoltativo) Mostra questo messaggio della guida.
-R o -r
(Facoltativo) Elimina in modo ricorsivo i contenuti di directory o oggetti che corrispondono all'espressione del percorso. Non genera un errore se la directory o l'oggetto non esiste.

pubsub topics publish

Pubblica un messaggio in un argomento Pub/Sub.

Questo comando consente di inviare i dati dei messaggi direttamente utilizzando il flag --data o tramite un file utilizzando il flag --data-path. Puoi anche includere attributi, una chiave di ordinamento e applicare le proprietà dei messaggi. Inoltre, puoi applicare sostituzioni di stringhe dinamiche al contenuto del messaggio.

Trama

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

Flag e argomenti

Il comando pubsub topics publish utilizza i seguenti flag e argomenti:

TOPIC
Specifica il nome dell'argomento nel formato projects/{project}/topics/{topic}.
--attributes=NAME=VALUE
(Facoltativo) Specifica un elenco di attributi separati da virgole. Ogni ATTRIBUTE ha il formato name=value. Puoi specificare fino a 100 attributi. Per un elenco completo delle linee guida per gli attributi, consulta Utilizzare gli attributi per pubblicare un messaggio.
--data-path=DATAPATH : DataPath
(Facoltativo) Specifica il percorso del file contenente i dati del messaggio. Devi impostare uno dei flag --data o --data-path, ma non entrambi. Per ulteriori informazioni sulla formattazione dei messaggi e sui limiti di dimensione, vedi Pubblicare messaggi per argomenti.
--data=DATA
(Facoltativo) Specifica il corpo del messaggio che vuoi pubblicare con il nome dell'argomento specificato. Devi impostare uno dei flag --data o --data-path, ma non entrambi. Per ulteriori informazioni sulla formattazione dei messaggi e sui limiti di dimensione, vedi Pubblicare messaggi per argomenti.
--help o -h
(Facoltativo) Mostra questo messaggio della guida.
--message-property=KEY=VALUE
(Facoltativo) Specifica le proprietà da applicare al messaggio. Una chiave di proprietà valida è encoding. Questa chiave di proprietà specifica la codifica dei caratteri da utilizzare per la stringa del messaggio. La stringa del messaggio viene convertita in byte utilizzando questa codifica prima di essere inviata all'argomento Pub/Sub. Per un elenco dei valori di codifica supportati, consulta Codifiche supportate. Il valore predefinito è UTF-8.
--ordering-key=ORDERING-KEY
(Facoltativo) Specifica la chiave per la consegna ordinata dei messaggi agli abbonati. Tutti i messaggi con la stessa chiave di ordinamento vengono inviati ai sottoscrittori nell'ordine in cui li riceve Pub/Sub.
--substitution=KEY=VALUE

(Facoltativo) Utilizzando --data o --data-path, specifica le coppie chiave-valore da utilizzare per la sostituzione dinamica da applicare ai dati dei messaggi Pub/Sub. Mainframe Connector esegue la scansione dei dati dei messaggi per individuare i segnaposto e li sostituisce con i valori corrispondenti. Definisci i segnaposto nei dati utilizzando la sintassi ${KEY}, ad esempio ${NAME}. Specifica ogni sostituzione come una coppia chiave-valore utilizzando il formato KEY=VALUE. Puoi specificare più sostituzioni ripetendo l'opzione: --substitution key1=value1 --substitution key2=value2.

Ad esempio, se i dati di input sono: Hello, ${username}! e utilizzi --substitution username=World, il messaggio inviato a Pub/Sub sarà: Hello, World!.

qsam decode

Decodifica i dati QSAM.

Questo comando decodifica i record da un file QSAM nel formato specificato utilizzando l'argomento --output-format. Il file QSAM originale viene suddiviso in blocchi in base al valore specificato con l'argomento --max-chunk-size. L'output transcodificato viene salvato nel percorso di destinazione come file ordinati in ordine lessicografico.

Trama

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Flag e argomenti

Il comando qsam decode utilizza i seguenti flag e argomenti:

INPUT : DataPath
Specifica il percorso dei dati del file QSAM che vuoi decodificare.
OUTPUT : DataPath
Specifica il percorso dati del prefisso di output. Tutti gli output vengono archiviati con questo prefisso.
--chunk-size=CHUNK-SIZE : DataSize
(Facoltativo) Specifica la quantità di dati di input da includere in ogni file di output. Il file di output potrebbe essere più grande o più piccolo. La dimensione del blocco viene arrotondata per difetto al multiplo più vicino della lunghezza del record logico. Il valore predefinito è 128 MiB.
--copybook=COPYBOOK : DataPath
Specifica il percorso dei dati del file contenente il copybook.
--help o -h
(Facoltativo) Mostra questo messaggio della guida.
--input-parameter=KEY=VALUE

(Facoltativo) Specifica i parametri per configurare l'input. Ogni parametro è definito come KEY=VALUE. Le chiavi dei parametri di input supportate sono le seguenti:

--max-error-percent=MAX_ERROR_PERCENT

(Facoltativo) Specifica la percentuale di record elaborati che possono presentare errori prima che la procedura di transcodifica non vada a buon fine. Il valore può variare tra 0,0 (errore se si verificano errori di transcodifica) e 1,0 (nessun errore se si verificano errori di transcodifica). Il valore predefinito è 0.

--output-format=FORMAT : TranscodeFormat

(Facoltativo) Specifica il formato del file di output. Se fornisci DataPath di un argomento Pub/Sub come valore di OUTPUT, il formato di output predefinito è JSONL. Per tutti gli altri DataPaths, il formato di output predefinito è ORC.

--parallelism=COUNT

(Facoltativo) Specifica il numero di thread di elaborazione. Il valore deve essere uguale o inferiore al numero di core disponibili. Il valore predefinito è 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(Facoltativo) Specifica il numero di blocchi di dati da precaricare quando tutti i thread sono in elaborazione. Il valore predefinito è 1.

--replace

(Facoltativo) Se specificato, elimina il percorso di output in modo ricorsivo prima di scrivere i risultati della decodifica.

--transcode-configuration=CONFIG : DataPath

(Facoltativo) Specifica il file contenente la configurazione della transcodifica. Per ulteriori informazioni sul formato di configurazione del transcodificatore, consulta Configurazione del transcodificatore.

qsam encode

Codifica i dati QSAM.

Questo comando prende i dati da un'origine esterna e li converte in un file QSAM. L'input è definito dal valore specificato utilizzando l'argomento --input-format.

Trama

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Flag e argomenti

Il comando qsam encode utilizza i seguenti flag e argomenti:

INPUT : DataPath
Specifica il percorso dati del file di input che vuoi codificare in un file QSAM.
OUTPUT : DataPath
Specifica il percorso dei dati del file QSAM che vuoi codificare.
--copybook=COPYBOOK : DataPath
Specifica il percorso dei dati del file contenente il copybook.
--help o -h
(Facoltativo) Mostra questo messaggio della guida.
--input-format=FORMAT : TranscodeInputFormat
Specifica il formato dell'input.
--input-parameter=KEY=VALUE

(Facoltativo) Specifica i parametri per configurare l'input. Ogni parametro è definito come KEY=VALUE. Le chiavi dei parametri di input supportate sono le seguenti:

--input-stream-count=COUNT

(Facoltativo) Specifica il numero di flussi di input. Si tratta di un valore massimo, in realtà potrebbero essere utilizzati meno stream. Il valore predefinito è 1.

--parallelism=COUNT

(Facoltativo) Specifica il numero di thread di elaborazione. Il valore deve essere uguale o inferiore al numero di core disponibili. Il valore predefinito è 1.

--spillover=SPILLOVER : DataPath

(Facoltativo) Specifica un percorso dati per il set di dati di overflow. Se non specifichi queste informazioni, i dettagli dell'errore verranno eliminati.

--transcode-configuration=CONFIG : DataPath

(Facoltativo) Specifica il file contenente la configurazione della transcodifica. Per ulteriori informazioni sul formato di configurazione del transcodificatore, consulta Configurazione del transcodificatore.

scp

Copia i file in Cloud Storage.

Trama

scp [options] [input] [output]

Flag e argomenti

Per utilizzare questo comando, devi assicurarti di quanto segue:

  • Imposta un valore di input univoco tramite input, --inDD o --inDsn.
  • Imposta un valore di output univoco tramite l'output o --gcsOutUri.

Il comando scp utilizza i seguenti flag e argomenti:

input
(Facoltativo) Specifica il DD o il DSN da copiare. Puoi utilizzare --inDD o --inDsn.
output
(Facoltativo) Specifica l'URI dell'output utilizzando il formato gs://[BUCKET]/[PREFIX]. Puoi utilizzare --gcsOutUri.
--compress
(Facoltativo) Comprimi l'output con gzip.
--count o -n=RECORDS
(Facoltativo) Specifica il numero di record da copiare. Il valore predefinito è illimitato.
--encoding=ENCODING
(Facoltativo) Specifica la codifica dei caratteri di input. Il valore predefinito è CP037.
--gcsOutUri=URI
(Facoltativo) Specifica l'URI Cloud Storage di destinazione della copia del file.
--help o -h
Visualizza questo testo di assistenza.
--inDD=INPUT
(Facoltativo) Specifica il file DD da copiare. Il valore predefinito è DD INFILE.
--inDsn=INPUT
(Facoltativo) Specifica il DSN da copiare.
--noConvert
(Facoltativo) Disattiva la conversione dell'input di caratteri in ASCII. La conversione dei caratteri è abilitata per impostazione predefinita.

systemreport

Fornire il report di sistema.

Trama

systemreport [-h] [--available_security_providers] [--supported_ciphers]

Flag e argomenti

Il comando systemreport utilizza i seguenti flag e argomenti:

--available_security_providers
(Facoltativo) Stampa i fornitori di sicurezza supportati.
--help o -h
(Facoltativo) Mostra questo messaggio della guida.
--supported_ciphers
(Facoltativo) Stampa le cifrature supportate.

Tipi di parametri

Questi tipi comuni utilizzati nei comandi di Mainframe Connector.

DataPath

DataPath è una stringa che rappresenta un input o un output. Ogni tipo di DataPath ha il proprio prefisso e i propri argomenti, come segue:

  • DD:: i percorsi dei dati con questo prefisso puntano a un'istruzione di definizione dei dati (DD) quando vengono eseguiti in un job Job Control Language (JCL). Puoi modificare la codifica DD aggiungendo encoding= al DD. Ad esempio, DD:DDNAME o DD:DDNAME?encoding=UTF-8. La codifica DD predefinita è la codifica predefinita del sistema operativo.

  • DSN:: i percorsi dei dati con questo prefisso puntano a un nome dell'origine dati (DSN) quando vengono eseguiti su un mainframe. Puoi modificare la codifica del DSN aggiungendo encoding= al DSN. Ad esempio, DSN:HQ.FOO.BAR o DSN:HQ.FOO.BAR?encoding=cp037.

  • file:: i percorsi dei dati con questo prefisso rimandano a un file Unix. Nel file Unix puoi specificare quanto segue:

    • La lunghezza del record logico (LRECL) aggiungendo #lrecl prima di :.
    • Il formato del record (RECFM) aggiungendo &recfm prima di :. Il valore predefinito di RECFM è F.
    • La codifica aggiungendo &encoding prima di :. La codifica predefinita è UTF-8.

    Ad esempio, file:/path/to/file, file?80:/path/to/file, file?80&recfm=FB:/path/to/file o file?80&recfm=FB&encoding=cp037:/path/to/file.

  • gs://: i percorsi dei dati con questo prefisso puntano a un file in Cloud Storage. Nel file puoi specificare quanto segue:

    • LRECL aggiungendo ?lrecl=lrecl dopo il prefisso del bucket.
    • RECFM aggiungendo ?recfm=recfm dopo il prefisso del bucket. Il valore predefinito di RECFM è F.
    • La codifica aggiungendo ?encoding= dopo il prefisso del bucket. La codifica predefinita è UTF-8.

    Ad esempio, gs://my_bucket/my/file.txt,gs://my_bucket/my/file.txt?encoding=cp037,gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 o gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm.

  • pubsub:: i percorsi dei dati con questo prefisso puntano a una risorsa Pub/Sub. Ad esempio: pubsub:projects/projectId/topics/topicId.

Per i file Cloud Storage o Unix, se RECFM è impostato su V, Mainframe Connector legge e scrive i file nel formato zzLL nel seguente modo:

  • I primi due byte sono sempre 0x0000.
  • I due byte successivi rappresentano la dimensione dei dati.
  • I byte rimanenti costituiscono i dati effettivi del record.

DataSize

DataSize rappresenta una dimensione sotto forma di quantità e unità di misura, ad esempio 5 MiB. Puoi utilizzare uno spazio tra l'importo e l'ordine di grandezza. L'analisi delle dimensioni dei dati non fa distinzione tra maiuscole e minuscole, quindi puoi specificare le unità di misura sia in maiuscolo che in minuscolo.

Puoi specificare il valore nei seguenti formati:

  • Formato Java:b/k/m/g/t, rispettivamente per byte, kibibyte, mebibyte, gibibyte e tebibyte.
  • Formato internazionale:KiB/MiB/GiB/TiB, rispettivamente per kibibyte, mebibyte, gibibyte e tebibyte.
  • Formato della metrica: b/kb/mb/gb/tb, per byte, kilobyte, megabyte, gigabyte e terabyte rispettivamente.

TranscodeFormat

TranscodeFormat rappresenta il formato da utilizzare durante la procedura di transcodifica.

I valori validi sono:

  • ORC: ORC è un formato di file colonnare auto-descrittivo e sensibile al tipo.
  • CSV: CSV è un formato di testo normale che memorizza i dati tabellari con ogni riga che rappresenta una riga. Puoi specificare i parametri CSV utilizzando il parametro di input csv-dialect. Puoi definirlo come --input-parameter csv-dialect=DataPath, dove DataPath indica la posizione di questi parametri.
  • JSONL: JSONL è un formato di testo normale che memorizza i dati tabellari con ogni riga che rappresenta una riga. Puoi specificare i parametri JSON utilizzando il parametro di input json-dialect. Puoi definirlo come --input-parameter json-dialect=DataPath, dove DataPath indica la posizione di questi parametri.

TranscodeInputFormat

Il formato da utilizzare durante la transcodifica.

I valori validi sono:

  • BIGQUERY: estrae i dati direttamente da BigQuery. INPUT deve essere un percorso a un file di query.

    I parametri di input disponibili sono:

    • keep_order: utilizza questo valore se l'ordine esatto dei record è importante. Tieni presente che ciò limiterà il flusso di input.
    • project_id: l'ID progetto da utilizzare durante l'esecuzione del job.
    • location: posizione da utilizzare durante l'esecuzione del lavoro.

  • CSV: CSV è un formato di testo normale che memorizza i dati tabellari con ogni riga che rappresenta una riga. Puoi specificare i parametri CSV utilizzando il parametro di input csv-dialect. Puoi definirlo come --input-parameter csv-dialect=DataPath, dove DataPath indica la posizione di questi parametri.

  • JSONL: JSONL è un formato di testo normale che memorizza i dati tabellari con ogni riga che rappresenta una riga. Puoi specificare i parametri JSON utilizzando il parametro di input json-dialect. Puoi definirlo come --input-parameter json-dialect=DataPath, dove DataPath indica la posizione di questi parametri.