Befehle
bq export
Tabelle aus BigQuery exportieren.
Zusammenfassung
bq export [options]
Flags und Argumente
Um diesen Befehl auszuführen, müssen Sie eine SQL-Abfrage (siehe Flags --sql
und query_dsn
) und ein Copybook (siehe Flag cobDsn
) angeben. Sie können diesen Befehl im lokalen, Remote- und Standalone-Modus ausführen. Informationen zum Remote-Modus finden Sie unter den Flags --bucket
, --remoteHost
, --remotePort
und --remoteUrl
.
Der Befehl bq export
verwendet die folgenden Flags und Argumente:
--project_id
=ID- Geben Sie das Projekt an, das zum Ausführen dieses Befehls verwendet werden soll.
--allow_large_results
- (Optional) Große Zieltabellengrößen für Legacy-SQL-Abfragen verwenden
--batch
- (Optional) Führen Sie die Abfrage im Batchmodus aus.
--bucket
=BUCKET- (Optional) Schreiben Sie die Ausgabe des Befehls an einen Speicherort in einem Cloud Storage-Bucket. Die Ausgabedateien werden in den Zielpfad
gs://BUCKET/EXPORT/
geschrieben. Dieses Argument ist für den Remote-Modus erforderlich. --cobDsn
=DSN- (Optional) Geben Sie den Copybook-DSN an, den Sie verwenden möchten. Wenn Sie keinen Wert angeben, liest Mainframe Connector aus DD COPYBOOK.
--dataset_id
=ID- (Optional) Geben Sie das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--destination_table
=TABLE- (Optional) Geben Sie die Zieltabelle an, in die die Abfrageergebnisse geschrieben werden sollen.
--dry_run
- (Optional) Abfrage validieren, ohne sie auszuführen
--encoding
=ENCODING- (Optional) Geben Sie den Zeichensatz an, der für die Codierung und Decodierung von Zeichenfeldern verwendet werden soll. Wenn dieser Wert angegeben wird, überschreibt er den Standardwert, der durch die Umgebungsvariable
ENCODING
festgelegt wird. --exporter_thread_count
=COUNT- (Optional) Anzahl der Exporter-Threads festlegen Der Standardwert ist 4.
--help
oder-h
- Diesen Hilfetext anzeigen.
--keepAliveTimeInSeconds
=SECONDS- (Optional) Geben Sie das Keep-Alive-Zeitlimit in Sekunden für einen HTTP-Channel an. Der Standardwert beträgt 480 Sekunden.
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „US“.
--max_read_queue
=NUMBER- (Optional) Legen Sie die maximale Größe der Warteschlange für Avro-Datensätze fest. Der Standardwert ist das Doppelte der Anzahl der Threads.
--max_read_streams
=NUMBER- (Optional) Legen Sie die maximale Anzahl von Threads für Lesestreams fest. Der Standardwert ist 4.
--maximum_bytes_billed
=BYTES- Optional: Die für die Abfrage berechneten Byte begrenzen
--order_response
- (Optional) Die Antwort in der Reihenfolge beibehalten, in der sie von BigQuery zurückgegeben wurde.
--outDD
=OUTPUT- (Optional) Die Ausgabedatensätze werden in das angegebene Dataset in z/OS geschrieben. Der Standardwert ist DD OUTFILE.
--parser_type
=TYPE- (Optional) Stellen Sie den Konfigurationsparser auf
legacy
,copybook
oderauto
ein. Der Standardwert istauto
. --query_dsn
=DSN- (Optional) Lesen Sie eine Abfrage aus dem angegebenen Dataset in z/OS. Verwenden Sie das Format HLQ.MEMBER oder HLQ.PDS(MEMBER). Wenn Sie keinen Wert angeben, liest Mainframe Connector aus DD QUERY.
--remoteHost
=HOST- (Optional) Geben Sie die IP-Adresse des Remote-Hosts an. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, legen Sie das Flag
--bucket
fest. --remotePort
=PORT- Optional: Geben Sie den Remote-Port an. Der Standardwert ist 51770. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, legen Sie das Flag
--bucket
fest. --remoteUrl
=URL- (Optional) Geben Sie die Remote-URL an. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, legen Sie das Flag
--bucket
fest. --run_mode
=MODE- Optional: Wählen Sie die Exportimplementierung aus. Sie haben folgende Möglichkeiten:
directstorage
: Die Binärdatei wird lokal gespeichert (Standard).gcsoutput
: Die Binärdatei wird in Cloud Storage gespeichert.
--sql
=SQL- (Optional) Geben Sie die auszuführende BigQuery-SQL-Abfrage an.
--stats_table
=TABLE- (Optional) Geben Sie die Tabelle an, in die Statistiken eingefügt werden sollen.
--timeOutMinutes
=MINUTES- (Optional) Legen Sie das Zeitlimit für den Remote-gRPC-Aufruf in Minuten fest. Der Standardwert ist 90 Minuten.
--transcoding_buffer
=BUFFER- (Optional) Legt die Größe des Transcodierungspuffers pro Thread in MB fest. Der Standardwert ist 20.
--use_cache
={true|false}- Optional: Wenn Sie die Abfrageergebnisse im Cache speichern möchten, legen Sie „true“ fest.
--use_legacy_sql
- (Optional) Legacy-SQL anstelle von Standard-SQL verwenden.
bq load
Daten in eine BigQuery-Tabelle laden
Zusammenfassung
bq load [options] tablespec path
Flags und Argumente
Der Befehl bq load
verwendet die folgenden Flags und Argumente:
- path
- Geben Sie eine durch Kommas getrennte Liste von Quelldatei-URIs an. Das unterstützte Format ist
gs://bucket/path
. Beispiel:gs://my-bucket/data.orc,gs://my-bucket/more-data.orc
. - tablespec
- Geben Sie die Zieltabelle für die Daten an. Das unterstützte Format ist [PROJECT]:[DATASET].[TABLE] .
--project_id
=ID- Geben Sie das Projekt an, das zum Ausführen dieses Befehls verwendet werden soll.
--allow_jagged_rows
- (Optional) Das Fehlen von nachgestellten optionalen Spalten in CSV-Daten zulassen.
--allow_quoted_newlines
- (Optional) Zeilenumbrüche in CSV-Daten in Anführungszeichen zulassen.
--append_table
- (Optional) Die geladenen Daten an die vorhandenen Daten in der Zieltabelle anhängen.
--autodetect
- (Optional) Aktivieren Sie die automatische Schemaerkennung für CSV- und JSON-Daten.
--clustering_fields
=FIELDS- (Optional) Verwendet eine durch Kommas getrennte Liste von Spalten, um die Zieltabelle in einer Abfrage zu clustern. Dieses Flag muss mit den Flags für die zeitbasierte Partitionierung verwendet werden, um entweder eine nach Aufnahmezeit partitionierte Tabelle oder eine nach der Spalte
DATE
oderTIMESTAMP
partitionierte Tabelle zu erstellen. Wenn Sie dieses Flag angeben, wird die Tabelle zuerst partitioniert und dann anhand der entsprechenden Spalten geclustert. --dataset_id
=ID- (Optional) Geben Sie das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--debug_mode
={true|false}- Optional: Logging-Ebene auf „debug“ setzen
--destination_kms_key
=KEY- (Optional) Der Cloud KMS-Schlüssel für die Verschlüsselung der Zieltabellendaten.
--encoding
oder-E
=ENCODING- (Optional) Geben Sie den Zeichensatz an, der für die Codierung und Decodierung von Zeichenfeldern verwendet werden soll. Wenn dieser Wert angegeben ist, wird der Standardwert überschrieben, der durch die Umgebungsvariable
ENCODING
festgelegt wird. --field_delimiter
oder-F
=FIELD- (Optional) Geben Sie das Spaltentrennzeichen in den CSV-Daten an. Verwenden Sie
\t
odertab
für Tabulatortrennzeichen. --help
oder-h
- Diesen Hilfetext anzeigen.
--ignore_unknown_values
=VALUES- (Optional) Zusätzliche, nicht erkannte Werte in CSV- oder JSON-Daten ignorieren.
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „US“.
--max_bad_records
=RECORDS- (Optional) Legen Sie die maximale Anzahl ungültiger Datensätze fest, die zulässig sind, bevor der Job fehlschlägt. Unabhängig vom Wert
--max_bad_records
werden höchstens fünf Fehler eines beliebigen Typs zurückgegeben. Dieses Flag gilt nur für das Laden von CSV-, JSON- und Google Sheets-Daten. Der Standardwert ist 0. --max_polling_interval_ms
=MILLISECONDS- (Optional) Die maximale Wartezeit für einen BigQuery-Job.
--null_marker
=MARKER- Optional: Geben Sie einen benutzerdefinierten String an, der einen
NULL
-Wert in CSV-Daten darstellt. --projection_fields
=FIELDS- (Optional) Wenn Sie
--source_format
aufDATASTORE_BACKUP
setzen, gibt dieses Flag die Entitätsattribute an, die aus einem Datastore-Export geladen werden sollen. Geben Sie die Attributnamen in einer durch Kommas getrennten Liste an. Bei Propertynamen wird zwischen Groß- und Kleinschreibung unterschieden und sie müssen sich auf Properties auf oberster Ebene beziehen. Sie können dieses Flag auch für Firestore-Exporte verwenden. --quote
=QUOTE- (Optional) Geben Sie ein Anführungszeichen zum Hervorheben von Feldern in den CSV-Daten an. Sie können ein beliebiges Ein-Byte-Zeichen als Argument angeben. Der Standardwert ist ein doppeltes Anführungszeichen ("). Wenn Sie angeben möchten, dass es keine Anführungszeichen gibt, verwenden Sie einen leeren String.
--replace
- Optional: Ersetzen Sie vorhandene Daten in der Zieltabelle durch die geladenen Daten.
--require_partition_filter
={true|false}- (Optional) Wenn Sie einen Partitionsfilter für Abfragen in der bereitgestellten Tabelle anfordern möchten, legen Sie „true“ fest. Dieses Argument gilt nur für partitionierte Tabellen und wenn das Flag
--time_partitioning_field
auf „true“ gesetzt ist. Der Standardwert ist „false“. --schema
=SCHEMA- (Optional) Definieren Sie das Schema der Zieltabelle. Geben Sie den Wert als durch Kommas getrennte Liste von Spaltendefinitionen im Format [FIELD]:[DATA_TYPE] an. Beispiel:
name:STRING,age:INTEGER,city:STRING
--schema_update_option
=OPTION- (Optional) Gibt beim Anfügen von Daten an eine Tabelle (in einem Ladejob oder einem Abfragejob) oder beim Überschreiben einer Tabellenpartition an, wie das Schema der Zieltabelle aktualisiert wird. Verwenden Sie einen der folgenden Werte:
ALLOW_FIELD_ADDITION
: Ermöglicht das Einfügen neuer Felder zur SchemadefinitionALLOW_FIELD_RELAXATION
: Ermöglicht das Ändern vonREQUIRED
-Feldern inNULLABLE
--skip_leading_rows
=NUMBER- (Optional) Geben Sie die Anzahl der Zeilen an, die am Anfang der Quelldatei übersprungen werden sollen. Der Standardwert ist 0.
--source_format
=FORMAT- Optional: Geben Sie das Format der Quelldaten an. Sie können einen der folgenden Werte verwenden:
CSV
,NEWLINE_DELIMITED_JSON
,AVRO
,DATASTORE_BACKUP
(diesen Wert für Filestore verwenden),PARQUET
,ORC
. Der Standardwert istORC
. --stats_table
=TABLE- (Optional) Geben Sie die Tabelle an, in die Statistiken eingefügt werden sollen.
--time_partitioning_expiration
=SECONDS- (Optional) Geben Sie in Sekunden an, wann eine zeitbasierte Partition gelöscht werden soll. Die Ablaufzeit entspricht dem UTC-Datum der Partition plus dem angegebenen Wert. Wenn Sie eine negative Zahl angeben, läuft die zeitbasierte Partition nie ab.
--time_partitioning_field
=FIELD- (Optional) Geben Sie das Feld an, mit dem festgelegt wird, wie eine zeitbasierte Partition erstellt wird. Bei Aktivierung der zeitbasierten Partitionierung ohne Angabe dieses Werts wird die Tabelle basierend auf der Ladezeit partitioniert.
--time_partitioning_type
=TYPE- (Optional) Aktivieren Sie die zeitbasierte Partitionierung für eine Tabelle und legen Sie den Partitionstyp mit dem folgenden Wert fest:
DAY
. --use_avro_logical_types
={true|false}- (Optional) Wenn
--source_format
aufAVRO
gesetzt ist, legen Sie dieses Flag auf „true“ fest, um logische Typen in die entsprechenden Typen (z. B.TIMESTAMP
) zu konvertieren, anstatt nur deren Rohtypen (z. B.INTEGER
) zu verwenden. Der Standardwert ist „false“.
bq mk
Erstellen Sie BigQuery-Ressourcen wie integrierte Tabellen oder externe Tabellen, für die Partitionierung und Clustering eingerichtet werden müssen. Sie können auch den Befehl bq mk
verwenden, um eine BigQuery-Tabelle direkt aus dem Parsen von COBOL-Copybooks mit dem Flag --schema_from_copybook
zu generieren.
Zusammenfassung
bq mk [options]
Flags und Argumente
Der Befehl bq mk
verwendet die folgenden Flags und Argumente:
--project_id
=ID- Geben Sie das Projekt an, das zum Ausführen dieses Befehls verwendet werden soll.
--tablespec
=TABLE- Geben Sie die Zieltabelle für die Daten an. Das unterstützte Format ist [PROJECT]:[DATASET].[TABLE].
--clustering_fields
=FIELDS- (Optional) Geben Sie eine durch Kommas getrennte Liste mit bis zu vier Spaltennamen an, die die Felder für das Tabellen-Clustering angibt.
--dataset_id
=ID- (Optional) Geben Sie das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--description
=DESCRIPTION- Optional: Geben Sie eine Beschreibung für den Datensatz oder die Tabelle ein.
--dry_run
- (Optional) DDL-Anweisung (Data Definition Language, Datendefinitionssprache) der Tabelle ausgeben
--encoding
=ENCODING- (Optional) Geben Sie den Zeichensatz an, der für die Codierung und Decodierung von Zeichenfeldern verwendet werden soll. Wenn dieser Wert angegeben ist, wird der Standardwert überschrieben, der durch die Umgebungsvariable
ENCODING
festgelegt wird. --expiration
=EXPIRATION- (Optional) Geben Sie die Lebensdauer der Tabelle an. Wenn Sie keinen Wert angeben, erstellt BigQuery die Tabelle mit der Standardlebensdauer des Datasets für Tabellen oder die Tabelle läuft nicht ab.
--external_table_definition
oder-e
=TABLE- (Optional) Geben Sie einen Namen und eine Schemadefinition an, um eine externe Tabelle zu erstellen. Beispiel:
ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help
oder-h
- Diesen Hilfetext anzeigen.
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „US“.
--parser_type
=TYPE- (Optional) Stellen Sie den Konfigurationsparser auf
legacy
,copybook
oderauto
ein. Der Standardwert istauto
. --require_partition_filter
={true|false}- (Optional) Wenn Sie einen Partitionsfilter für Abfragen in der bereitgestellten Tabelle anfordern möchten, legen Sie „true“ fest. Dieses Argument gilt nur für partitionierte Tabellen und wenn das Flag
--time_partitioning_field
auf „true“ gesetzt ist. Der Standardwert ist „true“. --schema
=SCHEMA- (Optional) Geben Sie entweder den Pfad zu einer lokalen JSON-Schemadatei oder eine durch Kommas getrennte Liste von Spaltendefinitionen im Format FIELD:DATA_TYPE, FIELD:DATA_TYPE usw. an.
--schema_from_copybook
=SCHEMA- (Optional) Schema aus einem Copybook generieren
--table
oder-t
=TABLE- (Optional) Tabelle erstellen
--time_partitioning_expiration
=SECONDS- (Optional) Geben Sie in Sekunden an, wann eine zeitbasierte Partition gelöscht werden soll. Die Ablaufzeit entspricht dem UTC-Datum der Partition plus dem angegebenen Wert. Wenn Sie eine negative Zahl angeben, läuft die zeitbasierte Partition nie ab.
--time_partitioning_field
=FIELD- (Optional) Geben Sie das Feld an, mit dem festgelegt wird, wie eine zeitbasierte Partition erstellt wird. Bei Aktivierung der zeitbasierten Partitionierung ohne Angabe dieses Werts wird die Tabelle basierend auf der Ladezeit partitioniert.
--view
- Optional: Erstellen Sie eine Ansicht.
bq query
Führen Sie eine BigQuery-Abfrage aus.
Zusammenfassung
bq query [options]
Flags und Argumente
Sie können diesen Befehl im lokalen und im Remote-Modus ausführen. Informationen zum Remote-Modus finden Sie unter den Flags --remoteHost
, --remotePort
und --remoteUrl
sowie der Umgebungsvariable BQ_QUERY_REMOTE_EXECUTION
.
Der Befehl bq query
verwendet die folgenden Flags und Argumente:
--project_id
=ID- Geben Sie das Projekt an, das zum Ausführen dieses Befehls verwendet werden soll.
--allow_large_results
- (Optional) Große Zieltabellengrößen für Legacy-SQL-Abfragen verwenden
--append_table
- (Optional) Die geladenen Daten an die vorhandenen Daten in der Zieltabelle anhängen.
--batch
- (Optional) Führen Sie die Abfrage im Batchmodus aus.
--clustering_fields
=FIELDS- (Optional) Geben Sie eine durch Kommas getrennte Liste mit bis zu vier Spaltennamen an, die die Felder für das Tabellen-Clustering angeben. Wenn Sie diesen Wert mit der Partitionierung angeben, wird die Tabelle zuerst partitioniert und dann werden die Partitionen anhand der bereitgestellten Spalten geclustert.
--create_if_needed
- (Optional) Zieltabelle erstellen, falls sie nicht vorhanden ist
--dataset_id
=ID- (Optional) Geben Sie das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--destination_table
=TABLE- (Optional) Geben Sie die Zieltabelle an, in die die Abfrageergebnisse geschrieben werden sollen.
--dry_run
- (Optional) Abfrage validieren, ohne sie auszuführen
--follow
={true|false}- Optional: Auf „true“ setzen, um einzelne Abfrageschritte oder das gesamte Skript zu verfolgen. Der Standardwert ist "false".
--help
oder-h
- Diesen Hilfetext anzeigen.
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „US“.
--maximum_bytes_billed
=BYTES- Optional: Begrenzung der für die Abfrage berechneten Byte angeben
--parameters
=PARAMETERS- (Optional) Geben Sie durch Kommas getrennte Abfrageparameter im Format [NAME]:[TYPE]:[VALUE] an. Bei fehlender Namensangabe wird ein Positionsparameter erstellt. Sie können [TYPE] weglassen, um einen
STRING
-Wert im Format name::value oder ::value festzulegen.NULL
erzeugt einen Nullwert. --query_dsn
=DSN- (Optional) Geben Sie den DSN an, aus dem die Abfrage gelesen werden soll, im Format HLQ.MEMBER oder HLQ.PDS(MEMBER). Wenn
query_dsn
nicht angegeben ist, wird QUERY DD verwendet. --remoteHost
=HOST- (Optional) Geben Sie die IP-Adresse des Remote-Hosts an. Wenn Sie die Abfrage im Remotemodus ausführen möchten, legen Sie die Umgebungsvariable
BQ_QUERY_REMOTE_EXECUTION
fest. --remotePort
=PORT- Optional: Geben Sie den Remote-Port an. Der Standardwert ist 51770. Wenn Sie die Abfrage im Remotemodus ausführen möchten, legen Sie die Umgebungsvariable
BQ_QUERY_REMOTE_EXECUTION
fest. --remoteUrl
=URL- (Optional) Geben Sie die Remote-URL an. Wenn Sie die Abfrage im Remotemodus ausführen möchten, legen Sie die Umgebungsvariable
BQ_QUERY_REMOTE_EXECUTION
fest. --replace
- (Optional) Überschreiben Sie die Zieltabelle mit den Abfrageergebnissen.
--report_row_limit
=LIMIT- (Optional) Geben Sie die maximale Anzahl der Zeilen an, die im Audit-Bericht ausgegeben werden sollen. Der Standardwert ist 30.
--require_partition_filter
={true|false}- (Optional) Wenn Sie einen Partitionsfilter für Abfragen in der bereitgestellten Tabelle anfordern möchten, legen Sie „true“ fest. Der Standardwert ist „true“.
--schema_update_option
=OPTION- (Optional) Aktualisieren Sie das Schema der Zieltabelle, wenn Sie Daten anhängen. Verwenden Sie die folgenden Werte:
ALLOW_FIELD_ADDITION
: Ermöglicht das Einfügen neuer Felder.ALLOW_FIELD_RELAXATION
: Ermöglicht das Ändern vonREQUIRED
-Feldern inNULLABLE
.
--split_sql
={true|false}- (Optional) Legen Sie den Wert auf „true“ fest, um das eingegebene SQL-Skript in einzelne Abfragen aufzuteilen. Der Standardwert ist „true“.
--stats_table
=TABLE- (Optional) Geben Sie die Tabelle an, in die Statistiken eingefügt werden sollen.
--sync
={true|false}- (Optional) Führen Sie den Befehl im synchronen Modus aus.
--synchronous_mode
={true|false}- (Optional) Eine Alternative zu
--sync
. --timeOutMinutes
=MINUTES- (Optional) Geben Sie das Zeitlimit in Minuten für eine BigQuery-Jobantwort an. Der Standardwert ist 240 Minuten.
--time_partitioning_expiration
=SECONDS- (Optional) Geben Sie in Sekunden an, wann eine zeitbasierte Partition gelöscht werden soll. Die Ablaufzeit entspricht dem UTC-Datum der Partition plus dem angegebenen Wert. Wenn Sie eine negative Zahl angeben, läuft die zeitbasierte Partition nie ab.
--time_partitioning_field
=FIELD- (Optional) Geben Sie das Feld an, mit dem festgelegt wird, wie eine zeitbasierte Partition erstellt wird. Bei Aktivierung der zeitbasierten Partitionierung ohne Angabe dieses Werts wird die Tabelle basierend auf der Ladezeit partitioniert.
--time_partitioning_type
=TYPE- (Optional) Aktivieren Sie die zeitbasierte Partitionierung für eine Tabelle und legen Sie den Partitionstyp mit einem der folgenden Werte fest:
DAY
,HOUR
,MONTH
,YEAR
. --use_cache
={true|false}- (Optional) Wenn Sie die Abfrageergebnisse im Cache speichern möchten, setzen Sie den Wert auf „true“. Der Standardwert ist „true“.
--use_legacy_sql
- (Optional) Legacy-SQL anstelle von Standard-SQL verwenden.
cloud run job cancel
Eine bestimmte Jobausführung abbrechen.
Zusammenfassung
cloud run job cancel [-h] --project=PROJECT --region=REGION EXECUTION
Flags und Argumente
Der Befehl cloud run job cancel
verwendet die folgenden Flags und Argumente:
- EXECUTION
- Geben Sie die ID der Cloud Run-Jobausführung an.
--help
oder-h
- (Optional) Diese Hilfemeldung anzeigen
--project
=PROJECT- Geben Sie die Projekt-ID an.
--region
=REGION- Geben Sie die Region an, in der sich die Ressource befindet.
cloud run job execute
Einen bestimmten Job ausführen.
Zusammenfassung
cloud run job execute [-h] [--async] [--tail-logs] [--wait] [--dump-execution-id=EXECUTION-ID] [--polling-interval=POLLINGINTERVAL] --project=PROJECT --region=REGION [--task-timeout=TIMEOUT] [--args=ARGS]... [--update-env-vars=ENVVARS]... JOB
Flags und Argumente
Der Befehl cloud run job execute
verwendet die folgenden Flags und Argumente:
- JOB
- Geben Sie den Namen des auszuführenden Cloud Run-Jobs an.
--args
=ARGS- (Optional) Durch Kommas getrennte Argumente, die an den vom Container-Image ausgeführten Befehl übergeben werden. Wenn angegeben, wird eine Ausführung mit den Eingabewerten erstellt.
--async
- (Optional) Geben Sie dieses Flag an, wenn Sie sofort zurückkehren möchten, ohne auf den Abschluss des Vorgangs zu warten.
--dump-execution-id
=EXECUTION-ID : DataPath- (Optional) Geben Sie die Datei an, in die die Ausführungs-ID geschrieben werden soll.
--help
oder-h
- (Optional) Diese Hilfemeldung anzeigen
--polling-interval
=POLLINGINTERVAL- (Optional) Legt das Abfrageintervall für die Anzeige von Logs fest, wenn
--tail_logs
aktiviert ist. Der Standardwert ist 60 Sekunden. --project
=PROJECT- Geben Sie die Projekt-ID an.
--region
=REGION- Geben Sie die Region an, in der sich die Ressource befindet.
--tail-logs
- (Optional) Wenn Sie den Befehl im synchronen Modus ausführen, indem Sie das Flag
--tail_logs
angeben, werden die Fortschrittsprotokolle im Mainframe Connector auf dem Bildschirm angezeigt. Wenn Sie sowohl das Flag--tail_logs
als auch das Flag--async
angeben, wird eine Fehlermeldung angezeigt. Da Cloud Logging keine Echtzeitprotokollierung unterstützt, werden mit dem Befehl nur Logs angezeigt, die bereits in den Logs aufgezeichnet wurden. Daher fehlen möglicherweise einige Logs, wenn Sie das Flag--tail_logs
verwenden. Verwenden Sie den Befehlcloud run job log
, um die vollständigen Joblogs aufzurufen, nachdem der Job abgeschlossen ist. --task-timeout
=TIMEOUT- (Optional) Zeigt die vorhandene maximale Zeit (Frist) an, die für einen Versuch einer Jobaufgabe ausgeführt werden kann. Wenn keine Angabe erfolgt, wird der Standardwert des Jobs verwendet.
--update-env-vars
=ENVVARS- (Optional) Liste der Schlüssel/Wert-Paare, die als Überschreibungen von Umgebungsvariablen für die Ausführung eines Jobs festgelegt werden sollen.
--wait
- : Optionales Flag, mit dem festgelegt wird, ob der Befehl warten soll, bis die Ausführung abgeschlossen ist, bevor er beendet wird.
cloud run job log
Cloud Run-Logs anzeigen
Zusammenfassung
cloud run job log [-h] [--tail] [--log-filter=FILTER] [--polling-interval=POLLINGINTERVAL] --project=PROJECT --region=REGION [--timeout=TIMEOUT] EXECUTION_ID
Flags und Argumente
Der Befehl cloud run job log
verwendet die folgenden Flags und Argumente:
- EXECUTION_ID
- Der Name der Cloud Run-Jobausführungs-ID.
--help
oder-h
- (Optional) Diese Hilfemeldung anzeigen
--log-filter
=FILTER- (Optional) Filterausdruck, der die zurückzugebenden Logeinträge angibt.
--polling-interval
=POLLINGINTERVAL- (Optional) Legt das Abfrageintervall für die Anzeige von Logs fest, wenn
--tail_logs
aktiviert ist. Der Standardwert ist 60 Sekunden. --project
=PROJECT- Geben Sie die Projekt-ID an.
--region
=REGION- Geben Sie die Region an, in der sich die Ressource befindet.
--tail
- (Optional) Bei Festlegung werden nur neue Logs ab jetzt angezeigt. Wenn nicht festgelegt, werden alle Joblogs angezeigt.
--timeout
=TIMEOUT- (Optional) Zeitlimit, nach dem der Befehl beendet wird. Wenn der Wert nicht festgelegt ist, kommt es zu einer Zeitüberschreitung des Befehls, wenn die Ausführung beendet wird.
copy text
Text-Dataset kopieren.
Zusammenfassung
copy text [-h] [--buffer-size=BUFFERSIZE] INPUT OUTPUT
Flags und Argumente
Der Befehl copy text
verwendet die folgenden Flags und Argumente:
- INPUT : DataPath
- Geben Sie den Datenpfad der Eingabedatei an, die Sie kopieren möchten.
- OUTPUT : DataPath
- Geben Sie den Datenpfad der Ausgabedatei an, die Sie kopieren und codieren möchten.
--buffer-size
=BUFFERSIZE : DataSize- Optional: Geben Sie die Größe des Arbeitsspeicherlesevorgangs für jeden Bulk an. Der Standardwert ist 64 MiB.
--help
oder-h
- Optional: Diese Hilfemeldung anzeigen.
gsutil cp
Transcodieren Sie Daten von Ihrem Mainframe in einen Cloud Storage-Bucket.
Zusammenfassung
gsutil cp [options] gcsUri [dest]
Flags und Argumente
Sie können diesen Befehl für die folgenden verschiedenen Zwecke verwenden:
- Eine Datei von einem Mainframe oder einer Linux-Umgebung in Cloud Storage kopieren und transkodieren.
- Quelle:
--inDSN
. Wenn nicht angegeben, wird sie durch DD INFILE festgelegt. - Ziel:
gcsUri
- Datei in Cloud Storage kopieren und transkodieren
- Quelle:
gcsUri
- Ziel:
--destPath
- Eine Datei aus Cloud Storage auf einen Mainframe kopieren.
- Quelle:
gcsUri
- Ziel:
--destDSN
- Relevante Flags:
--lrecl
,--blksize
,--recfm
,--noseek
. - Eine Datei aus Cloud Storage in eine Linux-Umgebung kopieren.
- Quelle:
gcsUri
- Ziel:
--destPath
--remote
, --remoteHost
, --remotePort
und --remoteUrl
.
Der Befehl gsutil cp
verwendet die folgenden Flags und Argumente:
- dest
- (Optional) Der lokale Pfad oder der Datenquellennamen (Data Source Name, DSN). Beispielformate:
/path/to/file
, DATASET.MEMBER - gcsUri
- Der Cloud Storage-URI im Format
gs://bucket/path
. Kann je nach Verwendung sowohl den Quell- als auch den Zielort darstellen. --batchSize
=SIZE- (Optional) Geben Sie die Blöcke an, die pro Batch verwendet werden sollen. Der Standardwert ist 1.000.
--blksize
=SIZE- (Optional) Geben Sie die Blockgröße der Datei an, die auf den Mainframe kopiert werden soll. Wenn
blksize=0
undrecfm
nicht „U“ ist, bestimmt das Mainframe-System die optimale Blockgröße für die Datei. --cobDsn
=DSN- (Optional) Geben Sie den Copybook-DSN an, den Sie verwenden möchten. Wenn Sie keinen Wert angeben, liest Mainframe Connector aus DD COPYBOOK.
--connections
=NUMBER- (Optional) Geben Sie die Anzahl der Verbindungen an, die zum Remote-Empfänger hergestellt werden können. Der Standardwert ist 10.
--dataset_id
=ID- (Optional) Geben Sie das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--destDSN
=OUTPUT- Optional: Ziel-DSN angeben
--destPath
=OUTPUT- (Optional) Geben Sie den Zielpfad an.
--dry_run
- (Optional) Copybook-Parsing und ‑Decodierung der QSAM-Datei testen
--encoding
=ENCODING- (Optional) Geben Sie den Zeichensatz an, der für die Codierung und Decodierung von Zeichenfeldern verwendet werden soll. Wenn dieser Wert angegeben ist, wird der Standardwert überschrieben, der durch die Umgebungsvariable
ENCODING
festgelegt wird. --help
oder-h
- Diesen Hilfetext anzeigen.
--inDsn
=DSN- (Optional) Geben Sie den DSN für die Eingabedatei an, den Sie verwenden möchten. Wenn Sie keinen Wert angeben, liest Mainframe Connector aus DD INFILE.
--keepAliveTimeInSeconds
=SECONDS- (Optional) Geben Sie das Keep-Alive-Zeitlimit in Sekunden für einen HTTP-Channel an. Der Standardwert beträgt 480 Sekunden.
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „US“.
--lowerCaseColumnNames
- (Optional) Kleinbuchstaben für Spaltennamen von Copybook-Feldern verwenden
--lrecl
=LRECL- (Optional) Geben Sie die logische Datensatzlänge (lrecl) der Datei an, die Sie auf den Mainframe kopieren möchten.
--maxChunkSize
=SIZE- (Optional) Geben Sie die maximale Blockgröße pro Batch an. Verwenden Sie K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB oder TB, um die Größe zu beschreiben. Der Standardwert ist 128 MiB.
--max_error_pct
=PCT- Optional: Geben Sie den Schwellenwert für Jobfehler für Zeilendecodierungsfehler an. Gültige Werte liegen im Bereich [0,0, 1,0]. Der Standardwert ist 0.
--noseek
- (Optional) Downloadleistung von Cloud Storage auf den Mainframe verbessern
--parallel
oder-m
- (Optional) Legen Sie die Anzahl der gleichzeitigen Writer auf 4 fest.
--parallelism
oder-p
=NUMBER- (Optional) Geben Sie die Anzahl der gleichzeitigen Schreibvorgänge an. Der Standardwert ist 4.
--parser_type
=TYPE- (Optional) Stellen Sie den Konfigurationsparser auf
legacy
,copybook
oderauto
ein. Der Standardwert istauto
. --preload_chunk_count
=NUMBER- (Optional) Geben Sie die Anzahl der Chunks an, die von den Festplatten vorab geladen werden sollen, während alle Worker beschäftigt sind. Der Standardwert ist 2.
--project_id
=ID- (Optional) Geben Sie das Projekt an, das zum Ausführen dieses Befehls verwendet werden soll.
--recfm
=REFCM- Optional: Geben Sie den recfm der Datei an, die Sie auf den Mainframe kopieren möchten. Sie können einen der folgenden Werte verwenden: F, FB, V, VB, U. Der Standardwert ist FB.
--remote
- Optional: Remote-Decoder verwenden
--remoteHost
=HOST- (Optional) Geben Sie die IP-Adresse des Remote-Hosts an. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, legen Sie das Flag
--remote
fest. --remotePort
=PORT- (Optional) Geben Sie den zu verwendenden Remote-Port an. Der Standardwert ist 51770. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, legen Sie das Flag
--remote
fest. --remoteUrl
=URL- (Optional) Geben Sie die Remote-URL an. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, legen Sie das Flag
--remote
fest. --replace
- (Optional) Ziel rekursiv vor dem Hochladen löschen
--stats_table
=TABLE- (Optional) Geben Sie die Tabelle an, in die Statistiken eingefügt werden sollen.
--tfDSN
=DSN- (Optional) Geben Sie die Transformationen aus einem DSN, DATASET.MEMBER oder PDS(MBR) an.
--tfGCS
=GCS- (Optional) Transformationsdatei aus Cloud Storage angeben
--timeOutMinutes
=MINUTES- (Optional) Geben Sie das Zeitlimit in Minuten für einen Remote-gRPC-Aufruf an. Der Standardwert ist 90 Minuten für Cloud Storage und 50 Minuten für einen Mainframe.
gsutil rm
Cloud Storage-Objekte entfernen
Zusammenfassung
gsutil rm [-hR] URL...
Flags und Argumente
Der Befehl gsutil rm
verwendet die folgenden Flags und Argumente:
- URL
- Geben Sie den Cloud Storage-Speicherort im Format
gs://bucket/prefix
an. --help
oder-h
- (Optional) Diese Hilfemeldung anzeigen
-R
oder-r
- (Optional) Löschen Sie rekursiv den Inhalt von Verzeichnissen oder Objekten, die dem Pfadausdruck entsprechen. Es wird kein Fehler ausgegeben, wenn das Verzeichnis oder Objekt nicht vorhanden ist.
pubsub topics publish
Nachricht in einem Pub/Sub-Thema veröffentlichen
Mit diesem Befehl können Sie Nachrichtendaten entweder direkt mit dem Flag --data
oder über eine Datei mit dem Flag --data-path
senden. Sie können auch Attribute und einen Sortierschlüssel einfügen und Nachrichteneigenschaften anwenden. Außerdem können Sie dynamische String-Ersetzungen auf den Nachrichteninhalten anwenden.
Zusammenfassung
pubsub topics publish [-h] [--data=DATA] [--data-path=DATAPATH] [--ordering-key=ORDERING-KEY] [--attributes=NAME=VALUE[, NAME=VALUE...]]... [--message-property=KEY=VALUE]... [--substitution=KEY=VALUE]... TOPIC
Flags und Argumente
Der Befehl pubsub topics publish
verwendet die folgenden Flags und Argumente:
- TOPIC
- Geben Sie den Namen des Themas im Format
projects/{project}/topics/{topic}
an. --attributes
=NAME=VALUE- (Optional) Geben Sie eine durch Kommas getrennte Liste von Attributen an. Jeder ATTRIBUTE hat das Format
name=value
. Sie können bis zu 100 Attribute angeben. Eine vollständige Liste der Attributrichtlinien finden Sie unter Attribute zum Veröffentlichen von Nachrichten verwenden. --data-path
=DATAPATH : DataPath- (Optional) Geben Sie den Pfad zur Datei mit den Daten der Nachricht an. Sie müssen eines der Flags
--data
oder--data-path
festlegen, aber nicht beide. Weitere Informationen zur Nachrichtenformatierung und zu Größenbeschränkungen finden Sie unter Nachrichten in Themen veröffentlichen. --data
=DATA- (Optional) Geben Sie den Text der Nachricht an, die Sie im angegebenen Themanamen veröffentlichen möchten. Sie müssen eines der Flags
--data
oder--data-path
festlegen, aber nicht beide. Weitere Informationen zur Nachrichtenformatierung und zu Größenbeschränkungen finden Sie unter Nachrichten in Themen veröffentlichen. --help
oder-h
- (Optional) Diese Hilfemeldung anzeigen
--message-property
=KEY=VALUE- (Optional) Geben Sie Eigenschaften an, die auf die Nachricht angewendet werden sollen. Ein gültiger Property-Schlüssel ist
encoding
. Mit diesem Eigenschaftsschlüssel wird die Zeichencodierung für den Nachrichtenstring angegeben. Der Nachrichtenstring wird mit dieser Codierung in Byte konvertiert, bevor er an das Pub/Sub-Thema gesendet wird. Eine Liste der unterstützten Codierungswerte finden Sie unter Unterstützte Codierungen. Der Standardwert istUTF-8
. --ordering-key
=ORDERING-KEY- (Optional) Geben Sie den Schlüssel für die geordnete Zustellung von Nachrichten an Abonnenten an. Alle Nachrichten mit demselben Reihenfolgeschlüssel werden in der Reihenfolge an Abonnenten gesendet, in der Pub/Sub sie empfängt.
--substitution
=KEY=VALUEOptional: Geben Sie mit
--data
oder--data-path
die Schlüssel/Wert-Paare an, die für die dynamische Ersetzung der Pub/Sub-Nachrichtendaten verwendet werden sollen. Mainframe Connector scannt die Nachrichtendaten nach Platzhaltern und ersetzt sie durch die entsprechenden Werte. Definieren Sie die Platzhalter in den Daten mit der Syntax ${KEY}, z. B. ${NAME}. Geben Sie jede Ersetzung als Schlüssel/Wert-Paar im FormatKEY=VALUE
an. Sie können mehrere Substitutionen angeben, indem Sie die Option wiederholen:--substitution key1=value1 --substitution key2=value2
.Wenn die Eingabedaten beispielsweise
Hello, ${username}!
sind und Sie--substitution username=World
verwenden, lautet die an Pub/Sub gesendete NachrichtHello, World!
.
qsam decode
QSAM-Daten decodieren
Mit diesem Befehl werden Datensätze aus einer QSAM-Datei in das Format decodiert, das Sie mit dem Argument --output-format
angeben. Die ursprüngliche QSAM-Datei wird anhand des Werts, den Sie mit dem Argument --max-chunk-size
angeben, in Chunks aufgeteilt. Die transkodierte Ausgabe wird im Zielpfad als lexikografisch sortierte Dateien gespeichert.
Zusammenfassung
qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE] --copybook=COPYBOOK [--max-error-percent=MAX_ERROR_PERCENT] [--output-format=FORMAT] [--parallelism=COUNT] [--preload-chunk-count=PRELOAD_CHUNK_COUNT] [--transcode-configuration=CONFIG] [--input-parameter=KEY=VALUE]... INPUT OUTPUT
Flags und Argumente
Der Befehl qsam decode
verwendet die folgenden Flags und Argumente:
- INPUT : DataPath
- Geben Sie den Datenpfad der QSAM-Datei an, die Sie decodieren möchten.
- OUTPUT : DataPath
- Geben Sie den Datenpfad des Ausgabepräfix an. Alle Ausgaben werden unter diesem Präfix gespeichert.
--chunk-size
=CHUNK-SIZE : DataSize- Optional: Geben Sie die Menge der Eingabedaten an, die in jeder Ausgabedatei enthalten sein sollen. Die Ausgabedatei kann größer oder kleiner sein. Die Chunk-Größe wird auf das nächste Vielfache der logischen Datensatzlänge abgerundet. Der Standardwert ist 128 MiB.
--copybook
=COPYBOOK : DataPath- Geben Sie den Datenpfad der Datei an, die das Copybook enthält.
--help
oder-h
- (Optional) Diese Hilfemeldung anzeigen
--input-parameter
=KEY=VALUEOptional: Geben Sie Parameter an, um die Eingabe zu konfigurieren. Jeder Parameter wird als
KEY=VALUE
definiert. Die unterstützten Schlüssel für Eingabeparameter sind:csv-dialect
: Konfiguriert das Parsen von CSV-Dateien. Der Wert ist einDataPath
, der auf eine CSV-Konfigurationsdatei verweist.json-dialect
: Konfiguriert das JSON-Parsing. Der Wert ist einDataPath
, der auf eine JSON-Konfigurationsdatei verweist.pubsub-publish-configuration
: Konfiguriert die Nachrichten, die an Pub/Sub gesendet werden. Der Wert ist einDataPath
, der auf eine Pub/Sub-Konfigurationsdatei verweist.output-prefix
: Präfix für die Ausgabedateien hinzufügen.
--max-error-percent
=MAX_ERROR_PERCENTOptional: Geben Sie den Prozentsatz der verarbeiteten Datensätze an, die Fehler enthalten dürfen, bevor die Transcodierung fehlschlägt. Der Wert kann zwischen 0,0 (Fehler, wenn Transcodierungsfehler vorhanden sind) und 1,0 (kein Fehler, wenn Transcodierungsfehler vorhanden sind) liegen. Der Standardwert ist 0.
--output-format
=FORMAT : TranscodeFormatOptional: Geben Sie das Format der Ausgabedatei an. Wenn Sie den
DataPath
-Wert eines Pub/Sub-Themas als Wert fürOUTPUT
angeben, ist das StandardausgabeformatJSONL
. Für alle anderenDataPaths
ist das StandardausgabeformatORC
.--parallelism
=COUNTOptional: Geben Sie die Anzahl der Verarbeitungs-Threads an. Der Wert sollte gleich oder kleiner als die Anzahl der verfügbaren Kerne sein. Der Standardwert ist 1.
--preload-chunk-count
=PRELOAD_CHUNK_COUNTOptional: Geben Sie die Anzahl der Datenblöcke an, die vorab geladen werden sollen, wenn alle Threads verarbeitet werden. Der Standardwert ist 1.
--replace
(Optional) Wenn angegeben, wird der Ausgabepfad rekursiv gelöscht, bevor die Decodierungsergebnisse geschrieben werden.
--transcode-configuration
=CONFIG : DataPathOptional: Geben Sie die Datei mit der Transcodierungskonfiguration an. Weitere Informationen zum Konfigurationsformat des Transcoders finden Sie unter Transcoder-Konfiguration.
qsam encode
QSAM-Daten codieren
Mit diesem Befehl werden Daten aus einer externen Quelle übernommen und in eine QSAM-Datei konvertiert. Die Eingabe wird durch den Wert definiert, den Sie mit dem Argument --input-format
angeben.
Zusammenfassung
qsam encode [-h] --copybook=COPYBOOK --input-format=FORMAT [--input-stream-count=COUNT] [--parallelism=COUNT] [--spillover=SPILLOVER] [--transcode-configuration=CONFIG] [--input-parameter=KEY=VALUE]... INPUT OUTPUT
Flags und Argumente
Der Befehl qsam encode
verwendet die folgenden Flags und Argumente:
- INPUT : DataPath
- Geben Sie den Datenpfad der Eingabedatei an, die Sie in eine QSAM-Datei codieren möchten.
- OUTPUT : DataPath
- Geben Sie den Datenpfad der QSAM-Datei an, die Sie codieren möchten.
--copybook
=COPYBOOK : DataPath- Geben Sie den Datenpfad der Datei an, die das Copybook enthält.
--help
oder-h
- (Optional) Diese Hilfemeldung anzeigen
--input-format
=FORMAT : TranscodeInputFormat- Geben Sie das Format der Eingabe an.
--input-parameter
=KEY=VALUEOptional: Geben Sie Parameter an, um die Eingabe zu konfigurieren. Jeder Parameter wird als
KEY=VALUE
definiert. Die unterstützten Schlüssel für Eingabeparameter sind:csv-dialect
: Konfiguriert das Parsen von CSV-Dateien. Der Wert ist einDataPath
, der auf eine CSV-Konfigurationsdatei verweist.json-dialect
: Konfiguriert das JSON-Parsing. Der Wert ist einDataPath
, der auf eine JSON-Konfigurationsdatei verweist.
--input-stream-count
=COUNTOptional: Geben Sie die Anzahl der Eingabestreams an. Dies ist ein Maximalwert. In der Realität werden möglicherweise weniger Streams verwendet. Der Standardwert ist 1.
--parallelism
=COUNTOptional: Geben Sie die Anzahl der Verarbeitungs-Threads an. Der Wert sollte kleiner oder gleich der Anzahl der verfügbaren Kerne sein. Der Standardwert ist 1.
--spillover
=SPILLOVER : DataPathOptional: Geben Sie einen Datenpfad für das Spillover-Dataset an. Wenn Sie diese Informationen nicht angeben, werden Fehlerdetails verworfen.
--transcode-configuration
=CONFIG : DataPathOptional: Geben Sie die Datei mit der Transcodierungskonfiguration an. Weitere Informationen zum Konfigurationsformat des Transcoders finden Sie unter Transcoder-Konfiguration.
scp
Kopieren Sie Dateien in Cloud Storage.
Zusammenfassung
scp [options] [input] [output]
Flags und Argumente
Damit Sie diesen Befehl verwenden können, müssen folgende Voraussetzungen erfüllt sein:
- Legen Sie einen eindeutigen Eingabewert über
input
,--inDD
oder--inDsn
fest. - Legen Sie einen eindeutigen Ausgabewert über die Ausgabe oder
--gcsOutUri
fest.
Der Befehl scp
verwendet die folgenden Flags und Argumente:
- input
- (Optional) Geben Sie die zu kopierende DD oder DSN an. Sie können stattdessen
--inDD
oder--inDsn
verwenden. - output
- (Optional) Geben Sie den URI der Ausgabe im Format gs://[BUCKET]/[PREFIX] an. Stattdessen können Sie
--gcsOutUri
verwenden. --compress
- (Optional) Ausgabe mit gzip komprimieren.
--count
oder-n
=RECORDS- (Optional) Geben Sie die Anzahl der zu kopierenden Datensätze an. Der Standardwert ist unbegrenzt.
--encoding
=ENCODING- (Optional) Geben Sie die Zeichencodierung für die Eingabe an. Der Standardwert ist CP037.
--gcsOutUri
=URI- (Optional) Geben Sie den Cloud Storage-Ziel-URI der Dateikopie an.
--help
oder-h
- Diesen Hilfetext anzeigen.
--inDD
=INPUT- (Optional) Geben Sie die zu kopierende DD-Datei an. Der Standardwert ist DD INFILE.
--inDsn
=INPUT- (Optional) Geben Sie den zu kopierenden DSN an.
--noConvert
- (Optional) Deaktivieren Sie die Umwandlung der Zeicheneingabe in ASCII. Die Zeichenkonvertierung ist standardmäßig aktiviert.
systemreport
Stellen Sie einen Systembericht bereit.
Zusammenfassung
systemreport [-h] [--available_security_providers] [--supported_ciphers]
Flags und Argumente
Der Befehl systemreport
verwendet die folgenden Flags und Argumente:
--available_security_providers
- Optional: Unterstützte Sicherheitsanbieter ausgeben.
--help
oder-h
- (Optional) Diese Hilfemeldung anzeigen
--supported_ciphers
- Optional: Unterstützte Chiffren ausgeben.
Parametertypen
Diese gängigen Typen werden in Mainframe Connector-Befehlen verwendet.
DataPath
DataPath
ist ein String, der eine Eingabe oder eine Ausgabe darstellt. Jeder DataPath
-Typ hat ein eigenes Präfix und eigene Argumente:
DD:
: Datenpfade mit diesem Präfix verweisen auf eine DD-Anweisung (Data Definition, Datendefinition), wenn sie in einem JCL-Job (Job Control Language) ausgeführt werden. Sie können die DD-Codierung ändern, indem Sieencoding=
hinzufügen. Beispiel:DD:DDNAME
oderDD:DDNAME?encoding=UTF-8
. Die Standard-DD-Codierung ist die Standard-Betriebssystemcodierung.DSN:
: Datenpfade mit diesem Präfix verweisen auf einen Datenquellennamen (DSN), wenn sie auf einem Mainframe ausgeführt werden. Sie können die DSN-Codierung ändern, indem Sieencoding=
zur DSN hinzufügen. Beispiel:DSN:HQ.FOO.BAR
oderDSN:HQ.FOO.BAR?encoding=cp037
.file:
: Datenpfade mit diesem Präfix verweisen auf eine Unix-Datei. Sie können in der Unix-Datei Folgendes angeben:- Die logische Datensatzlänge (LRECL) wird durch Hinzufügen von
#lrecl
vor:
angegeben. - Das Datensatzformat (RECFM) wird durch Hinzufügen von
&recfm
vor:
angegeben. Der Standardwert für RECFM istF
. - Die Codierung erfolgt durch Hinzufügen von
&encoding
vor dem:
. Die Standardcodierung istUTF-8
.
Zum Beispiel
file:/path/to/file
,file?80:/path/to/file
,file?80&recfm=FB:/path/to/file
oderfile?80&recfm=FB&encoding=cp037:/path/to/file
.- Die logische Datensatzlänge (LRECL) wird durch Hinzufügen von
gs://
: Datenpfade mit diesem Präfix verweisen auf eine Datei in Cloud Storage. Sie können Folgendes in der Datei angeben:- Die LRECL wird durch Hinzufügen von
?lrecl=lrecl
nach dem Bucket-Präfix angegeben. - RECFM, indem Sie
?recfm=recfm
nach dem Bucket-Präfix hinzufügen. Der Standardwert für RECFM istF
. - Die Codierung erfolgt durch Hinzufügen von
?encoding=
nach dem Bucket-Präfix. Die Standardcodierung istUTF-8
.
Beispiel:
gs://my_bucket/my/file.txt
,gs://my_bucket/my/file.txt?encoding=cp037
,gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037
odergs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm
.- Die LRECL wird durch Hinzufügen von
pubsub:
: Datenpfade mit diesem Präfix verweisen auf eine Pub/Sub-Ressource. Beispiel:pubsub:projects/projectId/topics/topicId
Wenn RECFM für Cloud Storage- oder Unix-Dateien auf V
festgelegt ist, liest und schreibt Mainframe Connector die Dateien im zzLL-Format wie folgt:
- Die ersten beiden Byte sind immer 0x0000.
- Die nächsten zwei Byte stehen für die Datengröße.
- Die verbleibenden Bytes enthalten die eigentlichen Datensatzdaten.
DataSize
DataSize
stellt eine Größe in Form eines Betrags und einer Maßeinheit dar, z. B. 5 MiB. Sie können zwischen dem Betrag und der Größenordnung ein Leerzeichen einfügen. Bei der Analyse der Datengröße wird nicht zwischen Groß- und Kleinschreibung unterschieden. Sie können Maßeinheiten also sowohl in Groß- als auch in Kleinschreibung angeben.
Sie können den Wert in den folgenden Formaten angeben:
- Java-Format:b/k/m/g/t für Byte, Kibibyte, Mebibyte, Gibibyte und Tebibyte.
- Internationales Format:KiB/MiB/GiB/TiB für Kibibyte, Mebibyte, Gibibyte und Tebibyte.
- Metrisches Format:b/kb/mb/gb/tb für Byte, Kilobyte, Megabyte, Gigabyte und Terabyte.
TranscodeFormat
TranscodeFormat
steht für das Format, das während des Transcodierungsprozesses verwendet werden soll.
Gültige Werte sind:
ORC
:ORC
ist ein selbstbeschreibendes, typbezogenes spaltenorientiertes Dateiformat.CSV
:CSV
ist ein Nur-Text-Format, in dem tabellarische Daten gespeichert werden. Jede Zeile stellt eine Zeile dar. Sie können die CSV-Parameter mit dem Eingabeparametercsv-dialect
angeben. Sie können ihn als--input-parameter csv-dialect=
DataPath definieren, wobei DataPath auf den Speicherort dieser Parameter verweist.JSONL
:JSONL
ist ein Nur-Text-Format, in dem tabellarische Daten gespeichert werden. Jede Zeile stellt eine Zeile dar. Sie können die JSON-Parameter mit dem Eingabeparameterjson-dialect
angeben. Sie können ihn als--input-parameter json-dialect=
DataPath definieren, wobei DataPath auf den Speicherort dieser Parameter verweist.
TranscodeInputFormat
Das Format, das während der Transcodierung verwendet werden soll.
Gültige Werte sind:
BIGQUERY
: Ruft Daten direkt aus BigQuery ab.INPUT
muss ein Pfad zu einer Abfragedatei sein.Folgende Eingabeparameter sind verfügbar:
keep_order
: Verwenden Sie diese Option, wenn die genaue Reihenfolge der Datensätze wichtig ist. Dadurch wird der Eingabestream eingeschränkt.project_id
– Die Projekt-ID, die beim Ausführen des Jobs verwendet werden soll.location
: Der Ort, der bei der Ausführung des Jobs verwendet werden soll.
CSV
:CSV
ist ein Nur-Text-Format, in dem tabellarische Daten gespeichert werden. Jede Zeile stellt eine Zeile dar. Sie können die CSV-Parameter mit dem Eingabeparametercsv-dialect
angeben. Sie können ihn als--input-parameter csv-dialect=
DataPath definieren, wobei DataPath auf den Speicherort dieser Parameter verweist.JSONL
:JSONL
ist ein Nur-Text-Format, in dem tabellarische Daten gespeichert werden. Jede Zeile stellt eine Zeile dar. Sie können die JSON-Parameter mit dem Eingabeparameterjson-dialect
angeben. Sie können ihn als--input-parameter json-dialect=
DataPath definieren, wobei DataPath auf den Speicherort dieser Parameter verweist.