Documentation de référence sur la ligne de commande de Mainframe Connector

Ce document décrit la syntaxe, les commandes, les options et les arguments de l'outil de ligne de commande Mainframe Connector.

Commandes

bq export

Exporter une table depuis BigQuery

Synopsis

bq export [options]

Options et arguments

Pour exécuter cette commande, vous devez fournir une requête SQL (voir les options --sql et query_dsn) et un copybook (voir l'option cobDsn). Vous pouvez exécuter cette commande en mode local, à distance et autonome. Pour le mode à distance, consultez les indicateurs --bucket, --remoteHost, --remotePort et --remoteUrl. La commande bq export utilise les options et arguments suivants :

--project_id=ID
Spécifiez le projet à utiliser pour exécuter cette commande.
--allow_large_results
(Facultatif) Utilisez des tailles de tables de destination importantes pour les requêtes en ancien SQL.
--batch
(Facultatif) Exécutez la requête en mode de traitement par lot.
--bucket=BUCKET
(Facultatif) Écrivez la sortie de la commande dans un emplacement d'un bucket Cloud Storage. Les fichiers de sortie sont écrits dans le chemin de destination gs://BUCKET/EXPORT/. Cet argument est obligatoire pour le mode à distance.
--cobDsn=DSN
(facultatif) Spécifiez le nom de source de données (DSN) du copybook que vous souhaitez utiliser. Si vous ne fournissez pas de valeur, Mainframe Connector lit à partir de DD COPYBOOK.
--dataset_id=ID
(Facultatif) Spécifiez l'ensemble de données par défaut à utiliser avec la commande. Vous pouvez définir la valeur sur [PROJECT_ID]:[DATASET] ou [DATASET]. Si [PROJECT_ID] n'est pas indiqué, le projet par défaut est utilisé.
--destination_table=TABLE
(Facultatif) Spécifiez la table de destination dans laquelle vous souhaitez écrire les résultats de la requête.
--dry_run
(Facultatif) Validez la requête sans l'exécuter.
--encoding=ENCODING
(Facultatif) Spécifiez le jeu de caractères à utiliser pour l'encodage et le décodage des champs de caractères. Si cette valeur est fournie, elle remplace la valeur par défaut définie par la variable d'environnement ENCODING.
--exporter_thread_count=COUNT
(Facultatif) Définissez le nombre de threads de l'exportateur. La valeur par défaut est 4.
--help ou -h
Affiche ce texte d'aide.
--keepAliveTimeInSeconds=SECONDS
(Facultatif) Spécifiez le délai avant expiration du message keep-alive en secondes pour un canal HTTP. La valeur par défaut est de 480 secondes.
--location=LOCATION
(Facultatif) Spécifiez une région ou un emplacement multirégional pour exécuter la commande. La valeur par défaut est "US".
--max_read_queue=NUMBER
(Facultatif) Définissez la taille maximale de la file d'attente des enregistrements Avro. La valeur par défaut est le double du nombre de threads.
--max_read_streams=NUMBER
(Facultatif) Définissez le nombre maximal de threads de flux de lecture. La valeur par défaut est 4.
--maximum_bytes_billed=BYTES
(Facultatif) Limitez le nombre d'octets facturés pour la requête.
--order_response
(Facultatif) Conservez l'ordre de la réponse tel qu'il est renvoyé par BigQuery.
--outDD=OUTPUT
(Facultatif) Écrivez les enregistrements de sortie dans l'ensemble de données spécifié dans z/OS. La valeur par défaut est DD OUTFILE.
--parser_type=TYPE
(Facultatif) Définissez l'analyseur de configuration sur legacy, copybook ou auto. La valeur par défaut est auto.
--query_dsn=DSN
(Facultatif) Lisez une requête à partir de l'ensemble de données spécifié dans z/OS. Utilisez le format HLQ.MEMBER ou HLQ.PDS(MEMBER). Si vous ne fournissez pas de valeur, Mainframe Connector lit à partir de DD QUERY.
--remoteHost=HOST
(Facultatif) Spécifiez l'adresse IP de l'hôte distant. Pour exécuter Mainframe Connector en mode à distance, définissez l'indicateur --bucket.
--remotePort=PORT
(Facultatif) Spécifiez le port distant. La valeur par défaut est 51770. Pour exécuter Mainframe Connector en mode à distance, définissez l'indicateur --bucket.
--remoteUrl=URL
(Facultatif) Spécifiez l'URL distante. Pour exécuter Mainframe Connector en mode à distance, définissez l'indicateur --bucket.
--run_mode=MODE
(Facultatif) Sélectionnez l'implémentation de l'exportation. Vous pouvez utiliser l'une des options suivantes :
  • directstorage : le fichier binaire est enregistré localement (par défaut).
  • gcsoutput : le fichier binaire est enregistré dans Cloud Storage.
--sql=SQL
(Facultatif) Spécifiez la requête SQL BigQuery à exécuter.
--stats_table=TABLE
(Facultatif) Spécifiez la table dans laquelle insérer les statistiques.
--timeOutMinutes=MINUTES
(Facultatif) Définissez le délai avant expiration en minutes pour l'appel grpc à distance. La valeur par défaut est de 90 minutes.
--transcoding_buffer=BUFFER
(Facultatif) Définit la taille de la mémoire tampon de transcodage par thread, en Mo. La valeur par défaut est de 20.
--use_cache={true|false}
(Facultatif) Définissez sur "true" pour mettre en cache les résultats de la requête.
--use_legacy_sql
(Facultatif) Utilisez l'ancien SQL au lieu du SQL standard.

bq load

Charger des données dans une table BigQuery

Synopsis

bq load [options] tablespec path

Options et arguments

La commande bq load utilise les options et arguments suivants :

path
 Spécifiez une liste d'URI de fichiers sources séparés par une virgule. Le format accepté est gs://bucket/path. Exemple : gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.
tablespec
Spécifiez la table de destination des données. Le format accepté est [PROJECT]:[DATASET].[TABLE]
.
--project_id=ID
Spécifiez le projet à utiliser pour exécuter cette commande.
--allow_jagged_rows
(Facultatif) Autorisez les colonnes finales facultatives manquantes dans les données CSV.
--allow_quoted_newlines
(Facultatif) Autorise les nouvelles lignes entre guillemets dans les données CSV.
--append_table
(Facultatif) Ajoutez les données chargées aux données existantes dans la table de destination.
--autodetect
(Facultatif) Activez la détection automatique du schéma pour les données CSV et JSON.
--clustering_fields=FIELDS
(Facultatif) Si spécifié, une liste de colonnes séparées par des virgules permet de mettre la table de destination en cluster dans une requête. Cette option doit être utilisée avec les options de partitionnement temporel pour créer une table partitionnée par date d'ingestion ou une table partitionnée sur une colonne DATE ou TIMESTAMP. Si spécifié, la table est d'abord partitionnée, puis mise en cluster à l'aide des colonnes fournies.
--dataset_id=ID
(Facultatif) Spécifiez l'ensemble de données par défaut à utiliser avec la commande. Vous pouvez définir la valeur sur [PROJECT_ID]:[DATASET] ou [DATASET]. Si [PROJECT_ID] n'est pas indiqué, le projet par défaut est utilisé.
--debug_mode={true|false}
(Facultatif) Définissez le niveau de journalisation sur "debug".
--destination_kms_key=KEY
(Facultatif) Clé Cloud KMS pour le chiffrement des données de la table de destination.
--encoding ou -E=ENCODING
(Facultatif) Spécifiez le jeu de caractères à utiliser pour l'encodage et le décodage des champs de caractères. Si cette valeur est spécifiée, elle remplace la valeur par défaut définie par la variable d'environnement ENCODING.
--field_delimiter ou -F=FIELD
(Facultatif) Spécifiez le délimiteur de colonne dans les données CSV. Utilisez \t ou tab pour les délimiteurs de tabulation.
--help ou -h
Affiche ce texte d'aide.
--ignore_unknown_values=VALUES
(Facultatif) Ignore les valeurs supplémentaires non reconnues dans les données CSV ou JSON.
--location=LOCATION
(Facultatif) Spécifiez une région ou un emplacement multirégional pour exécuter la commande. La valeur par défaut est "US".
--max_bad_records=RECORDS
(Facultatif) Définissez le nombre maximal d'enregistrements non valides autorisés avant l'échec du job. Au plus, cinq erreurs de n'importe quel type sont renvoyées, quelle que soit la valeur --max_bad_records. Cette option ne s'applique qu'au chargement de données CSV, JSON et Google Sheets. La valeur par défaut est 0.
--max_polling_interval_ms=MILLISECONDS
(Facultatif) Délai d'attente maximal pour une tâche BigQuery.
--null_marker=MARKER
(Facultatif) Spécifiez une chaîne personnalisée qui représente une valeur NULL dans les données CSV.
--projection_fields=FIELDS
(Facultatif) Si vous définissez --source_format sur DATASTORE_BACKUP, cette option indique les propriétés d'entité à charger à partir d'une exportation Datastore. Spécifiez les noms de propriété sous la forme d'une liste de valeurs séparées par des virgules. Les noms de propriétés sont sensibles à la casse et doivent faire référence à des propriétés de niveau supérieur. Vous pouvez également utiliser cette option avec les exportations Firestore.
--quote=QUOTE
(Facultatif) Spécifiez un caractère de guillemet pour entourer les champs des données CSV. Vous pouvez spécifier n'importe quel caractère d'un octet comme argument. La valeur par défaut est un guillemet double ("). Pour indiquer l'absence de caractère de guillemet, utilisez une chaîne vide.
--replace
(Facultatif) Remplacez les données existantes dans la table de destination par les données chargées.
--require_partition_filter={true|false}
(Facultatif) Définissez sur "true" pour appliquer un filtre de partition aux requêtes sur la table fournie. Cet argument ne s'applique qu'aux tables partitionnées et si l'option --time_partitioning_field est définie sur "true". La valeur par défaut est "false".
--schema=SCHEMA
(Facultatif) Définissez le schéma de la table de destination. Spécifiez la valeur sous la forme d'une liste de définitions de colonnes séparées par une virgule au format [FIELD]:[DATA_TYPE]. Exemple : name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(Facultatif) Lorsque vous ajoutez des données à une table (dans une tâche de chargement ou de requête) ou que vous remplacez une partition de table, spécifiez comment mettre à jour le schéma de la table de destination. Utilisez l'une des valeurs suivantes :
  • ALLOW_FIELD_ADDITION : autoriser l'ajout de nouveaux champs
  • ALLOW_FIELD_RELAXATION : autoriser l'assouplissement des champs REQUIRED sur NULLABLE
Répétez cette option pour spécifier plusieurs options de mise à jour de schéma.
--skip_leading_rows=NUMBER
(Facultatif) Spécifiez le nombre de lignes à ignorer au début du fichier source. La valeur par défaut est 0.
--source_format=FORMAT
(Facultatif) Spécifiez le format des données source. Vous pouvez utiliser l'une des valeurs suivantes : CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (utilisez cette valeur pour Filestore), PARQUET, ORC. La valeur par défaut est ORC.
--stats_table=TABLE
(Facultatif) Spécifiez la table dans laquelle insérer les statistiques.
--time_partitioning_expiration=SECONDS
(Facultatif) Spécifiez le moment où une partition temporelle doit être supprimée, en secondes. Le délai d'expiration correspond à la date UTC de la partition plus la valeur spécifiée. Si vous indiquez un nombre négatif, la partition basée sur le temps n'expire jamais.
--time_partitioning_field=FIELD
(Facultatif) Spécifiez le champ utilisé pour déterminer comment créer une partition temporelle. Si le partitionnement temporel est activé sans cette valeur, la table est partitionnée en fonction de la date de chargement.
--time_partitioning_type=TYPE
(facultatif) : active le partitionnement temporel sur une table et définit le type de partition à l'aide de la valeur suivante : DAY.
--use_avro_logical_types={true|false}
 : (facultatif) si --source_format est défini sur AVRO, définissez cette option sur "true" pour convertir les types logiques en types correspondants (tels que TIMESTAMP) au lieu d'utiliser uniquement leurs types bruts (tels que INTEGER). La valeur par défaut est "false".

bq mk

Créez des ressources BigQuery, telles que des tables intégrées ou externes, pour lesquelles vous devez configurer le partitionnement et le clustering. Vous pouvez également utiliser la commande bq mk pour générer une table BigQuery directement à partir de l'analyse des copybooks COBOL à l'aide de l'indicateur --schema_from_copybook.

Synopsis

bq mk [options]

Options et arguments

La commande bq mk utilise les options et arguments suivants :

--project_id=ID
Spécifiez le projet à utiliser pour exécuter cette commande.
--tablespec=TABLE
Spécifiez la table de destination des données. Le format accepté est [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(Facultatif) Spécifiez une liste de quatre noms de colonnes maximum, séparés par une virgule, qui indiquent les champs à utiliser pour le clustering des tables.
--dataset_id=ID
(Facultatif) Spécifiez l'ensemble de données par défaut à utiliser avec la commande. Vous pouvez définir la valeur sur [PROJECT_ID]:[DATASET] ou [DATASET]. Si [PROJECT_ID] n'est pas indiqué, le projet par défaut est utilisé.
--description=DESCRIPTION
(Facultatif) Fournissez une description pour l'ensemble de données ou la table.
--dry_run
(Facultatif) Imprimez l'instruction LDD (langage de définition de données) de la table.
--encoding=ENCODING
(Facultatif) Spécifiez le jeu de caractères à utiliser pour l'encodage et le décodage des champs de caractères. Si cette valeur est spécifiée, elle remplace la valeur par défaut définie par la variable d'environnement ENCODING.
--expiration=EXPIRATION
(Facultatif) Spécifiez la durée de vie de la table. Si vous ne spécifiez pas de valeur, BigQuery crée la table avec la durée de vie par défaut de la table de l'ensemble de données. Dans le cas contraire, la table n'expire pas.
--external_table_definition ou -e=TABLE
(Facultatif) Spécifiez un nom et une définition de schéma pour créer une table externe. Exemple : ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help ou -h
Affiche ce texte d'aide.
--location=LOCATION
(Facultatif) Spécifiez une région ou un emplacement multirégional pour exécuter la commande. La valeur par défaut est "US".
--parser_type=TYPE
(Facultatif) Définissez l'analyseur de configuration sur legacy, copybook ou auto. La valeur par défaut est auto.
--require_partition_filter={true|false}
(Facultatif) Définissez sur "true" pour appliquer un filtre de partition aux requêtes sur la table fournie. Cet argument ne s'applique qu'aux tables partitionnées et si l'option --time_partitioning_field est définie sur "true". La valeur par défaut est "true".
--schema=SCHEMA
(Facultatif) Spécifiez le chemin d'accès à un fichier de schéma JSON local, ou une liste de définitions de colonnes séparées par une virgule au format FIELD:DATA_TYPE, FIELD:DATA_TYPE, etc.
--schema_from_copybook=SCHEMA
(Facultatif) Générez le schéma à partir d'un copybook.
--table ou -t=TABLE
(Facultatif) Créez une table.
--time_partitioning_expiration=SECONDS
(Facultatif) Spécifiez le moment où une partition temporelle doit être supprimée, en secondes. Le délai d'expiration correspond à la date UTC de la partition plus la valeur spécifiée. Si vous indiquez un nombre négatif, la partition basée sur le temps n'expire jamais.
--time_partitioning_field=FIELD
(Facultatif) Spécifiez le champ utilisé pour déterminer comment créer une partition temporelle. Si le partitionnement temporel est activé sans cette valeur, la table est partitionnée en fonction de la date de chargement.
--view
(Facultatif) Créez une vue.

bq query

Exécutez une requête BigQuery.

Synopsis

bq query [options]

Options et arguments

Vous pouvez exécuter cette commande en mode local et à distance. Pour le mode à distance, consultez les indicateurs --remoteHost, --remotePort et --remoteUrl, ainsi que la variable d'environnement BQ_QUERY_REMOTE_EXECUTION. La commande bq query utilise les options et arguments suivants :

--project_id=ID
Spécifiez le projet à utiliser pour exécuter cette commande.
--allow_large_results
(Facultatif) Utilisez des tailles de tables de destination importantes pour les requêtes en ancien SQL.
--append_table
(Facultatif) Ajoutez les données chargées aux données existantes dans la table de destination.
--batch
(Facultatif) Exécutez la requête en mode de traitement par lot.
--clustering_fields=FIELDS
(Facultatif) Spécifiez une liste de jusqu'à quatre noms de colonnes séparés par une virgule, qui spécifie les champs à utiliser pour le clustering des tables. Si vous spécifiez cette valeur avec le partitionnement, la table est d'abord partitionnée, puis chaque partition est mise en cluster à l'aide des colonnes fournies.
--create_if_needed
(Facultatif) Créez la table de destination si elle n'existe pas.
--dataset_id=ID
(Facultatif) Spécifiez l'ensemble de données par défaut à utiliser avec la commande. Vous pouvez définir la valeur sur [PROJECT_ID]:[DATASET] ou [DATASET]. Si [PROJECT_ID] n'est pas indiqué, le projet par défaut est utilisé.
--destination_table=TABLE
(Facultatif) Spécifiez la table de destination dans laquelle vous souhaitez écrire les résultats de la requête.
--dry_run
(Facultatif) Validez la requête sans l'exécuter.
--follow={true|false}
(Facultatif) Définissez sur "true" pour suivre les étapes individuelles de la requête ou le script dans son ensemble. Elle est définie par défaut sur "false".
--help ou -h
Affiche ce texte d'aide.
--location=LOCATION
(Facultatif) Spécifiez une région ou un emplacement multirégional pour exécuter la commande. La valeur par défaut est "US".
--maximum_bytes_billed=BYTES
(Facultatif) Spécifiez la limite d'octets facturés pour la requête.
--parameters=PARAMETERS
(Facultatif) Spécifiez les paramètres de requête séparés par une virgule au format [NAME]:[TYPE]:[VALUE]. Un nom vide crée un paramètre positionnel. Vous pouvez omettre [TYPE] pour suggérer une valeur STRING au format name::value ou ::value. NULL génère une valeur nulle.
--query_dsn=DSN
(Facultatif) Spécifiez le nom de source de données (DSN) à partir duquel lire la requête, au format HLQ.MEMBER ou HLQ.PDS(MEMBER). Si query_dsn n'est pas fourni, QUERY DD est utilisé.
--remoteHost=HOST
(Facultatif) Spécifiez l'adresse IP de l'hôte distant. Pour exécuter la requête en mode distant, définissez la variable d'environnement BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(Facultatif) Spécifiez le port distant. La valeur par défaut est 51770. Pour exécuter la requête en mode distant, définissez la variable d'environnement BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(Facultatif) Spécifiez l'URL distante. Pour exécuter la requête en mode distant, définissez la variable d'environnement BQ_QUERY_REMOTE_EXECUTION.
--replace
(Facultatif) Écrasez la table de destination avec les résultats de la requête.
--report_row_limit=LIMIT
(Facultatif) Spécifiez le nombre maximal de lignes à imprimer dans le rapport d'audit. La valeur par défaut est 30.
--require_partition_filter={true|false}
(Facultatif) Définissez sur "true" pour appliquer un filtre de partition aux requêtes sur la table fournie. La valeur par défaut est "true".
--schema_update_option=OPTION
(Facultatif) Mettez à jour le schéma de la table de destination lorsque vous ajoutez des données. Utilisez les valeurs suivantes :
  • ALLOW_FIELD_ADDITION : autorise l'ajout de nouveaux champs.
  • ALLOW_FIELD_RELAXATION : autorise l'assouplissement des champs REQUIRED sur NULLABLE.
--split_sql={true|false}
(Facultatif) Définissez la valeur sur "true" pour diviser le script SQL d'entrée en requêtes individuelles. La valeur par défaut est "true".
--stats_table=TABLE
(Facultatif) Spécifiez la table dans laquelle insérer les statistiques.
--sync={true|false}
(Facultatif) Exécutez la commande en mode synchrone.
--synchronous_mode={true|false}
(Facultatif) Alternative à --sync.
--timeOutMinutes=MINUTES
(Facultatif) Spécifiez le délai avant expiration, en minutes, pour une réponse de tâche BigQuery. La valeur par défaut est de 240 minutes.
--time_partitioning_expiration=SECONDS
(Facultatif) Spécifiez le moment où une partition temporelle doit être supprimée, en secondes. Le délai d'expiration correspond à la date UTC de la partition plus la valeur spécifiée. Si vous indiquez un nombre négatif, la partition basée sur le temps n'expire jamais.
--time_partitioning_field=FIELD
(Facultatif) Spécifiez le champ utilisé pour déterminer comment créer une partition temporelle. Si le partitionnement temporel est activé sans cette valeur, la table est partitionnée en fonction de la date de chargement.
--time_partitioning_type=TYPE
(Facultatif) Activez le partitionnement temporel sur une table et définissez le type de partition à l'aide de l'une des valeurs suivantes : DAY, HOUR, MONTH, YEAR.
--use_cache={true|false}
(Facultatif) Pour mettre en cache les résultats de la requête, définissez la valeur sur "true". La valeur par défaut est "true".
--use_legacy_sql
(Facultatif) Utilisez l'ancien SQL au lieu du SQL standard.

cloud run job cancel

Annule une exécution de job spécifique.

Synopsis

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Options et arguments

La commande cloud run job cancel utilise les options et arguments suivants :

EXECUTION
Spécifiez le nom de l'ID d'exécution du job Cloud Run.
--help ou -h
(Facultatif) Affichez ce message d'aide.
--project=PROJECT
Spécifiez l'ID du projet.
--region=REGION
 Spécifiez la région dans laquelle se trouve la ressource.

cloud run job execute

Exécutez un job spécifique.

Synopsis

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Options et arguments

La commande cloud run job execute utilise les options et arguments suivants :

JOB
Spécifiez le nom de la tâche Cloud Run à exécuter.
--args=ARGS
(facultatif) : arguments séparés par une virgule et transmis à la commande exécutée par l'image du conteneur. Si des valeurs d'entrée sont fournies, une exécution sera créée avec ces valeurs.
--async
(Facultatif) Spécifiez cette option si vous souhaitez obtenir une réponse immédiatement, sans attendre la fin de l'opération en cours.
--dump-execution-id=EXECUTION-ID : DataPath
(Facultatif) Spécifiez le fichier dans lequel écrire l'ID d'exécution.
--help ou -h
(Facultatif) Affichez ce message d'aide.
--polling-interval=POLLINGINTERVAL
(Facultatif) Définit l'intervalle d'interrogation pour l'affichage des journaux lorsque --tail_logs est activé. La valeur par défaut est de 60 secondes.
--project=PROJECT
Spécifiez l'ID du projet.
--region=REGION
Spécifiez la région dans laquelle se trouve la ressource.
--tail-logs
(Facultatif) Si vous exécutez la commande en mode synchrone en spécifiant l'option --tail_logs, Mainframe Connector affiche les journaux de progression à l'écran. Si vous spécifiez les indicateurs --tail_logs et --async, un message d'erreur s'affiche. Comme Cloud Logging n'est pas compatible avec la journalisation en temps réel, la commande n'affiche que les journaux qui ont déjà été enregistrés. Par conséquent, certains journaux peuvent manquer lorsque vous utilisez l'indicateur --tail_logs. Pour afficher les journaux de tâches complets, utilisez la commande cloud run job log une fois la tâche terminée.
--task-timeout=TIMEOUT
(Facultatif) Affiche la durée maximale (date limite) pendant laquelle une tentative de tâche de job peut s'exécuter. Si aucune valeur n'est spécifiée, la valeur par défaut du job est utilisée.
--update-env-vars=ENVVARS
(Facultatif) Liste des paires clé/valeur à définir comme remplacements de variables d'environnement pour l'exécution d'un job.
--wait
(Facultatif) Spécifiez cet indicateur si vous souhaitez que la commande attende la fin de l'exécution avant de quitter.

cloud run job log

Afficher les journaux Cloud Run

Synopsis

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

Options et arguments

La commande cloud run job log utilise les options et arguments suivants :

EXECUTION_ID
Nom de l'ID d'exécution du job Cloud Run.
--help ou -h
(Facultatif) Affichez ce message d'aide.
--log-filter=FILTER
(Facultatif) Expression de filtre qui spécifie les entrées de journal à renvoyer.
--polling-interval=POLLINGINTERVAL
(Facultatif) Définit l'intervalle d'interrogation pour l'affichage des journaux lorsque --tail_logs est activé. La valeur par défaut est de 60 secondes.
--project=PROJECT
Spécifiez l'ID du projet.
--region=REGION
Spécifiez la région dans laquelle se trouve la ressource.
--tail
(facultatif) : n'affiche que les nouveaux journaux à partir de maintenant, si cette option est définie. Si elle n'est pas définie, tous les journaux de tâches s'affichent.
--timeout=TIMEOUT
(Facultatif) Délai d'expiration après lequel la commande se ferme. Si elle n'est pas définie, la commande expirera lorsque l'exécution se terminera.

copy text

Copiez l'ensemble de données textuelles.

Synopsis

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

Options et arguments

La commande copy text utilise les options et arguments suivants :

INPUT : DataPath
Spécifiez le chemin d'accès aux données du fichier d'entrée que vous souhaitez copier.
OUTPUT : DataPath
Spécifiez le chemin d'accès aux données du fichier de sortie que vous souhaitez copier et encoder.
--buffer-size=BUFFERSIZE : DataSize
(Facultatif) Indiquez la taille de lecture de la mémoire pour chaque bloc. La valeur par défaut est de 64 Mio.
--help ou -h
(Facultatif) Affiche ce message d'aide.

gsutil cp

Transcodez les données de votre mainframe vers un bucket Cloud Storage.

Synopsis

gsutil cp [options] gcsUri [dest]

Options et arguments

Vous pouvez utiliser cette commande à différentes fins :

  • Copier et transcoder un fichier depuis un environnement Mainframe ou Linux vers Cloud Storage
    • Source : --inDSN. Si aucune valeur n'est fournie, elle est spécifiée par DD INFILE.
    • Destination : gcsUri
  • Copier et transcoder un fichier dans Cloud Storage
    • Source : gcsUri
    • Destination : --destPath
  • Copiez un fichier de Cloud Storage vers un mainframe.
    • Source : gcsUri
    • Destination : --destDSN
    • Options concernées : --lrecl, --blksize, --recfm, --noseek.
  • Copiez un fichier depuis Cloud Storage vers un environnement Linux.
    • Source : gcsUri
    • Destination : --destPath
Cette commande peut s'exécuter en mode local, à distance et autonome. Pour le mode à distance, consultez les indicateurs --remote, --remoteHost, --remotePort et --remoteUrl. La commande gsutil cp utilise les options et arguments suivants :

dest
(Facultatif) Chemin d'accès local ou nom de la source de données (DSN). Exemples de formats : /path/to/file, DATASET.MEMBER
gcsUri
 : URI Cloud Storage au format gs://bucket/path. Peut représenter à la fois le lieu de départ et le lieu de destination, selon l'utilisation.
--batchSize=SIZE
(Facultatif) Spécifiez les blocs à utiliser par lot. La valeur par défaut est 1 000.
--blksize=SIZE
(Facultatif) Spécifiez la taille de bloc du fichier à copier sur le mainframe. Si blksize=0 et recfm ne sont pas définis sur "U", le système mainframe détermine la taille de bloc optimale pour le fichier.
--cobDsn=DSN
(facultatif) Spécifiez le nom de source de données (DSN) du copybook que vous souhaitez utiliser. Si vous ne fournissez pas de valeur, Mainframe Connector lit à partir de DD COPYBOOK.
--connections=NUMBER
(Facultatif) Spécifiez le nombre de connexions pouvant être établies avec le récepteur distant. La valeur par défaut est 10.
--dataset_id=ID
(Facultatif) Spécifiez l'ensemble de données par défaut à utiliser avec la commande. Vous pouvez définir la valeur sur [PROJECT_ID]:[DATASET] ou [DATASET]. Si [PROJECT_ID] n'est pas indiqué, le projet par défaut est utilisé.
--destDSN=OUTPUT
(Facultatif) Spécifiez le DSN de destination.
--destPath=OUTPUT
(Facultatif) Spécifiez le chemin de destination.
--dry_run
(Facultatif) Testez l'analyse et le décodage du copybook du fichier QSAM.
--encoding=ENCODING
(Facultatif) Spécifiez le jeu de caractères à utiliser pour l'encodage et le décodage des champs de caractères. Si cette valeur est spécifiée, elle remplace la valeur par défaut définie par la variable d'environnement ENCODING.
--help ou -h
Affiche ce texte d'aide.
--inDsn=DSN
(Facultatif) Spécifiez le nom de source de données (DSN) du fichier d'entrée que vous souhaitez utiliser. Si vous ne fournissez pas de valeur, Mainframe Connector lit à partir de DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Facultatif) Spécifiez le délai avant expiration du message keep-alive en secondes pour un canal HTTP. La valeur par défaut est de 480 secondes.
--location=LOCATION
(Facultatif) Spécifiez une région ou un emplacement multirégional pour exécuter la commande. La valeur par défaut est "US".
--lowerCaseColumnNames
(Facultatif) Créez des noms de colonnes en minuscules pour les champs de copybook.
--lrecl=LRECL
(Facultatif) Spécifiez la longueur d'enregistrement logique (lrecl) du fichier que vous souhaitez copier sur le Mainframe.
--maxChunkSize=SIZE
(Facultatif) Spécifiez la taille maximale des blocs par lot. Vous devez utiliser K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB ou TB pour décrire la taille. La valeur par défaut est de 128 Mio.
--max_error_pct=PCT
(Facultatif) Spécifiez le seuil d'échec du job pour les erreurs de décodage des lignes. Les valeurs valides sont comprises dans la plage [0,0 ; 1,0]. La valeur par défaut est 0.
--noseek
(Facultatif) Améliorez les performances de téléchargement de Cloud Storage vers le mainframe.
--parallel ou -m
(Facultatif) Définissez le nombre de rédacteurs simultanés sur 4.
--parallelism ou -p=NUMBER
(Facultatif) Spécifiez le nombre de rédacteurs simultanés. La valeur par défaut est 4.
--parser_type=TYPE
(Facultatif) Définissez l'analyseur de configuration sur legacy, copybook ou auto. La valeur par défaut est auto.
--preload_chunk_count=NUMBER
(Facultatif) Spécifiez le nombre de blocs à précharger à partir des disques lorsque tous les nœuds de calcul sont occupés. La valeur par défaut est 2.
--project_id=ID
(Facultatif) Spécifiez le projet à utiliser pour exécuter cette commande.
--recfm=REFCM
(Facultatif) Spécifiez le recfm du fichier que vous souhaitez copier sur le mainframe. Vous pouvez utiliser l'une des valeurs suivantes : F, FB, V, VB, U. La valeur par défaut est FB.
--remote
(Facultatif) Utilisez un décodeur distant.
--remoteHost=HOST
(Facultatif) Spécifiez l'adresse IP de l'hôte distant. Pour exécuter Mainframe Connector en mode à distance, définissez l'indicateur --remote.
--remotePort=PORT
(Facultatif) Spécifiez le port distant à utiliser. La valeur par défaut est 51770. Pour exécuter Mainframe Connector en mode à distance, définissez l'indicateur --remote.
--remoteUrl=URL
(Facultatif) Spécifiez l'URL distante. Pour exécuter Mainframe Connector en mode à distance, définissez l'indicateur --remote.
--replace
(Facultatif) Supprimez la destination de manière récursive avant l'importation.
--stats_table=TABLE
(Facultatif) Spécifiez la table dans laquelle insérer les statistiques.
--tfDSN=DSN
(Facultatif) Spécifiez les transformations à partir d'un DSN, d'un DATASET.MEMBER ou d'un PDS(MBR).
--tfGCS=GCS
(Facultatif) Spécifiez le fichier de transformations depuis Cloud Storage.
--timeOutMinutes=MINUTES
(Facultatif) Spécifiez le délai avant expiration en minutes pour un appel grpc à distance. La valeur par défaut est de 90 minutes pour Cloud Storage et de 50 minutes pour un mainframe.

gsutil rm

Supprimez les objets Cloud Storage.

Synopsis

gsutil rm [-hR] URL...

Options et arguments

La commande gsutil rm utilise les options et arguments suivants :

URL
 Spécifiez l'emplacement Cloud Storage au format gs://bucket/prefix.
--help ou -h
(Facultatif) Affichez ce message d'aide.
-R ou -r
(Facultatif) Supprime de manière récursive le contenu des répertoires ou des objets qui correspondent à l'expression de chemin d'accès. Ne génère pas d'erreur si le répertoire ou l'objet n'existe pas.

pubsub topics publish

Publiez un message dans un sujet Pub/Sub.

Cette commande vous permet d'envoyer des données de message directement à l'aide de l'option --data ou via un fichier à l'aide de l'option --data-path. Vous pouvez également inclure des attributs, une clé de tri et appliquer des propriétés de message. Vous pouvez également appliquer des substitutions de chaînes dynamiques au contenu du message.

Synopsis

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

Options et arguments

La commande pubsub topics publish utilise les options et arguments suivants :

TOPIC
 Spécifiez le nom du sujet au format projects/{project}/topics/{topic}.
--attributes=NAME=VALUE
(Facultatif) Spécifiez une liste d'attributs séparés par une virgule. Chaque ATTRIBUTE se présente sous la forme name=value. Vous pouvez spécifier jusqu'à 100 attributs. Pour obtenir la liste complète des consignes sur les attributs, consultez Utiliser des attributs pour publier un message.
--data-path=DATAPATH : DataPath
(Facultatif) Spécifiez le chemin d'accès au fichier contenant les données du message. Vous devez définir l'un des indicateurs --data ou --data-path, mais pas les deux. Pour en savoir plus sur la mise en forme des messages et les limites de taille, consultez Publier des messages dans des thèmes.
--data=DATA
(Facultatif) Spécifiez le corps du message que vous souhaitez publier sur le nom de sujet donné. Vous devez définir l'un des indicateurs --data ou --data-path, mais pas les deux. Pour en savoir plus sur la mise en forme des messages et les limites de taille, consultez Publier des messages dans des thèmes.
--help ou -h
(Facultatif) Affichez ce message d'aide.
--message-property=KEY=VALUE
(Facultatif) Spécifiez les propriétés à appliquer au message. Une clé de propriété valide est encoding. Cette clé de propriété spécifie l'encodage des caractères à utiliser pour la chaîne de message. La chaîne de message est convertie en octets à l'aide de cet encodage avant d'être envoyée au sujet Pub/Sub. Pour obtenir la liste des valeurs d'encodage acceptées, consultez la section Encodages acceptés. La valeur par défaut est UTF-8.
--ordering-key=ORDERING-KEY
(Facultatif) Spécifiez la clé pour la diffusion ordonnée des messages aux abonnés. Tous les messages ayant la même clé de tri sont envoyés aux abonnés dans l'ordre dans lequel Pub/Sub les reçoit.
--substitution=KEY=VALUE

(Facultatif) À l'aide de --data ou --data-path, spécifiez les paires clé/valeur à utiliser pour la substitution dynamique à appliquer aux données du message Pub/Sub. Mainframe Connector recherche les espaces réservés dans les données du message et les remplace par les valeurs correspondantes. Définissez les espaces réservés dans les données à l'aide de la syntaxe ${KEY}, par exemple ${NAME}. Spécifiez chaque substitution sous forme de paire clé/valeur au format KEY=VALUE. Vous pouvez spécifier plusieurs substitutions en répétant l'option : --substitution key1=value1 --substitution key2=value2.

Par exemple, si les données d'entrée sont Hello, ${username}! et que vous utilisez --substitution username=World, le message envoyé à Pub/Sub sera Hello, World!.

qsam decode

Décoder les données QSAM.

Cette commande décode les enregistrements d'un fichier QSAM au format que vous spécifiez à l'aide de l'argument --output-format. Le fichier QSAM d'origine est divisé en blocs en fonction de la valeur que vous spécifiez avec l'argument --max-chunk-size. La sortie transcodée est enregistrée dans le chemin cible sous forme de fichiers triés par ordre lexicographique.

Synopsis

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Options et arguments

La commande qsam decode utilise les options et arguments suivants :

INPUT : DataPath
Spécifiez le chemin d'accès aux données du fichier QSAM que vous souhaitez décoder.
OUTPUT : DataPath
 Spécifiez le chemin d'accès aux données du préfixe de sortie. Toutes les sorties sont stockées sous ce préfixe.
--chunk-size=CHUNK-SIZE : DataSize
(Facultatif) Spécifiez la quantité de données d'entrée à inclure dans chaque fichier de sortie. Le fichier de sortie peut être plus ou moins volumineux. La taille des blocs est arrondie au multiple le plus proche de la longueur des enregistrements logiques. La valeur par défaut est de 128 Mio.
--copybook=COPYBOOK : DataPath
Spécifiez le chemin d'accès aux données du fichier contenant le copybook.
--help ou -h
(Facultatif) Affichez ce message d'aide.
--input-parameter=KEY=VALUE

(Facultatif) Spécifiez les paramètres pour configurer l'entrée. Chaque paramètre est défini comme KEY=VALUE. Les clés de paramètres d'entrée acceptées sont les suivantes :

  • csv-dialect : configure l'analyse CSV. La valeur est un DataPath qui pointe vers un fichier de configuration CSV.
  • json-dialect : configure l'analyse JSON. La valeur est un DataPath pointant vers un fichier de configuration JSON.
  • pubsub-publish-configuration : configure les messages qui sont envoyés à Pub/Sub. La valeur est un DataPath pointant vers un fichier de configuration Pub/Sub.
  • output-prefix : ajoutez un préfixe aux fichiers de sortie.
--max-error-percent=MAX_ERROR_PERCENT

(Facultatif) Spécifiez le pourcentage d'enregistrements traités pouvant comporter des erreurs avant l'échec du processus de transcodage. La valeur peut être comprise entre 0,0 (échec en cas d'erreurs de transcodage) et 1,0 (pas d'échec en cas d'erreurs de transcodage). La valeur par défaut est 0.

--output-format=FORMAT : TranscodeFormat

(Facultatif) Spécifiez le format du fichier de sortie. Si vous fournissez le DataPath d'un sujet Pub/Sub comme valeur pour OUTPUT, le format de sortie par défaut est JSONL. Pour tous les autres DataPaths, le format de sortie par défaut est ORC.

--parallelism=COUNT

(Facultatif) Spécifiez le nombre de threads de traitement. La valeur doit être inférieure ou égale au nombre de cœurs disponibles. La valeur par défaut est de 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(Facultatif) Spécifiez le nombre de blocs de données à précharger lorsque tous les threads sont en cours de traitement. La valeur par défaut est de 1.

--replace

(Facultatif) Si spécifié, supprime le chemin de sortie de manière récursive avant d'écrire les résultats du décodage.

--transcode-configuration=CONFIG : DataPath

(Facultatif) Spécifiez le fichier contenant la configuration du transcodage. Pour en savoir plus sur le format de configuration du transcodeur, consultez Configuration du transcodeur.

qsam encode

Encoder les données QSAM.

Cette commande extrait les données d'une source externe et les convertit en fichier QSAM. L'entrée est définie par la valeur que vous spécifiez à l'aide de l'argument --input-format.

Synopsis

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Options et arguments

La commande qsam encode utilise les options et arguments suivants :

INPUT : DataPath
Spécifiez le chemin d'accès aux données du fichier d'entrée que vous souhaitez encoder dans un fichier QSAM.
OUTPUT : DataPath
Spécifiez le chemin d'accès aux données du fichier QSAM que vous souhaitez encoder.
--copybook=COPYBOOK : DataPath
Spécifiez le chemin d'accès aux données du fichier contenant le copybook.
--help ou -h
(Facultatif) Affichez ce message d'aide.
--input-format=FORMAT : TranscodeInputFormat
Spécifiez le format de l'entrée.
--input-parameter=KEY=VALUE

(Facultatif) Spécifiez les paramètres pour configurer l'entrée. Chaque paramètre est défini comme KEY=VALUE. Les clés de paramètres d'entrée acceptées sont les suivantes :

--input-stream-count=COUNT

(Facultatif) Spécifiez le nombre de flux d'entrée. Il s'agit d'une valeur maximale. En réalité, il est possible que moins de flux soient utilisés. La valeur par défaut est de 1.

--parallelism=COUNT

(Facultatif) Spécifiez le nombre de threads de traitement. La valeur doit être inférieure ou égale au nombre de cœurs disponibles. La valeur par défaut est de 1.

--spillover=SPILLOVER : DataPath

(Facultatif) Spécifiez un chemin d'accès aux données pour l'ensemble de données sur le débordement. Si vous ne spécifiez pas ces informations, les détails de l'erreur seront ignorés.

--transcode-configuration=CONFIG : DataPath

(Facultatif) Spécifiez le fichier contenant la configuration du transcodage. Pour en savoir plus sur le format de configuration du transcodeur, consultez Configuration du transcodeur.

scp

Copiez les fichiers dans Cloud Storage.

Synopsis

scp [options] [input] [output]

Options et arguments

Pour utiliser cette commande, vous devez vous assurer des points suivants :

  • Définissez une valeur d'entrée unique via input, --inDD ou --inDsn.
  • Définissez une seule valeur de sortie unique via la sortie ou --gcsOutUri.

La commande scp utilise les options et arguments suivants :

input
(Facultatif) Spécifiez le DD ou le DSN à copier. Vous pouvez utiliser --inDD ou --inDsn à la place.
output
(Facultatif) Spécifiez l'URI de la sortie au format gs://[BUCKET]/[PREFIX]. Vous pouvez utiliser --gcsOutUri à la place.
--compress
(Facultatif) Compressez la sortie avec gzip.
--count ou -n=RECORDS
(Facultatif) Spécifiez le nombre d'enregistrements à copier. La valeur par défaut est illimitée.
--encoding=ENCODING
(Facultatif) Spécifiez l'encodage des caractères d'entrée. La valeur par défaut est CP037.
--gcsOutUri=URI
(Facultatif) Spécifiez l'URI Cloud Storage de destination de la copie du fichier.
--help ou -h
Affiche ce texte d'aide.
--inDD=INPUT
(Facultatif) Spécifiez le fichier DD à copier. La valeur par défaut est DD INFILE.
--inDsn=INPUT
(Facultatif) Spécifiez le DSN à copier.
--noConvert
(Facultatif) Désactivez la conversion des caractères saisis au format ASCII. La conversion des caractères est activée par défaut.

systemreport

Fournissez un rapport système.

Synopsis

systemreport [-h] [--available_security_providers] [--supported_ciphers]

Options et arguments

La commande systemreport utilise les options et arguments suivants :

--available_security_providers
(Facultatif) Imprimez les fournisseurs de sécurité compatibles.
--help ou -h
(Facultatif) Affichez ce message d'aide.
--supported_ciphers
(Facultatif) Imprimez les codes secrets compatibles.

Types de paramètres

Ces types courants sont utilisés dans les commandes Mainframe Connector.

DataPath

DataPath est une chaîne représentant une entrée ou une sortie. Chaque type de DataPath possède son propre préfixe et ses propres arguments, comme suit :

  • DD: : les chemins de données avec ce préfixe pointent vers une instruction de définition de données (DD) lors de l'exécution dans un job JCL (Job Control Language). Vous pouvez modifier l'encodage DD en ajoutant encoding= au DD. Par exemple, DD:DDNAME ou DD:DDNAME?encoding=UTF-8. L'encodage DD par défaut est l'encodage OS par défaut.

  • DSN: : les chemins de données avec ce préfixe pointent vers un nom de source de données (DSN) lorsqu'ils sont exécutés sur un ordinateur central. Vous pouvez modifier l'encodage du DSN en ajoutant encoding= au DSN. Par exemple, DSN:HQ.FOO.BAR ou DSN:HQ.FOO.BAR?encoding=cp037.

  • file: : les chemins d'accès aux données avec ce préfixe pointent vers un fichier Unix. Vous pouvez spécifier les éléments suivants dans le fichier Unix :

    • La longueur d'enregistrement logique (LRECL) en ajoutant #lrecl avant :.
    • Le format d'enregistrement (RECFM) en ajoutant &recfm avant :. La valeur RECFM par défaut est F.
    • L'encodage en ajoutant &encoding avant :. L'encodage par défaut est UTF-8.

    Par exemple, file:/path/to/file, file?80:/path/to/file, file?80&recfm=FB:/path/to/file ou file?80&recfm=FB&encoding=cp037:/path/to/file.

  • gs:// : les chemins d'accès aux données avec ce préfixe pointent vers un fichier dans Cloud Storage. Vous pouvez spécifier les éléments suivants dans le fichier :

    • LRECL en ajoutant ?lrecl=lrecl après le préfixe du bucket.
    • RECFM en ajoutant ?recfm=recfm après le préfixe du bucket. La valeur RECFM par défaut est F.
    • Encodage en ajoutant ?encoding= après le préfixe du bucket. L'encodage par défaut est UTF-8.

    Par exemple, gs://my_bucket/my/file.txt, gs://my_bucket/my/file.txt?encoding=cp037, gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 ou gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm.

  • pubsub: : les chemins d'accès aux données avec ce préfixe pointent vers une ressource Pub/Sub. Par exemple, pubsub:projects/projectId/topics/topicId.

Pour les fichiers Cloud Storage ou Unix, si RECFM est défini sur V, Mainframe Connector lit et écrit les fichiers au format zzLL comme suit :

  • Les deux premiers octets sont toujours 0x0000.
  • Les deux octets suivants représentent la taille des données.
  • Les octets restants constituent les données d'enregistrement réelles.

DataSize

DataSize représente une taille sous la forme d'une quantité et d'une unité de mesure, par exemple 5 Mio. Vous pouvez utiliser des espaces entre le montant et la magnitude. L'analyse de la taille des données n'est pas sensible à la casse. Vous pouvez donc spécifier les unités de mesure en majuscules ou en minuscules.

Vous pouvez spécifier la valeur aux formats suivants :

  • Format Java : b/k/m/g/t, pour octet, kibioctet, mébioctet, gibioctet et tébioctet, respectivement.
  • Format international : KiB/MiB/GiB/TiB, pour kibioctet, mébioctet, gibioctet et tébioctet, respectivement.
  • Format des métriques : b/kb/mb/gb/tb, pour les kilo-octets, mégaoctets, gigaoctets et téraoctets, respectivement.

TranscodeFormat

TranscodeFormat représente le format à utiliser lors du processus de transcodage.

Les valeurs possibles sont les suivantes :

  • ORC : ORC est un format de fichier en colonnes, conscient des types et autodescriptif.
  • CSV : CSV est un format en texte brut qui stocke des données tabulaires, chaque ligne représentant une ligne. Vous pouvez spécifier les paramètres CSV à l'aide du paramètre d'entrée csv-dialect. Vous pouvez le définir comme --input-parameter csv-dialect=DataPath, où DataPath pointe vers l'emplacement de ces paramètres.
  • JSONL : JSONL est un format en texte brut qui stocke des données tabulaires, chaque ligne représentant une ligne. Vous pouvez spécifier les paramètres JSON à l'aide du paramètre d'entrée json-dialect. Vous pouvez le définir comme --input-parameter json-dialect=DataPath, où DataPath pointe vers l'emplacement de ces paramètres.

TranscodeInputFormat

Format à utiliser lors du transcodage.

Les valeurs possibles sont les suivantes :

  • BIGQUERY : extrait les données directement de BigQuery. INPUT doit être un chemin d'accès à un fichier de requête.

    Les paramètres d'entrée disponibles sont les suivants :

    • keep_order : à utiliser si l'ordre exact des enregistrements est important. Notez que cela limitera le flux d'entrée.
    • project_id : ID du projet à utiliser lors de l'exécution du job.
    • location : emplacement à utiliser lors de l'exécution du job.

  • CSV : CSV est un format en texte brut qui stocke des données tabulaires, chaque ligne représentant une ligne. Vous pouvez spécifier les paramètres CSV à l'aide du paramètre d'entrée csv-dialect. Vous pouvez le définir comme --input-parameter csv-dialect=DataPath, où DataPath indique l'emplacement de ces paramètres.

  • JSONL : JSONL est un format en texte brut qui stocke des données tabulaires, chaque ligne représentant une ligne. Vous pouvez spécifier les paramètres JSON à l'aide du paramètre d'entrée json-dialect. Vous pouvez le définir comme --input-parameter json-dialect=DataPath, où DataPath indique l'emplacement de ces paramètres.