Referensi command line Mainframe Connector

Dokumen ini menjelaskan sintaksis, perintah, flag, dan argumen untuk alat command line Mainframe Connector.

Perintah

bq export

Mengekspor tabel dari BigQuery.

Synopsis

bq export [options]

Flag dan argumen

Untuk menjalankan perintah ini, Anda harus memberikan kueri SQL (lihat flag --sql dan query_dsn) dan copybook (lihat flag cobDsn). Anda dapat menjalankan perintah ini dalam mode lokal, jarak jauh, dan mandiri. Untuk mode jarak jauh, lihat flag --bucket, --remoteHost, --remotePort, dan --remoteUrl. Perintah bq export menggunakan flag dan argumen berikut:

--project_id=ID
Tentukan project yang akan digunakan untuk menjalankan perintah ini.
--allow_large_results
(Opsional) Gunakan ukuran tabel tujuan besar untuk kueri SQL lama.
--batch
(Opsional) Jalankan kueri dalam mode batch.
--bucket=BUCKET
(Opsional) Tulis output perintah ke lokasi dalam bucket Cloud Storage. File output ditulis ke jalur tujuan gs://BUCKET/EXPORT/. Argumen ini diperlukan untuk mode jarak jauh.
--cobDsn=DSN
(Opsional) Tentukan DSN copybook yang ingin Anda gunakan. Jika Anda tidak memberikan nilai, Mainframe Connector akan membaca dari DD COPYBOOK.
--dataset_id=ID
(Opsional) Tentukan set data default yang akan digunakan dengan perintah. Anda dapat menyetel nilai ke [PROJECT_ID]:[DATASET] atau [DATASET]. Jika [PROJECT_ID] tidak ada, project default akan digunakan.
--destination_table=TABLE
(Opsional) Tentukan tabel tujuan tempat Anda ingin menulis hasil kueri.
--dry_run
(Opsional) Validasi kueri tanpa menjalankannya.
--encoding=ENCODING
(Opsional) Tentukan set karakter yang akan digunakan untuk mengenkode dan mendekode kolom karakter. Jika diberikan, nilai ini akan menggantikan nilai default yang ditetapkan oleh variabel lingkungan ENCODING.
--exporter_thread_count=COUNT
(Opsional) Tetapkan jumlah thread pengekspor. Nilai defaultnya adalah 4.
--help atau -h
Tampilkan teks bantuan ini.
--keepAliveTimeInSeconds=SECONDS
(Opsional) Tentukan waktu tunggu tetap aktif dalam detik untuk saluran HTTP. Nilai defaultnya adalah 480 detik.
--location=LOCATION
(Opsional) Tentukan lokasi region atau multi-region untuk menjalankan perintah. Nilai defaultnya adalah US.
--max_read_queue=NUMBER
(Opsional) Tetapkan ukuran maksimum antrean rekaman Avro. Nilai defaultnya adalah dua kali jumlah thread.
--max_read_streams=NUMBER
(Opsional) Tetapkan jumlah maksimum thread aliran baca. Nilai defaultnya adalah 4.
--maximum_bytes_billed=BYTES
(Opsional) Batasi byte yang ditagih untuk kueri.
--order_response
(Opsional) Pertahankan urutan respons seperti yang ditampilkan dari BigQuery.
--outDD=OUTPUT
(Opsional) Tuliskan rekaman output ke set data yang ditentukan di z/OS. Nilai defaultnya adalah DD OUTFILE.
--parser_type=TYPE
(Opsional) Tetapkan parser konfigurasi ke legacy, copybook, atau auto. Nilai defaultnya adalah auto.
--query_dsn=DSN
(Opsional) Membaca kueri dari set data yang ditentukan di z/OS. Gunakan format HLQ.MEMBER atau HLQ.PDS(MEMBER). Jika Anda tidak memberikan nilai, Mainframe Connector akan membaca dari DD QUERY.
--remoteHost=HOST
(Opsional) Tentukan alamat IP host jarak jauh. Untuk menjalankan Mainframe Connector dalam mode jarak jauh, setel tanda --bucket.
--remotePort=PORT
(Opsional) Tentukan port jarak jauh. Nilai defaultnya adalah 51770. Untuk menjalankan Mainframe Connector dalam mode jarak jauh, setel tanda --bucket.
--remoteUrl=URL
(Opsional) Tentukan URL jarak jauh. Untuk menjalankan Mainframe Connector dalam mode jarak jauh, setel tanda --bucket.
--run_mode=MODE
(Opsional) Pilih penerapan ekspor. Anda dapat menggunakan salah satu opsi berikut:
  • directstorage: file biner disimpan secara lokal (default)
  • gcsoutput: file biner disimpan di Cloud Storage
--sql=SQL
(Opsional) Tentukan kueri SQL BigQuery yang akan dijalankan.
--stats_table=TABLE
(Opsional) Tentukan tabel untuk memasukkan statistik.
--timeOutMinutes=MINUTES
(Opsional) Setel waktu tunggu dalam menit untuk panggilan grpc jarak jauh. Nilai defaultnya adalah 90 menit.
--transcoding_buffer=BUFFER
(Opsional) Menetapkan ukuran buffer transcoding per thread, dalam MB. Nilai defaultnya adalah 20.
--use_cache={true|false}
(Opsional) Untuk menyimpan hasil kueri dalam cache, tetapkan ke benar.
--use_legacy_sql
(Opsional) Gunakan legacy SQL, bukan SQL standar.

bq load

Memuat data ke tabel BigQuery.

Synopsis

bq load [options] tablespec path

Flag dan argumen

Perintah bq load menggunakan flag dan argumen berikut:

path
Tentukan daftar URI file sumber yang dipisahkan koma. Format yang didukung adalah gs://bucket/path. Contoh: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.
tablespec
Tentukan tabel tujuan untuk data. Format yang didukung adalah [PROJECT]:[DATASET].[TABLE]
--project_id=ID
Tentukan project yang akan digunakan untuk menjalankan perintah ini.
--allow_jagged_rows
(Opsional) Mengizinkan kolom opsional di akhir yang tidak ada dalam data CSV.
--allow_quoted_newlines
(Opsional) Izinkan baris baru yang dikutip dalam data CSV.
--append_table
(Opsional) Tambahkan data yang dimuat ke data yang ada di tabel tujuan.
--autodetect
(Opsional) Aktifkan deteksi skema otomatis untuk data CSV dan JSON.
--clustering_fields=FIELDS
(Opsional) Jika ditentukan, daftar kolom yang dipisahkan koma akan digunakan untuk mengelompokkan tabel tujuan dalam kueri. Flag ini harus digunakan dengan flag partisi waktu untuk membuat tabel berpartisi berdasarkan waktu penyerapan atau tabel yang dipartisi pada kolom DATE atau TIMESTAMP. Jika ditentukan, tabel akan dipartisi terlebih dahulu, lalu dikelompokkan menggunakan kolom yang disediakan.
--dataset_id=ID
(Opsional) Tentukan set data default yang akan digunakan dengan perintah. Anda dapat menyetel nilai ke [PROJECT_ID]:[DATASET] atau [DATASET]. Jika [PROJECT_ID] tidak ada, project default akan digunakan.
--debug_mode={true|false}
(Opsional) Tetapkan tingkat logging ke debug.
--destination_kms_key=KEY
(Opsional) Kunci Cloud KMS untuk enkripsi data tabel tujuan.
--encoding atau -E=ENCODING
(Opsional) Tentukan set karakter yang akan digunakan untuk mengenkode dan mendekode kolom karakter. Jika ditentukan, nilai ini akan menggantikan nilai default yang ditetapkan oleh variabel lingkungan ENCODING.
--field_delimiter atau -F=FIELD
(Opsional) Tentukan pemisah kolom dalam data CSV. Gunakan \t atau tab untuk pembatas tab.
--help atau -h
Tampilkan teks bantuan ini.
--ignore_unknown_values=VALUES
(Opsional) Mengabaikan nilai tambahan yang tidak dikenali dalam data CSV atau JSON.
--location=LOCATION
(Opsional) Tentukan lokasi region atau multi-region untuk menjalankan perintah. Nilai defaultnya adalah US.
--max_bad_records=RECORDS
(Opsional) Tetapkan jumlah maksimum data tidak valid yang diizinkan sebelum tugas gagal. Maksimal lima error dari jenis apa pun akan ditampilkan, terlepas dari nilai --max_bad_records. Flag ini hanya berlaku untuk pemuatan data CSV, JSON, dan Google Spreadsheet. Nilai defaultnya adalah 0.
--max_polling_interval_ms=MILLISECONDS
(Opsional) Waktu tunggu maksimum untuk tugas BigQuery.
--null_marker=MARKER
(Opsional) Tentukan string kustom yang mewakili nilai NULL dalam data CSV.
--projection_fields=FIELDS
(Opsional) Jika Anda menetapkan --source_format ke DATASTORE_BACKUP, flag ini akan menunjukkan properti entity yang akan dimuat dari ekspor datastore. Tentukan nama properti dalam daftar yang dipisahkan koma. Nama properti peka huruf besar/kecil dan harus merujuk ke properti tingkat teratas. Anda juga dapat menggunakan flag ini dengan ekspor Firestore.
--quote=QUOTE
(Opsional) Tentukan karakter kutipan untuk mengapit kolom dalam data CSV. Anda dapat menentukan karakter satu byte sebagai argumen. Nilai defaultnya adalah tanda kutip ganda ("). Untuk menentukan bahwa tidak ada karakter kutip, gunakan string kosong.
--replace
(Opsional) Ganti data yang ada di tabel tujuan dengan data yang dimuat.
--require_partition_filter={true|false}
(Opsional) Agar memiliki filter partisi untuk kueri atas tabel yang disediakan, tetapkan ke benar (true). Argumen ini hanya berlaku untuk tabel yang dipartisi, dan jika tanda --time_partitioning_field ditetapkan ke benar (true). Nilai defaultnya adalah false.
--schema=SCHEMA
(Opsional) Tentukan skema tabel tujuan. Tentukan nilai sebagai daftar definisi kolom yang dipisahkan koma dalam bentuk [FIELD]:[DATA_TYPE]. Contoh: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(Opsional) Saat menambahkan data ke tabel (dalam tugas pemuatan atau tugas kueri), atau saat menimpa partisi tabel, tentukan cara memperbarui skema tabel tujuan. Gunakan salah satu nilai berikut:
  • ALLOW_FIELD_ADDITION: Mengizinkan kolom baru untuk ditambahkan
  • ALLOW_FIELD_RELAXATION: Mengizinkan kolom REQUIRED yang melonggarkan untuk NULLABLE
Ulangi tanda ini untuk menentukan beberapa opsi update skema.
--skip_leading_rows=NUMBER
(Opsional) Tentukan jumlah baris yang akan dilewati di awal file sumber. Nilai defaultnya adalah 0.
--source_format=FORMAT
(Opsional) Tentukan format data sumber. Anda dapat menggunakan salah satu nilai berikut: CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (gunakan nilai ini untuk Filestore), PARQUET, ORC. Nilai defaultnya adalah ORC.
--stats_table=TABLE
(Opsional) Tentukan tabel untuk memasukkan statistik.
--time_partitioning_expiration=SECONDS
(Opsional) Tentukan kapan partisi berbasis waktu harus dihapus, dalam detik. Waktu habis masa berlaku dievaluasi ke tanggal UTC partisi ditambah nilai yang ditentukan. Jika Anda memberikan angka negatif, partisi berbasis waktu tidak akan pernah berakhir masa berlakunya.
--time_partitioning_field=FIELD
(Opsional) Tentukan kolom yang digunakan untuk menentukan cara membuat partisi berbasis waktu. Jika partisi berbasis waktu diaktifkan tanpa nilai ini, tabel akan dipartisi berdasarkan waktu pemuatan.
--time_partitioning_type=TYPE
(Opsional) Aktifkan partisi berbasis waktu pada tabel dan tetapkan jenis partisi menggunakan nilai berikut: DAY.
--use_avro_logical_types={true|false}
(Opsional) Jika --source_format disetel ke AVRO, setel flag ini ke benar (true) untuk mengonversi jenis logika ke jenis yang sesuai (seperti TIMESTAMP), bukan hanya menggunakan jenis mentahnya (seperti INTEGER). Nilai defaultnya adalah salah (false).

bq mk

Buat resource BigQuery seperti tabel bawaan atau tabel eksternal yang perlu disiapkan partisi dan pengelompokannya. Anda juga dapat menggunakan perintah bq mk untuk membuat tabel BigQuery secara langsung dari parsing copybook COBOL menggunakan flag --schema_from_copybook.

Synopsis

bq mk [options]

Flag dan argumen

Perintah bq mk menggunakan flag dan argumen berikut:

--project_id=ID
Tentukan project yang akan digunakan untuk menjalankan perintah ini.
--tablespec=TABLE
Tentukan tabel tujuan untuk data. Format yang didukung adalah [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(Opsional) Tentukan daftar yang dipisahkan koma berisi hingga empat nama kolom yang menentukan kolom yang akan digunakan untuk pengelompokan tabel.
--dataset_id=ID
(Opsional) Tentukan set data default yang akan digunakan dengan perintah. Anda dapat menyetel nilai ke [PROJECT_ID]:[DATASET] atau [DATASET]. Jika [PROJECT_ID] tidak ada, project default akan digunakan.
--description=DESCRIPTION
(Opsional) Berikan deskripsi untuk set data atau tabel.
--dry_run
(Opsional) Cetak pernyataan Bahasa Definisi Data (DDL) tabel.
--encoding=ENCODING
(Opsional) Tentukan set karakter yang akan digunakan untuk mengenkode dan mendekode kolom karakter. Jika ditentukan, nilai ini akan menggantikan nilai default yang ditetapkan oleh variabel lingkungan ENCODING.
--expiration=EXPIRATION
(Opsional) Tentukan masa aktif untuk tabel. Jika Anda tidak menentukan nilai, BigQuery akan membuat tabel dengan masa aktif tabel default set data, atau tabel tidak akan habis masa berlakunya.
--external_table_definition atau -e=TABLE
(Opsional) Tentukan nama dan definisi skema untuk membuat tabel eksternal. Contoh: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help atau -h
Tampilkan teks bantuan ini.
--location=LOCATION
(Opsional) Tentukan lokasi region atau multi-region untuk menjalankan perintah. Nilai defaultnya adalah US.
--parser_type=TYPE
(Opsional) Tetapkan parser konfigurasi ke legacy, copybook, atau auto. Nilai defaultnya adalah auto.
--require_partition_filter={true|false}
(Opsional) Agar memiliki filter partisi untuk kueri atas tabel yang disediakan, tetapkan ke benar (true). Argumen ini hanya berlaku untuk tabel yang dipartisi, dan jika tanda --time_partitioning_field ditetapkan ke benar (true). Nilai defaultnya adalah true.
--schema=SCHEMA
(Opsional) Tentukan jalur ke file skema JSON lokal atau daftar definisi kolom yang dipisahkan koma dalam format FIELD:DATA_TYPE, FIELD:DATA_TYPE, dan seterusnya.
--schema_from_copybook=SCHEMA
(Opsional) Buat skema dari copybook.
--table atau -t=TABLE
(Opsional) Buat tabel.
--time_partitioning_expiration=SECONDS
(Opsional) Tentukan kapan partisi berbasis waktu harus dihapus, dalam detik. Waktu habis masa berlaku dievaluasi ke tanggal UTC partisi ditambah nilai yang ditentukan. Jika Anda memberikan angka negatif, partisi berbasis waktu tidak akan pernah berakhir masa berlakunya.
--time_partitioning_field=FIELD
(Opsional) Tentukan kolom yang digunakan untuk menentukan cara membuat partisi berbasis waktu. Jika partisi berbasis waktu diaktifkan tanpa nilai ini, tabel akan dipartisi berdasarkan waktu pemuatan.
--view
(Opsional) Buat tampilan.

bq query

Jalankan kueri BigQuery.

Synopsis

bq query [options]

Flag dan argumen

Anda dapat menjalankan perintah ini dalam mode lokal dan jarak jauh. Untuk mode jarak jauh, lihat flag --remoteHost, --remotePort, dan --remoteUrl, serta variabel lingkungan BQ_QUERY_REMOTE_EXECUTION. Perintah bq query menggunakan flag dan argumen berikut:

--project_id=ID
Tentukan project yang akan digunakan untuk menjalankan perintah ini.
--allow_large_results
(Opsional) Gunakan ukuran tabel tujuan besar untuk kueri SQL lama.
--append_table
(Opsional) Tambahkan data yang dimuat ke data yang ada di tabel tujuan.
--batch
(Opsional) Jalankan kueri dalam mode batch.
--clustering_fields=FIELDS
(Opsional) Tentukan daftar yang dipisahkan koma berisi hingga empat nama kolom yang menentukan kolom yang akan digunakan untuk pengelompokan tabel. Jika Anda menentukan nilai ini dengan partisi, tabel akan dipartisi terlebih dahulu, lalu setiap partisi akan dikelompokkan menggunakan kolom yang disediakan.
--create_if_needed
(Opsional) Buat tabel tujuan jika belum ada.
--dataset_id=ID
(Opsional) Tentukan set data default yang akan digunakan dengan perintah. Anda dapat menyetel nilai ke [PROJECT_ID]:[DATASET] atau [DATASET]. Jika [PROJECT_ID] tidak ada, project default akan digunakan.
--destination_table=TABLE
(Opsional) Tentukan tabel tujuan tempat Anda ingin menulis hasil kueri.
--dry_run
(Opsional) Validasi kueri tanpa menjalankannya.
--follow={true|false}
(Opsional) Untuk melacak setiap langkah kueri atau skrip secara keseluruhan, tetapkan ke benar (true). Nilai defaultnya adalah false.
--help atau -h
Tampilkan teks bantuan ini.
--location=LOCATION
(Opsional) Tentukan lokasi region atau multi-region untuk menjalankan perintah. Nilai defaultnya adalah US.
--maximum_bytes_billed=BYTES
(Opsional) Tentukan batas byte yang ditagih untuk kueri.
--parameters=PARAMETERS
(Opsional) Tentukan parameter kueri yang dipisahkan koma dalam format [NAME]:[TYPE]:[VALUE]. Nama kosong akan membuat parameter posisi. Anda dapat menghilangkan [TYPE] untuk mengasumsikan nilai STRING dalam format name::value atau ::value. NULL menghasilkan nilai null.
--query_dsn=DSN
(Opsional) Tentukan DSN untuk membaca kueri, dalam format HLQ.MEMBER atau HLQ.PDS(MEMBER). Jika query_dsn tidak diberikan, QUERY DD akan digunakan.
--remoteHost=HOST
(Opsional) Tentukan alamat IP host jarak jauh. Untuk menjalankan kueri dalam mode jarak jauh, tetapkan variabel lingkungan BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(Opsional) Tentukan port jarak jauh. Nilai defaultnya adalah 51770. Untuk menjalankan kueri dalam mode jarak jauh, tetapkan variabel lingkungan BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(Opsional) Tentukan URL jarak jauh. Untuk menjalankan kueri dalam mode jarak jauh, tetapkan variabel lingkungan BQ_QUERY_REMOTE_EXECUTION.
--replace
(Opsional) Menimpa tabel tujuan dengan hasil kueri.
--report_row_limit=LIMIT
(Opsional) Tentukan jumlah maksimum baris yang akan dicetak dalam laporan audit. Nilai defaultnya adalah 30.
--require_partition_filter={true|false}
(Opsional) Agar memiliki filter partisi untuk kueri atas tabel yang disediakan, tetapkan ke benar (true). Nilai defaultnya adalah true.
--schema_update_option=OPTION
(Opsional) Perbarui skema tabel tujuan saat menambahkan data. Gunakan nilai berikut:
  • ALLOW_FIELD_ADDITION: Mengizinkan kolom baru untuk ditambahkan.
  • ALLOW_FIELD_RELAXATION: Mengizinkan kolom REQUIRED yang melonggarkan untuk NULLABLE.
--split_sql={true|false}
(Opsional) Untuk membagi skrip SQL input menjadi kueri individual, setel ke benar (true). Nilai defaultnya adalah true.
--stats_table=TABLE
(Opsional) Tentukan tabel untuk memasukkan statistik.
--sync={true|false}
(Opsional) Jalankan perintah dalam mode sinkron.
--synchronous_mode={true|false}
(Opsional) Alternatif untuk --sync.
--timeOutMinutes=MINUTES
(Opsional) Tentukan waktu tunggu dalam menit untuk respons tugas BigQuery. Nilai defaultnya adalah 240 menit.
--time_partitioning_expiration=SECONDS
(Opsional) Tentukan kapan partisi berbasis waktu harus dihapus, dalam detik. Waktu habis masa berlaku dievaluasi ke tanggal UTC partisi ditambah nilai yang ditentukan. Jika Anda memberikan angka negatif, partisi berbasis waktu tidak akan pernah berakhir masa berlakunya.
--time_partitioning_field=FIELD
(Opsional) Tentukan kolom yang digunakan untuk menentukan cara membuat partisi berbasis waktu. Jika partisi berbasis waktu diaktifkan tanpa nilai ini, tabel akan dipartisi berdasarkan waktu pemuatan.
--time_partitioning_type=TYPE
(Opsional) Aktifkan partisi berbasis waktu pada tabel dan tetapkan jenis partisi menggunakan salah satu nilai berikut: DAY, HOUR, MONTH, YEAR.
--use_cache={true|false}
(Opsional) Untuk menyimpan hasil kueri dalam cache, tetapkan ke benar (true). Nilai defaultnya adalah true.
--use_legacy_sql
(Opsional) Gunakan legacy SQL, bukan SQL standar.

cloud run job cancel

Membatalkan eksekusi tugas tertentu.

Synopsis

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Flag dan argumen

Perintah cloud run job cancel menggunakan flag dan argumen berikut:

EXECUTION
Tentukan nama ID eksekusi tugas Cloud Run.
--help atau -h
(Opsional) Menampilkan pesan bantuan ini.
--project=PROJECT
Tentukan project ID.
--region=REGION
Tentukan region tempat resource dapat ditemukan.

cloud run job execute

Menjalankan tugas tertentu.

Synopsis

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Flag dan argumen

Perintah cloud run job execute menggunakan flag dan argumen berikut:

JOB
Tentukan nama tugas Cloud Run yang akan dijalankan.
--args=ARGS
(Opsional) Argumen yang dipisahkan koma yang diteruskan ke perintah yang dijalankan oleh image container. Jika disediakan, eksekusi akan dibuat dengan nilai input.
--async
(Opsional) Tentukan flag ini jika Anda ingin segera kembali, tanpa menunggu operasi yang sedang berlangsung selesai.
--dump-execution-id=EXECUTION-ID : DataPath
(Opsional) Tentukan file untuk menulis ID eksekusi.
--help atau -h
(Opsional) Menampilkan pesan bantuan ini.
--polling-interval=POLLINGINTERVAL
(Opsional) Menetapkan interval polling untuk menampilkan log saat --tail_logs diaktifkan. Nilai defaultnya adalah 60 detik.
--project=PROJECT
Tentukan project ID.
--region=REGION
Tentukan region tempat resource dapat ditemukan.
--tail-logs
(Opsional) Jika Anda menjalankan perintah dalam mode sinkron dengan menentukan tanda --tail_logs, Mainframe Connector akan menampilkan log progres di layar. Jika Anda menentukan flag --tail_logs dan --async, pesan error akan ditampilkan. Karena Cloud Logging tidak mendukung logging real-time, perintah ini hanya menampilkan log yang telah direkam dalam log. Akibatnya, beberapa log mungkin tidak ada saat Anda menggunakan tanda --tail_logs. Untuk melihat log tugas lengkap, gunakan perintah cloud run job log setelah tugas selesai.
--task-timeout=TIMEOUT
(Opsional) Menampilkan waktu maksimum (batas waktu) yang ada untuk menjalankan upaya tugas pekerjaan. Jika tidak ditentukan, akan menggunakan default tugas.
--update-env-vars=ENVVARS
(Opsional) Daftar key-value pair yang akan ditetapkan sebagai penggantian variabel lingkungan untuk eksekusi tugas.
--wait
(Opsional) Tentukan tanda ini jika Anda ingin perintah menunggu hingga eksekusi selesai berjalan sebelum keluar.

cloud run job log

Menampilkan log Cloud Run

Synopsis

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

Flag dan argumen

Perintah cloud run job log menggunakan flag dan argumen berikut:

EXECUTION_ID
Nama ID eksekusi tugas Cloud Run.
--help atau -h
(Opsional) Menampilkan pesan bantuan ini.
--log-filter=FILTER
(Opsional) Ekspresi filter yang menentukan entri log yang akan ditampilkan.
--polling-interval=POLLINGINTERVAL
(Opsional) Menetapkan interval polling untuk menampilkan log saat --tail_logs diaktifkan. Nilai defaultnya adalah 60 detik.
--project=PROJECT
Tentukan project ID.
--region=REGION
Tentukan region tempat resource dapat ditemukan.
--tail
(Opsional) Hanya menampilkan log baru yang dimulai dari sekarang jika disetel. Jika tidak disetel, semua log tugas akan ditampilkan.
--timeout=TIMEOUT
(Opsional) Waktu tunggu, setelah perintah akan keluar. Jika tidak disetel, perintah akan kehabisan waktu saat eksekusi keluar.

copy text

Menyalin set data teks.

Synopsis

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

Flag dan argumen

Perintah copy text menggunakan flag dan argumen berikut:

INPUT : DataPath
Tentukan jalur data file input yang ingin Anda salin.
OUTPUT : DataPath
Tentukan jalur data file output yang ingin Anda salin dan encode.
--buffer-size=BUFFERSIZE : DataSize
(Opsional) Tunjukkan ukuran baca memori untuk setiap bulk. Nilai defaultnya adalah 64 MiB.
--help atau -h
(Opsional) Menampilkan pesan bantuan ini.

gsutil cp

Mentranskode data dari Mainframe Anda ke bucket Cloud Storage.

Synopsis

gsutil cp [options] gcsUri [dest]

Flag dan argumen

Anda dapat menggunakan perintah ini untuk berbagai tujuan berikut:

  • Menyalin dan mentranskode file dari Mainframe atau lingkungan Linux ke Cloud Storage.
    • Sumber: --inDSN. Jika tidak diberikan, ditentukan oleh DD INFILE.
    • Tujuan: gcsUri
  • Menyalin dan mentranskode file dalam Cloud Storage
    • Sumber: gcsUri
    • Tujuan: --destPath
  • Menyalin file dari Cloud Storage ke Mainframe.
    • Sumber: gcsUri
    • Tujuan: --destDSN
    • Bendera yang relevan: --lrecl, --blksize, --recfm, --noseek.
  • Menyalin file dari Cloud Storage ke lingkungan Linux.
    • Sumber: gcsUri
    • Tujuan: --destPath
Perintah ini dapat dijalankan dalam mode lokal, jarak jauh, dan mandiri. Untuk mode jarak jauh, lihat flag --remote, --remoteHost, --remotePort, dan --remoteUrl. Perintah gsutil cp menggunakan flag dan argumen berikut:

dest
(Opsional) Jalur lokal atau nama sumber data (DSN). Contoh format: /path/to/file, DATASET.MEMBER
gcsUri
URI Cloud Storage dalam format gs://bucket/path. Dapat merepresentasikan lokasi sumber dan tujuan, bergantung pada penggunaannya.
--batchSize=SIZE
(Opsional) Tentukan blok yang akan digunakan per batch. Nilai defaultnya adalah 1.000.
--blksize=SIZE
(Opsional) Tentukan ukuran blok file yang akan disalin ke Mainframe. Jika blksize=0 dan recfm bukan U, sistem mainframe akan menentukan ukuran blok yang optimal untuk file.
--cobDsn=DSN
(Opsional) Tentukan DSN copybook yang ingin Anda gunakan. Jika Anda tidak memberikan nilai, Mainframe Connector akan membaca dari DD COPYBOOK.
--connections=NUMBER
(Opsional) Tentukan jumlah koneksi yang dapat dibuat ke penerima jarak jauh. Nilai defaultnya adalah 10.
--dataset_id=ID
(Opsional) Tentukan set data default yang akan digunakan dengan perintah. Anda dapat menyetel nilai ke [PROJECT_ID]:[DATASET] atau [DATASET]. Jika [PROJECT_ID] tidak ada, project default akan digunakan.
--destDSN=OUTPUT
(Opsional) Tentukan DSN tujuan.
--destPath=OUTPUT
(Opsional) Tentukan jalur tujuan.
--dry_run
(Opsional) Uji parsing copybook dan decoding file QSAM.
--encoding=ENCODING
(Opsional) Tentukan set karakter yang akan digunakan untuk mengenkode dan mendekode kolom karakter. Jika ditentukan, nilai ini akan menggantikan nilai default yang ditetapkan oleh variabel lingkungan ENCODING.
--help atau -h
Tampilkan teks bantuan ini.
--inDsn=DSN
(Opsional) Tentukan DSN infile yang ingin Anda gunakan. Jika Anda tidak memberikan nilai, Mainframe Connector akan membaca dari DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Opsional) Tentukan waktu tunggu tetap aktif dalam detik untuk saluran HTTP. Nilai defaultnya adalah 480 detik.
--location=LOCATION
(Opsional) Tentukan lokasi region atau multi-region untuk menjalankan perintah. Nilai defaultnya adalah US.
--lowerCaseColumnNames
(Opsional) Buat nama kolom huruf kecil untuk kolom buku salinan.
--lrecl=LRECL
(Opsional) Tentukan panjang rekaman logis (lrecl) file yang ingin Anda salin ke Mainframe.
--maxChunkSize=SIZE
(Opsional) Tentukan ukuran potongan maksimum per batch. Anda harus menggunakan K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB, atau TB untuk mendeskripsikan ukuran. Nilai defaultnya adalah 128 MiB.
--max_error_pct=PCT
(Opsional) Tentukan batas kegagalan tugas untuk error decoding baris. Nilai yang valid berada dalam rentang [0.0, 1.0]. Nilai defaultnya adalah 0.
--noseek
(Opsional) Tingkatkan performa download dari Cloud Storage ke Mainframe.
--parallel atau -m
(Opsional) Tetapkan jumlah penulis serentak menjadi 4.
--parallelism atau -p=NUMBER
(Opsional) Tentukan jumlah penulis serentak. Nilai defaultnya adalah 4.
--parser_type=TYPE
(Opsional) Tetapkan parser konfigurasi ke legacy, copybook, atau auto. Nilai defaultnya adalah auto.
--preload_chunk_count=NUMBER
(Opsional) Tentukan jumlah chunk yang akan di-preload dari disk saat semua pekerja sedang sibuk. Nilai defaultnya adalah 2.
--project_id=ID
(Opsional) Tentukan project yang akan digunakan untuk menjalankan perintah ini.
--recfm=REFCM
(Opsional) Tentukan recfm file yang ingin Anda salin ke Mainframe. Anda dapat menggunakan salah satu nilai berikut: F, FB, V, VB, U. Nilai defaultnya adalah FB.
--remote
(Opsional) Gunakan dekoder jarak jauh.
--remoteHost=HOST
(Opsional) Tentukan alamat IP host jarak jauh. Untuk menjalankan Mainframe Connector dalam mode jarak jauh, setel tanda --remote.
--remotePort=PORT
(Opsional) Tentukan port jarak jauh yang akan digunakan. Nilai defaultnya adalah 51770. Untuk menjalankan Mainframe Connector dalam mode jarak jauh, setel tanda --remote.
--remoteUrl=URL
(Opsional) Tentukan URL jarak jauh. Untuk menjalankan Mainframe Connector dalam mode jarak jauh, setel tanda --remote.
--replace
(Opsional) Hapus tujuan secara rekursif sebelum mengupload.
--stats_table=TABLE
(Opsional) Tentukan tabel untuk memasukkan statistik.
--tfDSN=DSN
(Opsional) Tentukan transformasi dari DSN, DATASET.MEMBER, atau PDS(MBR).
--tfGCS=GCS
(Opsional) Tentukan file transformasi dari Cloud Storage.
--timeOutMinutes=MINUTES
(Opsional) Tentukan waktu tunggu dalam menit untuk panggilan grpc jarak jauh. Nilai defaultnya adalah 90 menit untuk Cloud Storage dan 50 menit untuk Mainframe.

gsutil rm

Menghapus objek Cloud Storage.

Synopsis

gsutil rm [-hR] URL...

Flag dan argumen

Perintah gsutil rm menggunakan flag dan argumen berikut:

URL
Tentukan lokasi Cloud Storage dalam format gs://bucket/prefix.
--help atau -h
(Opsional) Menampilkan pesan bantuan ini.
-R atau -r
(Opsional) Hapus konten direktori atau objek yang cocok dengan ekspresi jalur secara rekursif. Tidak menampilkan error jika direktori atau objek tidak ada.

pubsub topics publish

Memublikasikan pesan ke topik Pub/Sub.

Perintah ini memungkinkan Anda mengirim data pesan baik secara langsung menggunakan tanda --data atau melalui file menggunakan tanda --data-path. Anda juga dapat menyertakan atribut, kunci pengurutan, dan menerapkan properti pesan. Selain itu, Anda dapat menerapkan penggantian string dinamis ke konten pesan.

Synopsis

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

Flag dan argumen

Perintah pubsub topics publish menggunakan flag dan argumen berikut:

TOPIC
Tentukan nama topik dalam format projects/{project}/topics/{topic}.
--attributes=NAME=VALUE
(Opsional) Tentukan daftar atribut yang dipisahkan koma. Setiap ATTRIBUTE memiliki format name=value. Anda dapat menentukan hingga 100 atribut. Untuk daftar lengkap panduan atribut, lihat Menggunakan atribut untuk memublikasikan pesan.
--data-path=DATAPATH : DataPath
(Opsional) Tentukan jalur ke file yang berisi data pesan. Anda harus menetapkan salah satu tanda --data atau --data-path, tetapi tidak keduanya. Untuk mengetahui informasi selengkapnya tentang pemformatan pesan dan batas ukuran, lihat Memublikasikan pesan ke topik.
--data=DATA
(Opsional) Tentukan isi pesan yang ingin Anda publikasikan ke nama topik tertentu. Anda harus menetapkan salah satu tanda --data atau --data-path, tetapi tidak keduanya. Untuk mengetahui informasi selengkapnya tentang pemformatan pesan dan batas ukuran, lihat Memublikasikan pesan ke topik.
--help atau -h
(Opsional) Menampilkan pesan bantuan ini.
--message-property=KEY=VALUE
(Opsional) Tentukan properti yang akan diterapkan pada pesan. Kunci properti yang valid adalah encoding. Kunci properti ini menentukan encoding karakter yang akan digunakan untuk string pesan. String pesan dikonversi menjadi byte menggunakan encoding ini sebelum dikirim ke topik Pub/Sub. Untuk mengetahui daftar nilai encoding yang didukung, lihat encoding yang didukung. Defaultnya adalah UTF-8.
--ordering-key=ORDERING-KEY
(Opsional) Tentukan kunci untuk pengiriman pesan yang berurutan kepada pelanggan. Semua pesan dengan kunci pengurutan yang sama dikirim ke pelanggan sesuai urutan yang diterima Pub/Sub.
--substitution=KEY=VALUE

(Opsional) Dengan menggunakan --data atau --data-path, tentukan pasangan nilai kunci yang akan digunakan untuk penggantian dinamis yang akan diterapkan pada data pesan Pub/Sub. Mainframe Connector memindai data pesan untuk mencari placeholder dan menggantinya dengan nilai yang sesuai. Tentukan placeholder dalam data menggunakan sintaksis ${KEY}, misalnya ${NAME}. Tentukan setiap penggantian sebagai pasangan nilai kunci menggunakan format KEY=VALUE. Anda dapat menentukan beberapa penggantian dengan mengulangi opsi: --substitution key1=value1 --substitution key2=value2.

Misalnya, jika data inputnya adalah: Hello, ${username}! dan Anda menggunakan --substitution username=World, maka pesan yang dikirim ke Pub/Sub adalah: Hello, World!.

qsam decode

Mendekode data QSAM.

Perintah ini mendekodekan rekaman dari file QSAM ke format yang Anda tentukan menggunakan argumen --output-format. File QSAM asli dibagi menjadi beberapa bagian berdasarkan nilai yang Anda tentukan dengan argumen --max-chunk-size. Output yang ditranskode disimpan di jalur target sebagai file yang diurutkan secara leksikografis.

Synopsis

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Flag dan argumen

Perintah qsam decode menggunakan flag dan argumen berikut:

INPUT : DataPath
Tentukan jalur data file QSAM yang ingin Anda dekode.
OUTPUT : DataPath
Tentukan jalur data awalan output. Semua output disimpan dengan awalan ini.
--chunk-size=CHUNK-SIZE : DataSize
(Opsional) Tentukan jumlah data input yang akan disertakan dalam setiap file output. File output mungkin lebih besar atau lebih kecil. Ukuran chunk dibulatkan ke bawah ke kelipatan terdekat dari panjang rekaman logis. Nilai defaultnya adalah 128 MiB.
--copybook=COPYBOOK : DataPath
Tentukan jalur data file yang berisi copybook.
--help atau -h
(Opsional) Menampilkan pesan bantuan ini.
--input-parameter=KEY=VALUE

(Opsional) Tentukan parameter untuk mengonfigurasi input. Setiap parameter ditentukan sebagai KEY=VALUE. Kunci parameter input yang didukung adalah sebagai berikut:

  • csv-dialect: Mengonfigurasi penguraian CSV. Nilainya adalah DataPath yang mengarah ke file konfigurasi CSV.
  • json-dialect: Mengonfigurasi penguraian JSON. Nilainya adalah DataPath yang mengarah ke file konfigurasi JSON.
  • pubsub-publish-configuration: Mengonfigurasi pesan yang dikirim ke Pub/Sub. Nilainya adalah DataPath yang mengarah ke file konfigurasi Pub/Sub.
  • output-prefix: Tambahkan awalan ke file output.
--max-error-percent=MAX_ERROR_PERCENT

(Opsional) Tentukan persentase data yang diproses yang diizinkan memiliki error sebelum proses transcoding gagal. Nilai dapat berkisar antara 0,0 (gagal jika ada error transkode) dan 1,0 (tidak gagal jika ada error transkode). Nilai defaultnya adalah 0.

--output-format=FORMAT : TranscodeFormat

(Opsional) Tentukan format file output. Jika Anda memberikan DataPath topik Pub/Sub sebagai nilai ke OUTPUT, format output defaultnya adalah JSONL. Untuk semua DataPaths lainnya, format output defaultnya adalah ORC.

--parallelism=COUNT

(Opsional) Tentukan jumlah thread pemrosesan. Nilai harus sama dengan atau kurang dari jumlah core yang tersedia. Nilai default adalah 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(Opsional) Tentukan jumlah potongan data yang akan dimuat sebelumnya saat semua thread sedang diproses. Nilai default adalah 1.

--replace

(Opsional) Jika ditentukan, hapus jalur output secara rekursif sebelum menulis hasil decoding.

--transcode-configuration=CONFIG : DataPath

(Opsional) Tentukan file yang berisi konfigurasi transcoding. Untuk mengetahui informasi selengkapnya tentang format konfigurasi transkoder, lihat Konfigurasi transkoder.

qsam encode

Enkode data QSAM.

Perintah ini mengambil data dari sumber eksternal dan mengonversinya menjadi file QSAM. Input ditentukan oleh nilai yang Anda tentukan menggunakan argumen --input-format.

Synopsis

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Flag dan argumen

Perintah qsam encode menggunakan flag dan argumen berikut:

INPUT : DataPath
Tentukan jalur data file input yang ingin Anda encode ke dalam file QSAM.
OUTPUT : DataPath
Tentukan jalur data file QSAM yang ingin Anda encode.
--copybook=COPYBOOK : DataPath
Tentukan jalur data file yang berisi copybook.
--help atau -h
(Opsional) Menampilkan pesan bantuan ini.
--input-format=FORMAT : TranscodeInputFormat
Tentukan format input.
--input-parameter=KEY=VALUE

(Opsional) Tentukan parameter untuk mengonfigurasi input. Setiap parameter ditentukan sebagai KEY=VALUE. Kunci parameter input yang didukung adalah sebagai berikut:

  • csv-dialect: Mengonfigurasi penguraian CSV. Nilainya adalah DataPath yang mengarah ke file konfigurasi CSV.
  • json-dialect: Mengonfigurasi penguraian JSON. Nilainya adalah DataPath yang mengarah ke file konfigurasi JSON.
--input-stream-count=COUNT

(Opsional) Tentukan jumlah aliran input. Ini adalah nilai maksimum, dan pada kenyataannya, lebih sedikit aliran yang dapat digunakan. Nilai default adalah 1.

--parallelism=COUNT

(Opsional) Tentukan jumlah thread pemrosesan. Nilai harus sama dengan atau kurang dari jumlah core yang tersedia. Nilai default adalah 1.

--spillover=SPILLOVER : DataPath

(Opsional) Tentukan jalur data untuk set data pelimpahan. Jika Anda tidak menentukan informasi ini, detail error akan dihapus.

--transcode-configuration=CONFIG : DataPath

(Opsional) Tentukan file yang berisi konfigurasi transcoding. Untuk mengetahui informasi selengkapnya tentang format konfigurasi transkoder, lihat Konfigurasi transkoder.

scp

Menyalin file ke Cloud Storage.

Synopsis

scp [options] [input] [output]

Flag dan argumen

Untuk menggunakan perintah ini, Anda harus memastikan hal berikut:

  • Tetapkan satu nilai input unik melalui input, --inDD, atau --inDsn.
  • Tetapkan satu nilai output unik melalui output atau --gcsOutUri.

Perintah scp menggunakan flag dan argumen berikut:

input
(Opsional) Tentukan DD atau DSN yang akan disalin. Anda dapat menggunakan --inDD atau --inDsn sebagai gantinya.
output
(Opsional) Tentukan URI output menggunakan format gs://[BUCKET]/[PREFIX]. Anda dapat menggunakan --gcsOutUri sebagai gantinya.
--compress
(Opsional) Kompres output dengan gzip.
--count atau -n=RECORDS
(Opsional) Tentukan jumlah data yang akan disalin. Defaultnya tidak terbatas.
--encoding=ENCODING
(Opsional) Tentukan encoding karakter input. Nilai defaultnya adalah CP037.
--gcsOutUri=URI
(Opsional) Tentukan Cloud Storage URI tujuan untuk salinan file.
--help atau -h
Tampilkan teks bantuan ini.
--inDD=INPUT
(Opsional) Tentukan file DD yang akan disalin. Nilai defaultnya adalah DD INFILE.
--inDsn=INPUT
(Opsional) Tentukan DSN yang akan disalin.
--noConvert
(Opsional) Nonaktifkan konversi input karakter ke ASCII. Konversi karakter diaktifkan secara default.

systemreport

Memberikan laporan sistem.

Synopsis

systemreport [-h] [--available_security_providers] [--supported_ciphers]

Flag dan argumen

Perintah systemreport menggunakan flag dan argumen berikut:

--available_security_providers
(Opsional) Mencetak penyedia keamanan yang didukung.
--help atau -h
(Opsional) Menampilkan pesan bantuan ini.
--supported_ciphers
(Opsional) Cetak sandi yang didukung.

Jenis Parameter

Jenis umum ini digunakan dalam perintah Mainframe Connector.

DataPath

DataPath adalah string yang merepresentasikan input atau output. Setiap jenis DataPath memiliki awalan dan argumennya sendiri sebagai berikut:

  • DD: - Jalur data dengan awalan ini mengarah ke pernyataan definisi data (DD) saat dijalankan dalam tugas Job Control Language (JCL). Anda dapat mengubah encoding DD dengan menambahkan encoding= ke DD. Contohnya, DD:DDNAME atau DD:DDNAME?encoding=UTF-8. Encoding DD default adalah encoding OS default.

  • DSN: - Jalur data dengan awalan ini mengarah ke nama sumber data (DSN) saat dijalankan di mainframe. Anda dapat mengubah encoding DSN dengan menambahkan encoding= ke DSN. Contohnya, DSN:HQ.FOO.BAR atau DSN:HQ.FOO.BAR?encoding=cp037.

  • file: - Jalur data dengan awalan ini mengarah ke file Unix. Anda dapat menentukan hal-hal berikut dalam file Unix:

    • Panjang rekaman logis (LRECL) dengan menambahkan #lrecl sebelum :.
    • Format rekaman (RECFM) dengan menambahkan &recfm sebelum :. RECFM default adalah F.
    • Pengodean dengan menambahkan &encoding sebelum :. Encoding default adalah UTF-8.

    Misalnya, file:/path/to/file, file?80:/path/to/file, file?80&recfm=FB:/path/to/file, atau file?80&recfm=FB&encoding=cp037:/path/to/file.

  • gs:// - Jalur data dengan awalan ini mengarah ke file di Cloud Storage. Anda dapat menentukan hal-hal berikut dalam file:

    • LRECL dengan menambahkan ?lrecl=lrecl setelah awalan bucket.
    • RECFM dengan menambahkan ?recfm=recfm setelah awalan bucket. RECFM default adalah F.
    • Encoding dengan menambahkan ?encoding= setelah awalan bucket. Encoding default adalah UTF-8.

    Misalnya, gs://my_bucket/my/file.txt,gs://my_bucket/my/file.txt?encoding=cp037,gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037, atau gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm.

  • pubsub: - Jalur data dengan awalan ini mengarah ke resource Pub/Sub. Misalnya, pubsub:projects/projectId/topics/topicId.

Untuk file Cloud Storage atau Unix, jika RECFM disetel ke V, Mainframe Connector akan membaca dan menulis file dalam format zzLL sebagai berikut:

  • Dua byte pertama selalu 0x0000.
  • Dua byte berikutnya mewakili ukuran data.
  • Byte yang tersisa merupakan data rekaman sebenarnya.

DataSize

DataSize merepresentasikan ukuran dalam bentuk jumlah dan unit pengukuran, misalnya 5 MiB. Anda dapat menggunakan spasi kosong antara jumlah dan besaran. Penguraian ukuran data tidak peka huruf besar/kecil, sehingga Anda dapat menentukan unit pengukuran dalam huruf besar dan huruf kecil.

Anda dapat menentukan nilai dalam format berikut:

  • Format Java: b/k/m/g/t, masing-masing untuk byte, kibibyte, mebibyte, gibibyte, dan tebibyte.
  • Format internasional: KiB/MiB/GiB/TiB, masing-masing untuk kibibyte, mebibyte, gibibyte, dan tebibyte.
  • Format metrik: b/kb/mb/gb/tb, masing-masing untuk kilobyte, megabyte, gigabyte, dan terabyte.

TranscodeFormat

TranscodeFormat mewakili format yang akan digunakan selama proses transkode.

Nilai yang valid adalah:

  • ORC - ORC adalah format file kolom yang sadar jenis dan dapat menjelaskan sendiri.
  • CSV - CSV adalah format teks biasa yang menyimpan data tabel dengan setiap baris mewakili satu baris. Anda dapat menentukan parameter CSV menggunakan parameter input csv-dialect. Anda dapat menentukannya sebagai --input-parameter csv-dialect=DataPath dengan DataPath mengarah ke lokasi parameter ini.
  • JSONL - JSONL adalah format teks biasa yang menyimpan data tabel dengan setiap baris mewakili satu baris. Anda dapat menentukan parameter JSON menggunakan parameter input json-dialect. Anda dapat menentukannya sebagai --input-parameter json-dialect=DataPath dengan DataPath mengarah ke lokasi parameter ini.

TranscodeInputFormat

Format yang akan digunakan selama transkode.

Nilai yang valid adalah:

  • BIGQUERY - Mengambil data langsung dari BigQuery. INPUT harus berupa jalur ke file kueri.

    Parameter input yang tersedia adalah:

    • keep_order - Gunakan jika urutan data yang tepat penting. Perhatikan bahwa hal ini akan membatasi aliran input.
    • project_id - Project ID yang akan digunakan saat menjalankan tugas.
    • location - Lokasi yang akan digunakan saat menjalankan tugas.

  • CSV - CSV adalah format teks biasa yang menyimpan data tabel dengan setiap baris mewakili satu baris. Anda dapat menentukan parameter CSV menggunakan parameter input csv-dialect. Anda dapat menentukannya sebagai --input-parameter csv-dialect=DataPath dengan DataPath mengarah ke lokasi parameter ini.

  • JSONL - JSONL adalah format teks biasa yang menyimpan data tabel dengan setiap baris mewakili satu baris. Anda dapat menentukan parameter JSON menggunakan parameter input json-dialect. Anda dapat menentukannya sebagai --input-parameter json-dialect=DataPath dengan DataPath mengarah ke lokasi parameter ini.