I/O Terkelola mendukung kemampuan berikut untuk BigQuery:
- Pembuatan tabel dinamis
- Tujuan dinamis
- Untuk pembacaan, konektor menggunakan BigQuery Storage Read API.
Untuk operasi tulis, konektor menggunakan metode BigQuery berikut:
- Jika sumber tidak terbatas dan Dataflow menggunakan pemrosesan streaming persis sekali, konektor melakukan penulisan ke BigQuery, dengan menggunakan BigQuery Storage Write API dengan semantik pengiriman persis sekali.
- Jika sumber tidak terbatas dan Dataflow menggunakan pemrosesan streaming minimal sekali, konektor melakukan penulisan ke BigQuery, dengan menggunakan BigQuery Storage Write API dengan semantik pengiriman minimal sekali.
- Jika sumber dibatasi, konektor akan menggunakan pemuatan file BigQuery.
Persyaratan
SDK berikut mendukung I/O terkelola untuk BigQuery:
- Apache Beam SDK untuk Java versi 2.61.0 atau yang lebih baru
- Apache Beam SDK untuk Python versi 2.61.0 atau yang lebih baru
Konfigurasi
Konfigurasi baca dan tulis | Jenis data | Deskripsi |
---|---|---|
table |
string | Tabel BigQuery yang akan dibaca atau ditulis. Format sebagai
"PROJECT.DATASET.TABLE" . Contoh:
"my_project.dataset1.table1" . |
kms_key |
string | Menentukan kunci Cloud Key Management Service (Cloud KMS) untuk mengenkripsi tabel BigQuery saat menulis, atau untuk mengenkripsi tabel sementara yang dibuat selama pembacaan. |
Konfigurasi baca | Jenis data | Deskripsi |
fields |
daftar string | Daftar kolom yang akan dibaca dari tabel. Parameter ini memungkinkan pembacaan yang efisien saat tabel berisi banyak kolom. |
query |
string | Kueri SQL untuk dibaca. Jika ditentukan, konektor akan menjalankan kueri di BigQuery dan membaca hasil kueri. |
row_restriction |
string | Predikat yang memfilter data di sisi server. Contoh:
"age > 18" . |
Menulis konfigurasi | Jenis data | Deskripsi |
triggering_frequency |
bilangan bulat | Untuk sumber yang tidak terbatas, tentukan frekuensi penulisan file dipicu, dalam detik. |
Untuk pembacaan, Anda harus menentukan table
atau query
. Untuk penulisan, Anda harus menentukan table
.
Untuk informasi selengkapnya, lihat topik berikut: