Halaman ini diterjemahkan oleh Cloud Translation API.

Pengantar kueri berkelanjutan

Dokumen ini menjelaskan kueri berkelanjutan BigQuery.

Kueri berkelanjutan BigQuery adalah pernyataan SQL yang berjalan secara berkelanjutan. Kueri berkelanjutan memungkinkan Anda menganalisis data yang masuk di BigQuery secara real time. Anda dapat menyisipkan baris output yang dihasilkan oleh kueri berkelanjutan ke dalam tabel BigQuery atau mengekspornya ke Pub/Sub atau Bigtable. Kueri berkelanjutan dapat memproses data yang telah ditulis ke tabel BigQuery standar menggunakan salah satu metode berikut:

Anda dapat menggunakan kueri berkelanjutan untuk melakukan tugas yang sensitif terhadap waktu, seperti membuat dan segera menindaklanjuti insight, menerapkan inferensi machine learning (ML) real-time, dan mereplikasi data ke platform lain. Hal ini memungkinkan Anda menggunakan BigQuery sebagai mesin pemrosesan data berbasis peristiwa untuk logika keputusan aplikasi Anda.

Diagram berikut menunjukkan alur kerja kueri berkelanjutan yang umum:

Diagram yang mengilustrasikan alur kerja kueri berkelanjutan BigQuery yang umum, termasuk penyerapan, pemrosesan, dan ekspor data ke tujuan seperti Bigtable dan Pub/Sub.

Kasus penggunaan

Kasus penggunaan umum saat Anda mungkin ingin menggunakan kueri berkelanjutan adalah sebagai berikut:

Layanan interaksi pelanggan yang dipersonalisasi: gunakan AI generatif untuk membuat pesan yang disesuaikan untuk setiap interaksi pelanggan.
Deteksi anomali: buat solusi yang memungkinkan Anda melakukan deteksi anomali dan ancaman pada data kompleks secara real time, sehingga Anda dapat bereaksi terhadap masalah dengan lebih cepat.
Pipeline berbasis peristiwa yang dapat disesuaikan: gunakan integrasi kueri berkelanjutan dengan Pub/Sub untuk memicu aplikasi downstream berdasarkan data yang masuk.
Penambahan nilai data dan ekstraksi entitas: gunakan kueri berkelanjutan untuk melakukan penambahan nilai dan transformasi data secara real time menggunakan fungsi SQL dan model ML.
Reverse extract-transform-load (ETL): melakukan ETL terbalik real-time ke sistem penyimpanan lain yang lebih sesuai untuk penayangan aplikasi dengan latensi rendah. Misalnya, menganalisis atau meningkatkan data peristiwa yang ditulis ke BigQuery, lalu melakukan streaming ke Bigtable untuk penayangan aplikasi.

Operasi yang didukung

Operasi berikut didukung dalam kueri berkelanjutan:

Menjalankan pernyataan INSERT untuk menulis data dari kueri berkelanjutan ke tabel BigQuery.
Menjalankan pernyataan EXPORT DATA untuk memublikasikan output kueri berkelanjutan ke topik Pub/Sub. Untuk mengetahui informasi selengkapnya, lihat Mengekspor data ke Pub/Sub.

Dari topik Pub/Sub, Anda dapat menggunakan data dengan layanan lain, seperti melakukan analisis streaming menggunakan Dataflow, atau menggunakan data dalam alur kerja integrasi aplikasi.
Menjalankan pernyataan EXPORT DATA untuk mengekspor data dari BigQuery ke tabel Bigtable. Untuk mengetahui informasi selengkapnya, lihat Mengekspor data ke Bigtable.
Memanggil fungsi AI generatif berikut:
- ML.GENERATE_TEXT
Fungsi ini mengharuskan Anda memiliki model jarak jauh BigQuery ML di atas model Vertex AI.
Memanggil fungsi AI berikut:
- ML.UNDERSTAND_TEXT
- ML.TRANSLATE
Fungsi ini mengharuskan Anda memiliki model jarak jauh BigQuery ML melalui Cloud AI API.
Menormalisasi data numerik menggunakan fungsi ML.NORMALIZER.
Menggunakan fungsi GoogleSQL stateless—misalnya, fungsi konversi. Dalam fungsi stateless, setiap baris diproses secara terpisah dari baris lain di tabel.
Menggunakan fungsi histori perubahan APPENDS untuk memulai pemrosesan kueri berkelanjutan dari titik waktu tertentu.

Otorisasi

Token aksesGoogle Cloud yang digunakan saat menjalankan tugas kueri berkelanjutan memiliki time to live (TTL) dua hari saat dihasilkan oleh akun pengguna. Oleh karena itu, tugas tersebut berhenti berjalan setelah dua hari. Token akses yang dihasilkan oleh akun layanan dapat berjalan lebih lama, tetapi tetap harus mematuhi runtime kueri maksimum. Untuk mengetahui informasi selengkapnya, lihat Menjalankan kueri berkelanjutan menggunakan akun layanan.

Lokasi

Kueri berkelanjutan didukung di lokasi berikut:

	Deskripsi region	Nama region	Detail
Amerika
	Iowa	`us-central1`	CO Rendah₂
	Montréal	`northamerica-northeast1`	CO₂ Rendah
	Northern Virginia	`us-east4`
	Oregon	`us-west1`	CO Rendah₂
	Carolina Selatan	`us-east1`
	Multi-region AS	`us`
Asia Pasifik
	Delhi	`asia-south2`
	Hong Kong	`asia-east2`
	Jakarta	`asia-southeast2`
	Mumbai	`asia-south1`
	Seoul	`asia-northeast3`
	Singapura	`asia-southeast1`
	Sydney	`australia-southeast1`
	Taiwan	`asia-east1`
	Tokyo	`asia-northeast1`
Eropa
	Belgia	`europe-west1`	CO Rendah₂
	Multi-region Uni Eropa	`eu`
	Frankfurt	`europe-west3`	CO Rendah₂
	London	`europe-west2`	CO Rendah₂
	Belanda	`europe-west4`	CO₂ Rendah

Batasan

Kueri berkelanjutan tunduk pada batasan berikut:

Kueri berkelanjutan BigQuery tidak mempertahankan status data yang ditransfer. Operasi umum yang mengandalkan status, seperti JOIN, fungsi agregasi, atau fungsi jendela, tidak didukung.
Anda tidak dapat menggunakan kemampuan SQL berikut dalam kueri berkelanjutan:
- Operasi JOIN
- Fungsi agregat
- Perkiraan fungsi agregat
- Klausa kueri berikut:
- Operator kueri berikut:
- Operator set kueri
- Pernyataan SELECT DISTINCT
- Subkueri EXISTS atau NOT EXISTS
- CTE Rekursif
- Fungsi yang ditentukan pengguna
- Fungsi jendela
- Fungsi BigQuery ML selain yang tercantum dalam Operasi yang didukung
- Pernyataan bahasa definisi data (DDL)
- Pernyataan bahasa manipulasi data (DML) kecuali INSERT.
- Pernyataan bahasa kontrol data (DCL)
- Pernyataan EXPORT DATA yang tidak menargetkan Bigtable atau Pub/Sub
- Bahasa prosedur
- Pernyataan proses debug
Kueri berkelanjutan tidak mendukung pemrosesan data upsert Pengambilan Data Perubahan (CDC).
Kueri berkelanjutan tidak mendukung tabel karakter pengganti sebagai sumber data.
Kueri berkelanjutan tidak mendukung tabel eksternal sebagai sumber data.
Kueri berkelanjutan tidak mendukung tampilan INFORMATION_SCHEMA sebagai sumber data.
Kueri berkelanjutan tidak mendukung tabel BigLake untuk Apache Iceberg di BigQuery.
Kueri berkelanjutan tidak mendukung fitur keamanan BigQuery berikut:
- Keamanan kolom dan tingkat baris
Saat mengekspor data ke Bigtable, Anda hanya dapat menargetkan instance Bigtable yang berada dalam batas regionalGoogle Cloud yang sama dengan set data BigQuery yang berisi tabel yang Anda buat kuerinya. Untuk informasi selengkapnya, lihat Pertimbangan lokasi. Pembatasan ini tidak berlaku untuk mengekspor data ke Pub/Sub karena Pub/Sub adalah resource global.
Anda tidak dapat menjalankan kueri berkelanjutan dari kanvas data.
Anda tidak dapat mengubah SQL yang digunakan dalam kueri berkelanjutan saat tugas kueri berkelanjutan sedang berjalan. Untuk informasi selengkapnya, lihat Mengubah SQL kueri berkelanjutan.
Jika tugas kueri berkelanjutan tertinggal dalam memproses data yang masuk dan memiliki jeda stempel waktu output lebih dari 48 jam, tugas tersebut akan gagal. Anda dapat menjalankan kueri lagi dan menggunakan fungsi histori perubahan APPENDS untuk melanjutkan pemrosesan dari titik waktu saat Anda menghentikan tugas kueri berkelanjutan sebelumnya. Untuk mengetahui informasi selengkapnya, lihat Memulai kueri berkelanjutan dari titik waktu tertentu.
Kueri berkelanjutan yang dikonfigurasi dengan akun pengguna dapat berjalan hingga dua hari. Kueri berkelanjutan yang dikonfigurasi dengan akun layanan dapat berjalan hingga 150 hari. Saat runtime kueri maksimum tercapai, kueri akan gagal dan berhenti memproses data yang masuk.
Meskipun kueri berkelanjutan dibuat menggunakan fitur keandalan BigQuery, masalah sementara terkadang dapat terjadi. Masalah dapat menyebabkan sejumlah pemrosesan ulang otomatis kueri berkelanjutan Anda, yang dapat menghasilkan data duplikat dalam output kueri berkelanjutan. Desain sistem downstream Anda untuk menangani skenario tersebut.

Batasan reservasi

Anda harus membuat reservasi edisi Enterprise atau edisi Enterprise Plus untuk menjalankan kueri berkelanjutan. Kueri berkelanjutan tidak mendukung model penagihan komputasi sesuai permintaan.
Saat Anda membuat penetapan pemesanan CONTINUOUS, pemesanan terkait dibatasi hingga maksimal 500 slot. Anda dapat meminta peningkatan batas ini dengan menghubungi bq-continuous-queries-feedback@google.com.
Penetapan reservasi kueri berkelanjutan tidak membagikan slot tidak ada aktivitas, meskipun pemesanan dikonfigurasi untuk melakukannya.
Anda tidak dapat membuat penetapan pemesanan yang menggunakan jenis tugas yang berbeda dalam pemesanan yang sama dengan penetapan pemesanan kueri berkelanjutan.
Anda tidak dapat mengonfigurasi konkurensi kueri berkelanjutan. BigQuery secara otomatis menentukan jumlah kueri berkelanjutan yang dapat berjalan secara serentak, berdasarkan penetapan reservasi yang tersedia yang menggunakan jenis tugas CONTINUOUS.
Saat menjalankan beberapa kueri berkelanjutan menggunakan reservasi yang sama, setiap tugas mungkin tidak membagi resource yang tersedia secara adil, seperti yang ditentukan oleh keadilan BigQuery.

Penskalaan otomatis slot

Kueri berkelanjutan dapat menggunakan penskalaan otomatis slot untuk menskalakan kapasitas yang dialokasikan secara dinamis guna mengakomodasi beban kerja Anda. Saat beban kerja kueri berkelanjutan Anda meningkat atau menurun, BigQuery akan menyesuaikan slot Anda secara dinamis.

Setelah mulai berjalan, kueri berkelanjutan akan secara aktif memproses data yang masuk, yang menggunakan resource slot. Meskipun reservasi dengan kueri berkelanjutan yang berjalan tidak diskalakan ke nol slot, kueri berkelanjutan yang tidak ada aktivitasnya yang terutama memproses data yang masuk diperkirakan akan menggunakan jumlah slot minimal, biasanya sekitar 1 slot.

Harga

Kueri berkelanjutan menggunakan harga komputasi kapasitas BigQuery, yang diukur dalam slot. Untuk menjalankan kueri berkelanjutan, Anda harus memiliki reservasi yang menggunakan edisi Enterprise atau Enterprise Plus, dan penetapan reservasi yang menggunakan jenis tugas CONTINUOUS.

Penggunaan resource BigQuery lainnya, seperti penyerapan dan penyimpanan data, dikenai tarif yang ditampilkan di Harga BigQuery.

Penggunaan layanan lain yang menerima hasil kueri berkelanjutan atau yang dipanggil selama pemrosesan kueri berkelanjutan akan dikenai tarif yang dipublikasikan untuk layanan tersebut. Untuk mengetahui harga layanan Google Cloud lainnya yang digunakan oleh kueri berkelanjutan, lihat topik berikut:

Langkah berikutnya

Coba membuat kueri berkelanjutan.