Tampilan terwujud berkelanjutan

Dokumen ini memberikan ringkasan tentang tampilan terwujud berkelanjutan dan kasus penggunaan umum untuknya. Sebelum membaca halaman ini, Anda harus sudah memahami Ringkasan Bigtable.

Di Bigtable, tampilan terwujud berkelanjutan adalah hasil yang telah dihitung sebelumnya dan dikelola sepenuhnya dari kueri SQL yang berjalan terus-menerus yang memperbarui tampilan terwujud berkelanjutan secara inkremental. Kueri SQL dapat menyertakan agregasi dan transformasi pada tabel Bigtable yang mendasarinya. Menggunakan tampilan terwujud berkelanjutan dapat meningkatkan performa dan efisiensi.

Data dalam tampilan terwujud berkelanjutan mencakup hal berikut:

  • Nilai yang digabungkan atau ditransformasi yang berasal dari data dalam tabel sumber
  • Nilai yang tidak diagregasi yang menentukan kunci pengelompokan

Tampilan terwujud berkelanjutan memungkinkan Anda menggabungkan data terlebih dahulu saat Anda menyerapnya. Selain itu, tampilan terwujud berkelanjutan memiliki skema yang berbeda dengan tabel sumbernya, yang menyajikan data tabel sumber dalam struktur yang dioptimalkan untuk kueri dengan pola penelusuran yang berbeda dengan kueri yang digunakan pada tabel sumber.

Berikut adalah karakteristik utama tampilan terwujud berkelanjutan di Bigtable:

  • Tanpa pemeliharaan: Tampilan terwujud berkelanjutan diprakomputasi di latar belakang. Perubahan data pada tabel sumber, termasuk update dan penghapusan, akan otomatis dipropagasi di latar belakang ke tampilan terwujud berkelanjutan, tanpa memerlukan tindakan pengguna.
  • Pola pengembangan SQL: Tampilan terwujud berkelanjutan didasarkan pada kueri GoogleSQL untuk Bigtable, termasuk fungsi, filter, dan agregasi SQL.
  • Sinkronisasi dengan pengumpulan sampah: Tampilan terwujud berkelanjutan tetap disinkronkan dengan kebijakan pengumpulan sampah dari tabel sumbernya, yang diperbarui secara otomatis saat data tabel berakhir masa berlakunya atau dihapus.
  • Latensi baca dan tulis tidak terpengaruh: Tampilan terwujud berkelanjutan memiliki dampak minimal pada performa di tabel sumber saat cluster instance disediakan secara memadai atau menggunakan penskalaan otomatis.
  • Konsistensi yang tertunda: Tampilan terwujud berkelanjutan dihitung di latar belakang. Pembaruan pada tampilan terwujud berkelanjutan mungkin tertunda, tetapi hasil tampilan terwujud berkelanjutan selalu konsisten dari waktu ke waktu.

Kunci baris, penentu kolom, dan nilai kolom yang Anda gunakan untuk menentukan tampilan materialis berkelanjutan diperlakukan sebagai data layanan. Oleh karena itu, jangan membuat tampilan terwujud berkelanjutan menggunakan kunci baris, penentu kolom, atau nilai kolom yang berisi informasi sensitif. Untuk mengetahui informasi tentang cara penanganan data layanan, lihat Pemberitahuan PrivasiGoogle Cloud .

Anda dapat membuat tampilan terwujud berkelanjutan menggunakan Google Cloud CLI, editor kueri Bigtable Studio di konsol Google Cloud , atau library klien Bigtable untuk Java dan Go.

Anda dapat membaca dari tampilan terwujud berkelanjutan menggunakan hal berikut:

Untuk mengetahui informasi selengkapnya, lihat Membaca dari tampilan terwujud berkelanjutan.

Kapan harus menggunakan tampilan terwujud berkelanjutan

Tampilan terwujud berkelanjutan memungkinkan Anda menentukan representasi baru data Bigtable menggunakan SQL. Setelah dibuat, tampilan terwujud berkelanjutan akan terus-menerus dan otomatis menyusun ulang data dari tabel sumber ke dalam format yang ditentukan oleh kueri SQL. Kemudian, alih-alih membuat kueri tabel dan mengubah atau menggabungkan data setelah Anda membacanya, Anda dapat membuat kueri tampilan terwujud berkelanjutan.

Tampilan terwujud berkelanjutan dapat meningkatkan performa kueri untuk kasus penggunaan berikut:

  • Pra-agregasi data: Anda dapat menggunakan tampilan materialisasi berkelanjutan untuk menggabungkan data masuk di seluruh baris. Hal ini memungkinkan Anda mengambil data yang diringkas dan diagregasi, seperti metrik untuk dasbor, dengan cepat.
  • Otomatisasi arsitektur lambda dan kappa: Jika aplikasi Anda memerlukan campuran data pipeline streaming real-time dan data pipeline batch yang berisi data historis, gunakan tampilan terwujud berkelanjutan. Tampilan ini memberikan tampilan semua sumber data yang diperbarui dari waktu ke waktu untuk mencerminkan perubahan pada data pokok, tanpa memerlukan alat pemrosesan streaming tambahan atau tugas ETL kustom.
  • Pola akses sekunder: Tampilan terwujud berkelanjutan membuat representasi alternatif data Anda. Representasi ini dapat dioptimalkan untuk kueri dengan pola penelusuran yang berbeda dari yang Anda gunakan dalam kueri terhadap tabel sumber. Untuk mengetahui informasi selengkapnya tentang pola ini, lihat Membuat indeks sekunder global.

Untuk membandingkan tampilan terwujud berkelanjutan dengan jenis tampilan Bigtable lainnya, lihat Tabel dan tampilan.

Kapan harus menggunakan penghitung

Cara lain untuk menggabungkan data sebelumnya adalah dengan membuat penghitung terdistribusi menggunakan sel gabungan.

Penulisan ke sel gabungan dapat langsung dibaca dari cluster yang ditulisi. Tampilan terwujud berkelanjutan diproses setelah data ditulis dan pada akhirnya menjadi konsisten dengan tabel sumber.

Gunakan penghitung, bukan tampilan terwujud berkelanjutan untuk hal berikut:

  • Agregasi yang tidak memerlukan filter dan tidak perlu di seluruh baris
  • Jika Anda perlu segera membaca operasi tulis dari cluster yang ditulisi

Gunakan tampilan terwujud berkelanjutan jika Anda ingin melakukan hal berikut:

  • Membuat kunci yang berbeda untuk kueri terhadap agregasi Anda
  • Melihat perubahan pada tabel dasar yang tercermin dalam agregasi Anda
  • Menggabungkan data secara otomatis di beberapa baris

Gunakan kombinasi penghitung dan tampilan terwujud berkelanjutan untuk kasus penggunaan seperti saat Anda ingin melakukan hal berikut:

  • Merekam metrik baru dalam sel gabungan, tetapi mempertahankan peluncuran historis metrik tersebut
  • Menggabungkan metrik dalam tampilan terwujud berkelanjutan

Penyediaan dan performa resource

Pemrosesan berkelanjutan untuk tampilan terwujud berkelanjutan terjadi sebagai tugas latar belakang berprioritas rendah. Akibatnya, dampak pada performa aplikasi serta latensi baca dan tulis pada tabel sumber sangat kecil, asalkan ukuran cluster Anda memadai.

Sebagai praktik terbaik untuk memastikan data dalam tampilan terwujud berkelanjutan tetap baru, aktifkan penskalaan otomatis untuk cluster dalam instance yang berisi tampilan terwujud berkelanjutan Anda. Penskalaan otomatis secara otomatis menambahkan node yang cukup untuk menangani overhead pemrosesan, lalu menghapusnya saat tidak lagi diperlukan. Hal ini membantu memastikan bahwa kapasitas komputasi yang memadai tersedia selama eksekusi kueri SQL yang berjalan terus-menerus. Penskalaan otomatis juga dapat memastikan bahwa Anda memiliki cukup node untuk menangani kebutuhan penyimpanan tampilan terwujud berkelanjutan.

Tampilan terwujud berkelanjutan diperhitungkan dalam batas 1.000 tabel per instance.

Penyimpanan

Untuk setiap tampilan terwujud berkelanjutan, Bigtable menyimpan berikut ini:

  • Data dalam tampilan terwujud berkelanjutan
  • Penyimpanan perantara

Seperti tabel Bigtable lainnya, tampilan terwujud berkelanjutan ada di semua cluster dalam instance yang memuatnya. Cluster di instance Anda harus memiliki node yang cukup untuk menyimpan tabel sumber dan tampilan terwujud berkelanjutan berdasarkan tabel tersebut. Penskalaan otomatis memungkinkan cluster Anda menskalakan ukuran ke atas atau ke bawah seiring perubahan persyaratan penyimpanan.

Tampilan terwujud berkelanjutan harus dibuat di instance yang sama dengan tabel sumber, meskipun penyimpanan untuk tampilan terwujud berkelanjutan berbeda dengan tabel sumber.

Penyimpanan tampilan terwujud berkelanjutan

Tampilan terwujud berkelanjutan berisi data yang dihasilkan dari kueri SQL yang menjadi dasar tampilan terwujud berkelanjutan. Artinya, kolom ini berisi nilai gabungan yang ditentukan oleh klausa agregasi dalam kueri SQL dan nilai yang tidak digabungkan yang menentukan kunci pengelompokan.

Penyimpanan perantara

Untuk mendukung sinkronisasi tampilan terwujud berkelanjutan dengan tabel sumbernya, Bigtable menggunakan penyimpanan perantara untuk menyimpan salinan data yang diperlukan untuk memperbarui tampilan terwujud berkelanjutan secara bertahap.

Jumlah data dalam penyimpanan sementara kira-kira setara dengan jumlah data yang dipindai dalam tabel sumber untuk menghasilkan hasil kueri SQL yang menentukan tampilan terwujud berkelanjutan. Misalnya, jika kueri Anda menggabungkan data di seluruh tabel, Bigtable akan menyimpan seluruh tabel yang setara dalam penyimpanan sementara. Tampilan terwujud berkelanjutan berdasarkan kueri rentang kunci baris atau kolom tertentu hanya menyimpan baris atau kolom tersebut dalam penyimpanan perantara.

Penyimpanan perantara tetap ada selama masa aktif tampilan terwujud berkelanjutan untuk secara efisien mendukung update inkremental pada tampilan dan menyebarkan penghapusan dari tabel sumber ke tampilan terwujud berkelanjutan. Anda tidak dapat membaca data di penyimpanan perantara. Untuk mendapatkan insight tentang penggunaan penyimpanan perantara Anda, lihat Metrik tampilan terwujud berkelanjutan.

Replikasi

Pada instance yang menggunakan replikasi, tampilan terwujud berkelanjutan tidak direplikasi dengan cara yang sama seperti tabel. Sebaliknya, setiap cluster dalam instance memproses tampilan materialis berlanjut secara independen, menggunakan salinan tabel sumbernya sendiri. Artinya, misalnya, data yang ditulis ke tabel sumber di cluster A direplikasi ke tabel di cluster B, lalu ke tampilan terwujud berkelanjutan di cluster B.

Biaya

Tidak ada biaya per resource untuk menggunakan tampilan terwujud berkelanjutan. Namun, pembuatan dan sinkronisasi tampilan terwujud berkelanjutan memerlukan pemrosesan dan penyimpanan, dan Anda akan ditagih dengan tarif standar. Anda dapat melihat peningkatan pada hal berikut saat membuat tampilan terwujud berkelanjutan:

  • Penyimpanan - Anda dikenai biaya untuk menyimpan data dalam tampilan terwujud berkelanjutan dan untuk penyimpanan sementara. Untuk mengetahui informasi selengkapnya, lihat Penyimpanan.
  • Komputasi - Sinkronisasi berkelanjutan dari tabel sumber dan tampilan terwujud yang berkelanjutan memerlukan pemrosesan CPU, dan cluster Anda mungkin memerlukan lebih banyak node untuk menangani tugas latar belakang tambahan.

Pada saat yang sama, Anda mungkin melihat penurunan pemrosesan pada tabel sumber, seperti saat Anda tidak lagi melakukan pemindaian rentang data untuk melakukan komputasi berulang dan kueri lain yang kurang efisien. Anda juga dapat menghilangkan kebutuhan untuk menjalankan tugas pipeline, seperti Dataflow atau Spark, untuk menggabungkan data sumber dan menuliskannya kembali ke Bigtable.

Untuk mengetahui informasi selengkapnya tentang harga, lihat Harga Bigtable. Untuk metrik yang dapat membantu Anda memantau penggunaan tampilan terwujud berkelanjutan, lihat Metrik.

Metrik

Tampilan terwujud berkelanjutan melaporkan beberapa metrik utama ke Cloud Logging yang dapat Anda gunakan untuk memantau tampilan terwujud berkelanjutan.

Metrik Deskripsi
materialized_view/max_delay Batas atas penundaan pemrosesan untuk tampilan terwujud berkelanjutan
materialized_view/storage Jumlah data yang digunakan untuk penyimpanan tampilan terwujud berkelanjutan dalam byte
materialized_view/intermediate_storage Jumlah data yang digunakan oleh pemrosesan perantara untuk tampilan terwujud berkelanjutan dalam byte
table/materialized_view_intermediate_storage Jumlah data yang digunakan oleh pemrosesan perantara untuk tampilan terwujud berkelanjutan yang ditentukan pada tabel ini
materialized_view/user_errors Jumlah error dari data pengguna untuk tampilan terwujud berkelanjutan. Error pengguna mencegah data disebarkan ke tampilan.
materialized_view/system_errors Jumlah error dari sistem untuk tampilan terwujud berkelanjutan

Anda juga dapat menggunakan banyak metrik tabel Bigtable untuk memantau tampilan terwujud berkelanjutan, menggunakan ID tampilan terwujud berkelanjutan, bukan ID tabel. Secara khusus, tampilan terwujud berkelanjutan disertakan dalam perincian untuk metrik CPU, yang dapat membantu Anda memahami dampaknya. Metrik Bigtable untuk permintaan per detik, latensi, dan throughput dihasilkan saat Anda membaca tampilan materialis yang berkelanjutan menggunakan metode ReadRows Data API. Untuk informasi selengkapnya, lihat Metrik.

Untuk mulai menggunakan Cloud Logging, lihat Ringkasan kueri dan tampilan log.

Batasan

  • Anda hanya dapat membuat satu tampilan terwujud berkelanjutan per tabel.
  • Saat Anda membuat tampilan tanpa _key yang ditentukan, kolom yang dipilih dalam tabel sumber tidak boleh berupa NULL. Untuk mengetahui informasi selengkapnya, lihat Kunci baris yang ditentukan oleh klausa GROUP BY.
  • Anda tidak dapat mengubah kueri SQL yang menentukan tampilan terwujud berkelanjutan. Anda harus menghapus tampilan terwujud berkelanjutan dan membuat yang baru dengan perubahan Anda.
  • Anda tidak dapat membuat tampilan terwujud berkelanjutan dari tampilan terwujud berkelanjutan lain atau dari tampilan logis.
  • Anda tidak dapat mengonfigurasi kebijakan pengumpulan sampah untuk tampilan terwujud berkelanjutan. Semua retensi data diatur oleh kebijakan pengumpulan sampah untuk tabel sumber dan pengumpulan sampah sumber secara otomatis tercermin dalam tampilan terwujud berkelanjutan.

Langkah berikutnya