FAQ

Datastream adalah layanan replikasi dan pengambilan data perubahan (CDC) yang serverless dan mudah digunakan. Datastream memungkinkan replikasi data yang lancar dari sumber database relasional seperti AlloyDB for PostgreSQL, PostgreSQL, MySQL, SQL Server, dan Oracle, serta dari Salesforce dan MongoDB, langsung ke BigQuery. Datastream menawarkan skala, kecepatan, keamanan, dan kesederhanaan yang dibutuhkan bisnis modern. Dengan arsitektur penskalaan otomatis serverless, Datastream memungkinkan Anda menyiapkan pipeline ELT (Ekstraksi, Pemuatan, dan Transformasi) untuk replikasi data latensi rendah yang memungkinkan insight mendekati real-time.

Datastream juga memiliki kemampuan untuk menyinkronkan aliran data di berbagai database dan aplikasi heterogen secara andal dan dengan latensi minimal. Anda dapat mengintegrasikan layanan dengan template Dataflow untuk mereplikasi database ke Cloud SQL atau Spanner untuk sinkronisasi database, atau memanfaatkan aliran peristiwa langsung dari Cloud Storage untuk mewujudkan arsitektur berbasis peristiwa.

• CDC: Merekam perubahan yang sedang berlangsung dari sumber secara real time.
• Pengisian ulang: Menyediakan snapshot historis data yang ada dalam tabel.

CDC adalah pendekatan untuk integrasi data yang memungkinkan Anda mengintegrasikan dan menganalisis data lebih cepat, menggunakan lebih sedikit resource sistem. Ini adalah metode untuk menarik hanya perubahan terbaru (pembaruan, penyisipan, atau penghapusan) dari sumber data, sering kali dengan membaca log perubahan yang disimpan sumber untuk integritas transaksional internalnya sendiri.

CDC adalah mekanisme yang sangat efisien untuk membatasi dampak pada sumber saat memuat data baru ke dalam penyimpanan data operasional dan data warehouse, serta menghilangkan kebutuhan untuk memperbarui pemuatan massal dan jendela batch yang tidak nyaman dengan memungkinkan pemuatan inkremental atau streaming perubahan data mendekati real-time ke tujuan data.

CDC dapat digunakan dalam banyak kasus penggunaan yang mendapatkan nilai dari akses konstan ke perubahan data saat terjadi, seperti analisis, menyinkronkan data di seluruh sistem yang didistribusikan secara geografis, dan arsitektur berbasis peristiwa.

Selain perubahan berkelanjutan, Datastream juga menggunakan pengisian ulang untuk menarik semua data yang ada dari sumber, lalu mengalirkan data ke tujuan. Akibatnya, tujuan akan "diisi ulang" dengan semua data historis dari sumber. Ada dua jenis pengisian ulang:

• Inkremental: Jenis pengisian ulang default untuk tabel. Selama pengisian ulang inkremental, Datastream mengambil data dari rentang baris dalam beberapa batch, dan melakukan streaming data ke tujuan batch demi batch.
• Dump penuh: Selama pengisian ulang dump penuh, Datastream menarik semua data sekaligus, dan mengalirkan data tersebut ke tujuan.

Untuk mengetahui informasi tentang batasan pengisian ulang, lihat halaman batasan umum untuk jenis sumber masing-masing:

• MySQL
• Oracle
• PostgreSQL (termasuk AlloyDB untuk PostgreSQL)
• SQL Server
• Salesforce (Pratinjau)
• MongoDB (Pratinjau)

Anda dapat memantau status pengisian ulang per objek:

1. Di konsol Google Cloud , buka halaman Streams.
2. Klik aliran yang ingin Anda pantau.
3. Klik tab Objek.

Status CDC secara efektif adalah status aliran. Jika operasi CDC gagal, seluruh streaming akan gagal.

Metrik tingkat objek tambahan tersedia di Cloud Monitoring. Untuk mengetahui informasi selengkapnya, lihat dokumentasi Cloud Monitoring.

Aliran perubahan adalah urutan peristiwa yang dipancarkan Datastream ke tujuan untuk tujuan penggunaan hilir. Hasil dari aliran perubahan yang ditulis ke Cloud Storage adalah sekumpulan file yang berisi peristiwa log perubahan dari tabel tertentu selama jangka waktu tertentu. Peristiwa ini mewakili penyisipan, pembaruan, dan penghapusan ke tabel tersebut, dan peristiwa dapat digunakan dan diproses di hilir Cloud Storage oleh layanan seperti Dataflow untuk kasus penggunaan seperti arsitektur berbasis peristiwa.

Replikasi dalam konteks Datastream berarti representasi tabel sumber yang terbaru dan 1:1 di tujuan. Misalnya, tabel di Oracle yang perubahannya direplikasi secara berkelanjutan ke tabel BigQuery, dengan tabel BigQuery terus diperbarui menggunakan perubahan yang di-streaming dari tabel Oracle. Replikasi memanfaatkan aliran perubahan dengan menggunakan setiap peristiwa perubahan dan menggunakannya untuk memperbarui tujuan. Datastream memungkinkan replikasi langsung ke BigQuery, dan mendukung tujuan tambahan seperti Cloud SQL dan Spanner melalui integrasi dengan Dataflow, dengan memanfaatkan template yang menarik peristiwa aliran data perubahan dari Cloud Storage dan memperbarui tabel tujuan yang sesuai.

CDC adalah mekanisme yang sangat efisien untuk membatasi dampak pada sumber saat data baru dimuat ke dalam penyimpanan data dan data warehouse tujuan. CDC juga menghilangkan kebutuhan untuk pembaruan pemuatan massal dan periode batch yang tidak praktis dengan memungkinkan pemuatan inkremental atau streaming perubahan data yang mendekati real-time ke tujuan.

Selain itu, Datastream meminimalkan dampak pengisian ulang awal dengan membatasi jumlah tugas pengisian ulang serentak, dan menawarkan kontrol kepada Anda untuk memutuskan objek mana yang akan diisi ulang, dan kapan akan diisi ulang.

1. Buat aliran data di project atau region baru dengan konfigurasi yang sama seperti aliran data yang ada, tetapi jangan centang kotak Isi ulang data historis.
2. Mulai aliran data yang Anda buat.
3. Setelah streaming yang Anda buat memiliki status RUNNING, jeda streaming yang ada.
4. Secara opsional, ubah aliran baru dengan mencentang kotak Isi ulang data historis. Data yang ada di tabel yang ditambahkan ke aliran pada masa mendatang akan di-streaming dari sumber ke tujuan.

Untuk melihat daftar region tempat Datastream tersedia, lihat Daftar yang diberi akses dan region IP.

Datastream mendukung streaming data dari sumber Oracle, MySQL, PostgreSQL, AlloyDB for PostgreSQL, SQL Server, Salesforce (Pratinjau), dan MongoDB (Pratinjau), baik yang dihosting di cloud maupun yang dikelola sendiri. Untuk mengetahui informasi tentang versi khusus sumber, lihat halaman berikut:

• Sumber MySQL
• Sumber Oracle
• Sumber PostgreSQL (termasuk AlloyDB untuk PostgreSQL)
• Sumber SQL Server
• Sumber Salesforce (Pratinjau)
• Sumber MongoDB (Pratinjau)

Untuk MySQL, Datastream memproses log biner MySQL untuk mengekstrak peristiwa perubahan.

Untuk Oracle, Datastream menggunakan LogMiner dan setelan logging tambahan untuk mengekstrak data dari log ulangi Oracle.

Untuk PostgreSQL dan AlloyDB untuk PostgreSQL, Datastream mengandalkan fitur decoding logis PostgreSQL. Decoding logis mengekspos semua perubahan yang dilakukan pada database dan memungkinkan penggunaan serta pemrosesan perubahan ini.

Untuk SQL Server, Datastream melacak perubahan bahasa pengolahan data (DML) menggunakan log transaksi.

Ada batasan umum, dan batasan yang berlaku untuk sumber database tertentu.

Batasan umum meliputi:

• Ukuran peristiwa: Batas ukuran baris maksimum 100 MB untuk tujuan Cloud Storage dan batas ukuran baris 20 MB untuk BigQuery.
• Beberapa operasi bahasa definisi data (DDL) tidak didukung selama replikasi, termasuk:
  • Melepas kolom dari tengah tabel. Hal ini dapat menyebabkan perbedaan data karena nilai dikaitkan dengan kolom yang salah.
  • Mengubah jenis data kolom. Hal ini dapat menyebabkan perbedaan data karena data tidak dipetakan dengan benar ke jenis terpadu Datastream yang tepat, dan data dapat rusak.
  • Penghapusan bertingkat diabaikan.
  • Pemangkasan tabel diabaikan.

Untuk batasan khusus sumber, lihat halaman berikut:

• Batasan MySQL
• Batasan Oracle
• Batasan PostgreSQL (termasuk AlloyDB untuk PostgreSQL dan AlloyDB Omni)
• Batasan SQL Server
• Batasan Salesforce
• Batasan MongoDB

Saat menulis ke tujuan tanpa skema, seperti Cloud Storage, Datastream menyederhanakan pemrosesan data downstream di seluruh sumber dengan menormalisasi jenis data di semua sumber. Datastream mengambil jenis data sumber asli (misalnya, jenis NUMERIC MySQL atau PostgreSQL atau jenis NUMBER Oracle), dan menormalisasinya menjadi jenis terpadu Datastream.

Jenis gabungan merepresentasikan superset lossless dari semua kemungkinan jenis sumber, dan normalisasi berarti data dari berbagai sumber dapat diproses dengan upaya minimum dan dikueri downstream dengan cara yang tidak bergantung pada sumber.

Anda dapat memperbaiki aliran data dengan status Failed dengan mengatasi error yang dilaporkan oleh Datastream. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah streaming.

Anda juga dapat memulihkan aliran dengan status Failed permanently. Untuk mengetahui informasi selengkapnya, lihat Memulihkan streaming.

Tidak. Datastream tidak perlu mengunci tabel.

Ya, Datastream mendukung instance replika baca untuk Cloud SQL untuk MySQL versi 5.7 dan 8.0.

Anda dapat mengaktifkan logging biner di instance ini. Untuk melakukannya, jalankan perintah gcloud CLI berikut:

gcloud sql instances patch INSTANCE_NAME -- enable-bin-log

Untuk mengetahui informasi selengkapnya, lihat Logging biner pada replika baca.

Anda harus memberikan izin berikut kepada pengguna Datastream untuk mereplikasi data dari database MySQL:

• SELECT
• REPLICATION SLAVE
• REPLICATION CLIENT

Tidak, Datastream tidak mendukung kompresi peristiwa transaksi dengan kompresi transaksi log biner. Nonaktifkan kompresi transaksi log biner untuk menggunakan fungsi pengambilan data perubahan untuk MySQL di Datastream.

Anda dapat memberikan izin SELECT ke tabel tertentu yang ingin direplikasi atau ke seluruh skema dalam database. Untuk melakukannya, jalankan salah satu perintah berikut:

GRANT SELECT ON DATABASE_NAME.TABLE_NAME TO USER_NAME@'%';

GRANT SELECT ON DATABASE_NAME.* TO USER_NAME@'%';

Ganti kode berikut:

• DATABASE_NAME: Nama database MySQL Anda.
• TABLE_NAME: Nama tabel yang izin SELECT-nya Anda berikan.
• USER_NAME: Nama pengguna yang Anda beri izin SELECT.

Jika Anda ingin membatasi izin ke nama host tertentu, ganti karakter % dengan alamat IP atau rentang alamat tertentu.

Datastream mendukung enkripsi data dalam pengiriman berdasarkan Oracle Net Services. Datastream berjalan dalam mode REQUESTED.

Ya, Datastream mendukung protokol TCPS untuk koneksi terenkripsi SSL/TLS ke sumber Oracle.

Jika Anda tidak dapat memberikan izin GRANT SELECT ANY TABLE, Anda dapat memberikan izin SELECT ke daftar tabel berikut:

• ALL_COL_COMMENTS
• ALL_CONS_COLUMNS
• ALL_CONSTRAINTS
• ALL_DB_LINKS
• ALL_EXTERNAL_TABLES
• ALL_IND_COLUMNS
• ALL_INDEXES
• ALL_LOG_GROUPS
• ALL_MVIEWS
• ALL_OBJECTS
• ALL_PART_TABLES
• ALL_SEQUENCES
• ALL_SOURCE
• ALL_SYNONYMS
• ALL_TAB_COLS
• ALL_TAB_COLUMNS
• ALL_TAB_COMMENTS
• ALL_TABLES
• ALL_TRIGGERS
• ALL_TRIGGER_COLS
• ALL_TYPES
• ALL_USERS
• ALL_VIEWS
• DATABASE_PROPERTIES
• DBA_ROLE_PRIVS
• DUAL
• PRODUCT_COMPONENT_VERSION
• ROLE_SYS_PRIVS
• USER_ROLE_PRIVS
• USER_TAB_PRIVS

Untuk melakukan streaming perubahan menggunakan Datastream, Anda juga memerlukan akses baca ke semua tabel yang disertakan dalam streaming.

Untuk memulai streaming, lewati validasi menggunakan API. Untuk mengetahui informasi selengkapnya, lihat Memulai streaming.

ALTER USER USER_NAME BYPASSRLS;

Ganti USER_NAME dengan nama pengguna yang digunakan Datastream untuk terhubung ke database, dan yang ingin Anda lewati kebijakan RLS-nya.

Tidak. Replikasi PostgreSQL mengandalkan konsep slot replikasi, dan slot replikasi tidak mendukung koneksi serentak. Hanya boleh ada satu tugas CDC yang membaca dari slot replikasi dalam satu waktu. Misalnya, jika Anda menghapus sejumlah besar data dari database sumber, slot replikasi mungkin kelebihan beban dengan peristiwa penghapusan. Perubahan selanjutnya pada sumber akan tertunda hingga peristiwa penghapusan yang sudah ada dalam antrean slot replikasi diproses.

Untuk mengetahui informasi tentang pendekatan yang disarankan saat mereplikasi data transaksi besar, lihat Mendiagnosis masalah.

Ya, Datastream mendukung koneksi terenkripsi SSL/TLS.

Anda harus memberikan peran dan izin berikut kepada pengguna Datastream untuk mereplikasi data dari database SQL Server:

Untuk metode CDC tabel perubahan:

• db_owner
• db_denydatawriter

Selain itu, untuk metode CDC log transaksi:

• Izin SELECT pada database dan untuk fungsi sys.fn_dblog
• Izin SELECT pada tabel dbo.sysjobs
• VIEW SERVER STATE

Untuk mengetahui informasi mendetail tentang cara mengonfigurasi sumber, lihat halaman konfigurasi masing-masing untuk jenis database Anda.

Anda dapat memilih salah satu dari dua metode CDC yang tersedia, berdasarkan konfigurasi database SQL Server sumber Anda:

• Log transaksi: pilih metode ini untuk memproses perubahan langsung dari log database. Metode ini memberikan performa terbaik dan lebih efisien, tetapi memerlukan langkah-langkah konfigurasi tambahan yang mungkin tidak didukung oleh database Anda.
• Ubah tabel: pilih metode ini untuk memproses perubahan dari tabel perubahan khusus. Metode ini lebih mudah dikonfigurasi dan memiliki lebih sedikit batasan, tetapi mendukung throughput yang lebih rendah dan meningkatkan beban pada database Anda.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan SQL Server sebagai sumber.

Objek adalah entitas class, dan mirip dengan tabel dalam nomenklatur database relasional. Data tersebut dapat berupa data standar atau kustom. Objek standar disertakan di Salesforce secara default, sedangkan objek kustom dibuat oleh pengguna untuk menyimpan data khusus untuk kasus penggunaan mereka.

Record adalah instance spesifik dari objek, mirip dengan baris dalam database relasional.

Kolom adalah atribut spesifik dari objek, mirip dengan kolom dalam database relasional.

• Dalam mode Khusus penambahan, data ditambahkan di BigQuery sebagai aliran perubahan, dengan baris terpisah untuk setiap peristiwa INSERT, UPDATE-INSERT, UPDATE-DELETE, dan DELETE.
• Dalam mode Gabungkan (default), saat membuat tabel di BigQuery, Datastream akan menetapkan kunci utama pada tabel sesuai dengan kunci utama yang ditentukan di sumber. BigQuery memproses peristiwa dan menerapkan perubahan pada tabel BigQuery pokok berdasarkan kunci utama tabel sumber. Jika tabel sumber tidak memiliki kunci utama, tabel tersebut diperlakukan seolah-olah mode Khusus penambahan digunakan.

Setiap peristiwa berisi beberapa kolom metadata yang secara unik mengidentifikasi baris dalam file log, dan memungkinkan Anda mengurutkan peristiwa. Kolom ini mencakup:

Untuk sumber Oracle:

• rs_id (ID set data), yang sebenarnya terdiri dari tiga nilai (misalnya, 0x0073c9.000a4e4c.01d0). rs_id secara unik mengidentifikasi data dalam log pengulangan.
• ssn (nomor urut SQL), yang digunakan saat data dalam log redo terlalu panjang. Oleh karena itu, Oracle LogMiner membagi rekaman menjadi beberapa baris.

Untuk sumber MySQL:

• log_file, tempat Datastream menarik peristiwa dalam replikasi CDC.
• log_position, yang mengidentifikasi offset rekaman dalam log biner MySQL.

Untuk sumber PostgreSQL:

• source_timestamp, yang merupakan stempel waktu saat data berubah di sumber. Jika nilai source_timestamp untuk peristiwa yang Anda urutkan sama, bandingkan nilai lsn.
• lsn (nomor urut log), yang mengidentifikasi offset rekaman dalam file log WAL.

Untuk mengetahui informasi selengkapnya tentang kolom metadata, lihat Metadata khusus sumber.

Datastream adalah layanan CDC dan replikasi, yang berarti layanan ini fleksibel di berbagai kasus penggunaan yang dapat memanfaatkan akses ke data perubahan streaming berkelanjutan. Kasus penggunaan Datastream yang paling umum adalah:

1. Analytics: Dengan mereplikasi data secara langsung ke BigQuery, pelanggan dapat mengakses data operasional terbaru di BigQuery. Pelanggan dapat menggunakan data yang terus diperbarui ini di BigQuery untuk membuat dasbor terbaru atas data mereka. Hal ini dapat digunakan, misalnya, untuk memantau sistem dan mendapatkan insight terbaru tentang kondisi bisnis mereka.
2. Skenario replikasi dan sinkronisasi database: Dengan mengintegrasikan Datastream dengan template Dataflow untuk memuat data ke Cloud SQL atau Spanner, Anda bisa mendapatkan replikasi data sumber yang terbaru di database ini. Anda dapat menggunakan data yang terus diperbarui ini di database tujuan untuk migrasi database dengan waktu non-operasional rendah dari sumber ke tujuan, atau untuk konfigurasi hybrid cloud, di mana sumber dan tujuan berada di lingkungan hosting yang berbeda.
3. Arsitektur berbasis peristiwa: Arsitektur berbasis microservice modern mengandalkan hub data pusat yang diperbarui dengan peristiwa secara berkelanjutan dari seluruh organisasi Anda agar berbasis peristiwa. Dengan terus menulis data peristiwa ke tujuan seperti BigQuery dan Cloud Storage, Anda dapat membangun arsitektur berbasis peristiwa yang didasarkan pada penggunaan data peristiwa dari tujuan ini.

Datastream melengkapi dan meningkatkan kualitas rangkaian data Google Cloud dengan menyediakan replikasi data CDC dari sumber ke berbagai layanan Google Cloud . Dengan terintegrasi secara lancar dengan layanan ini, Datastream cocok dengan ekosistem Google Cloud yang lebih besar.

Datastream terintegrasi dengan layanan data berikut:

• BigQuery: Datastream menggunakan BigQuery Write API untuk berintegrasi langsung dengan BigQuery. Datastream menulis peristiwa perubahan langsung ke set data BigQuery tempat perubahan digabungkan secara berkelanjutan (UPSERT) dengan data yang ada.
• Dataflow: Datastream dapat berintegrasi dengan Dataflow menggunakan template Dataflow. Template ini membaca data dari Cloud Storage dan memuat data tersebut ke BigQuery, Cloud SQL untuk PostgreSQL, atau Spanner. Tujuan dari template ini adalah untuk mempertahankan tabel sumber yang direplikasi dan selalu terbaru di tujuan. Template tersedia di UI Dataflow, dan dibuat untuk file yang dihasilkan Datastream untuk pemrosesan langsung.
• Cloud Storage: Datastream terintegrasi dengan Cloud Storage dengan menuliskannya sebagai tujuan streaming streaming.
• Cloud SQL dan Spanner: dengan menggunakan template Datastream dan Dataflow, Anda dapat mempertahankan tabel yang direplikasi dan selalu terbaru di database.

Ada tiga jenis metode konektivitas yang dapat Anda konfigurasi:

• Daftar IP yang disetujui: Metode ini memberi Anda konektivitas publik dengan memasukkan alamat IP regional Datastream ke dalam daftar yang disetujui di sumber. Saat Anda membuat streaming, Datastream akan menampilkan alamat IP ini di UI.
• Tunnel SSH penerusan: Metode ini memberi Anda konektivitas yang aman melalui jaringan publik dengan memanfaatkan bastion SSH yang dikonfigurasi pelanggan selain mengizinkan alamat IP regional.
• Konektivitas pribadi melalui peering VPC: Gunakan metode ini untuk terhubung ke database yang dihosting Google Clouddi jaringan internal Google Cloud, atau manfaatkan koneksi VPN atau Interconnect yang ada dengan membuat peering VPC antara jaringan pribadi Datastream dan VPC Google Cloud organisasi Anda.

Datastream memungkinkan Anda menentukan elemen data spesifik (skema, tabel, dan kolom) dari sumber yang ingin Anda alirkan ke tujuan, dan elemen yang ingin Anda kecualikan dari pengaliran.

Log database dapat berisi data perubahan dari elemen yang dikecualikan dalam definisi streaming Anda. Karena Anda tidak dapat memfilter elemen ini di sumber, Datastream akan membaca, tetapi mengabaikan, data apa pun yang terkait dengan elemen tersebut.

Memilih rentang IP secara dinamis

• compute.routes.get
• compute.routes.list
• compute.subnetworks.get
• compute.subnetworks.list

Membuat jaringan yang di-peering

• compute.globalOperations.get
• compute.networks.addPeering
• compute.networks.removePeering
• compute.networks.get

Mencadangkan alamat IP

• compute.globalAddresses.get
• compute.globalAddresses.create
• compute.globalAddresses.createInternal
• compute.globalAddresses.delete
• compute.globalAddresses.deleteInternal
• compute.networks.use
• compute.networks.listPeeringRoutes

Harga Datastream didasarkan pada volume (GB) data yang diproses dari sumber ke tujuan.

Untuk mempelajari informasi harga Datastream lebih lanjut, lihat Harga.