Tutorial ini menunjukkan cara membuat dan men-deploy tugas yang terus-menerus mereplikasi data yang diubah dari database Microsoft SQL Server ke tabel BigQuery.
Tujuan
Dalam tutorial ini, Anda telah:
- Mengaktifkan Change Data Capture (CDC) di database SQL Server Anda.
- Membuat dan menjalankan tugas replikasi Cloud Data Fusion.
- Lihat hasilnya di BigQuery.
Biaya
Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Saat Replikasi berjalan, Anda akan ditagih untuk cluster Dataproc dan biaya pemrosesan untuk BigQuery akan dikenakan. Untuk mengoptimalkan biaya ini, sebaiknya gunakan harga tetap BigQuery.
Sebelum memulai
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Aktifkan API Cloud Data Fusion, BigQuery, and Cloud Storage.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Aktifkan API Cloud Data Fusion, BigQuery, and Cloud Storage.
- Buat instance Cloud Data Fusion publik dalam versi 6.3.0 atau yang lebih baru. Jika Anda
membuat instance
pribadi, siapkan peering jaringan VPC.
- Saat Anda membuat instance, aktifkan Replikasi dengan mengklik Add Accelerators dan mencentang kotak Replication.
- Untuk mengaktifkannya dalam instance yang ada, lihat Mengaktifkan Replikasi.
Untuk mengetahui informasi selengkapnya tentang jaringan, lihat Menggunakan HAProxy dengan Cloud Data Fusion untuk Menavigasi Topologi Jaringan yang Kompleks.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk tutorial ini, lihat Kontrol akses dengan IAM dan Memberikan izin pengguna akun layanan.
Opsional: Menyiapkan instance VM SQL Server
Download database AdventureWorks2017 (OLTP) dan muat data ke instance SQL Server Anda.
Mengaktifkan CDC di database SQL Server Anda
Untuk replikasi, aktifkan Pengambilan Data Perubahan (CDC) di database dan tabel yang ingin Anda replikasi.
Membuat dan menjalankan tugas replikasi Cloud Data Fusion
Upload driver JDBC
Download driver JDBC SQL Server ke komputer lokal Anda.
Di antarmuka web Cloud Data Fusion, upload driver JDBC. Gunakan nilai berikut untuk mengonfigurasi driver JDBC:
- Di kolom Name, masukkan
sqlserver
. - Di kolom Class Name, masukkan
com.microsoft.sqlserver.jdbc.SQLServerDriver
. - Di kolom Version, gunakan nilai default.
- Di kolom Name, masukkan
Buat tugas
Di antarmuka web Cloud Data Fusion, klik Replikasi.
Klik
Create a replication job.Di halaman Create new replication job, tentukan tugas replikasi Name, lalu klik Next.
Konfigurasikan sumber:
- Pilih Microsoft SQL Server sebagai sumber.
- Untuk Host, masukkan nama host Server SQL yang akan dibaca.
- Untuk Port, masukkan port yang akan digunakan untuk terhubung ke SQL Server:
1433
. - Untuk JDBC Plugin Name, pilih
sqlserver
atau nama yang Anda tentukan saat mengonfigurasi driver JDBC. - Untuk Database name, masukkan
AdventureWorks2017
. - Di bagian Credentials, masukkan nama pengguna dan sandi Anda untuk mengakses SQL Server.
Klik Next.
Konfigurasikan target:
- Pilih target BigQuery.
- Project ID dan Kunci Akun Layanan akan terdeteksi secara otomatis. Biarkan nilai default tersebut.
- Opsional: Di bagian Lanjutan, Anda dapat mengonfigurasi nama dan lokasi bucket Cloud Storage, interval pemuatan, awalan tabel staging, dan perilaku saat tabel atau database dihapus.
Klik Next.
Jika koneksi berhasil, daftar tabel
AdventureWorks2017
akan ditampilkan. Untuk tutorial ini, pilih beberapa tabel dan peristiwa, seperti peristiwaInsert
,Update
, danDelete
.Opsional: Konfigurasikan properti lanjutan. Untuk tutorial ini, Anda dapat menerima setelan default.
Klik Next.
Di halaman Tinjau penilaian, klik Lihat pemetaan dengan salah satu tabel untuk penilaian masalah skema, fitur yang tidak ada, atau masalah konektivitas yang mungkin terjadi selama replikasi. Masalah harus diselesaikan sebelum Anda dapat melanjutkan. Untuk tutorial ini, jika salah satu tabel mengalami masalah, kembali ke langkah saat Anda memilih tabel, lalu pilih tabel atau peristiwa tanpa masalah.
Untuk mengetahui informasi selengkapnya tentang konversi jenis data dari database sumber ke tujuan BigQuery, lihat Jenis data replikasi.
Klik Back.
Klik Next.
Tinjau detail tugas replikasi ringkasan, lalu klik Deploy replication job.
Memulai tugas
- Dari halaman detail tugas replikasi, klik Start.
Tugas replikasi beralih dari status Provisioning ke Starting ke Running. Dalam status yang sedang berjalan, tugas replikasi memuat snapshot awal dari data tabel yang Anda pilih (misalnya, tabel Orang) ke BigQuery. Dalam status ini, status tabel People tercantum sebagai Snapshotting. Setelah snapshot awal dimuat ke BigQuery, setiap perubahan yang dilakukan pada tabel People akan direplikasi ke BigQuery. Status tabel tercantum sebagai Replicating.
Memantau tugas
Anda dapat memulai dan menghentikan tugas replikasi, meninjau konfigurasi dan log-nya, serta memantau tugas replikasi Anda.
Anda dapat memantau aktivitas tugas replikasi dari halaman Detail tugas replikasi.
Dari halaman Replication, klik tugas replikasi Name.
Klik Monitoring.
Lihat hasil di BigQuery
Tugas replikasi akan membuat set data dan tabel replika di BigQuery, dengan nama yang diwariskan dari nama database dan tabel SQL Server yang sesuai.
Buka BigQuery di Konsol Google Cloud.
Di panel kiri, klik nama project untuk meluaskan daftar set data.
Pilih set data
adventureworks2017
, lalu pilih tabel untuk dilihat.
Untuk mengetahui informasi selengkapnya, baca dokumentasi BigQuery.
Pembersihan
Agar tidak dikenakan biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource-nya.
Setelah menyelesaikan tutorial, hapus resource yang Anda buat di Google Cloud.
Menghapus instance VM
- Di konsol Google Cloud, buka halaman Instance VM.
- Pilih kotak centang untuk instance yang ingin Anda hapus.
- Untuk menghapus instance, klik Tindakan lainnya, klik Hapus, lalu ikuti petunjuknya.
Menghapus instance Cloud Data Fusion
Ikuti petunjuk untuk menghapus instance Cloud Data Fusion.
Menghapus project
- Di konsol Google Cloud, buka halaman Manage resource.
- Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
- Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.
Langkah selanjutnya
- Pelajari Replikasi di Cloud Data Fusion lebih lanjut.
- Lihat Referensi Replikasi API.
- Selesaikan tutorial untuk Mereplikasi data dari MySQL ke BigQuery.
- Selesaikan tutorial Mereplikasi data dari Oracle ke BigQuery.