Mengimplementasikan Datastream dan Dataflow untuk analisis

Persyaratan

Datastream menawarkan berbagai opsi sumber, opsi tujuan, dan metode konektivitas jaringan.

Untuk tutorial ini, kami mengasumsikan bahwa Anda menggunakan database MySQL mandiri dan layanan Cloud Storage tujuan. Untuk database sumber, Anda harus dapat mengonfigurasi jaringan untuk menambahkan aturan firewall masuk. Database sumber dapat berada di lokal atau di penyedia cloud. Untuk tujuan Cloud Storage, tidak ada konfigurasi konektivitas yang diperlukan.

Karena kami tidak dapat mengetahui secara spesifik lingkungan Anda, kami tidak dapat memberikan langkah-langkah mendetail mengenai konfigurasi jaringan Anda.

Untuk tutorial ini, Anda memilih IP allowlisting sebagai metode konektivitas jaringan. Daftar IP yang diizinkan adalah fitur keamanan yang sering digunakan untuk membatasi dan mengontrol akses ke data di database sumber Anda hanya untuk pengguna terpercaya. Anda dapat menggunakan daftar IP yang diizinkan untuk membuat daftar alamat IP atau rentang IP terpercaya yang dapat digunakan oleh pengguna dan layanan lain seperti Datastream untuk mengakses data ini. Google Cloud Untuk menggunakan daftar IP yang diizinkan, Anda harus membuka database sumber atau firewall ke koneksi masuk dari Datastream.

Membuat bucket di Cloud Storage

Buat bucket tujuan di Cloud Storage tempat Datastream mengalirkan skema, tabel, dan data dari database MySQL sumber.

1. Di konsol Google Cloud , buka halaman Browser untuk Cloud Storage.

   Buka halaman Browser

2. Klik Create bucket. Halaman Buat bucket akan muncul.

3. Di kolom teks pada bagian Name your bucket, masukkan nama unik untuk bucket Anda, lalu klik Continue.

4. Terima setelan default untuk setiap wilayah halaman yang tersisa. Di akhir setiap wilayah, klik Lanjutkan.

5. Klik Buat.

Aktifkan notifikasi Pub/Sub untuk bucket Cloud Storage

Di bagian ini, Anda akan mengaktifkan notifikasi Pub/Sub untuk bucket Cloud Storage yang Anda buat. Dengan melakukannya, Anda mengonfigurasi bucket untuk memberi tahu Dataflow tentang file baru yang ditulis Datastream ke bucket. File ini berisi perubahan pada data yang di-streaming Datastream dari database MySQL sumber ke dalam bucket.

1. Akses bucket Cloud Storage yang Anda buat. Halaman Bucket details akan muncul.

2. Klik terminal Activate Cloud Shell.

3. Pada perintah, masukkan perintah berikut:

   gcloud storage buckets notifications create gs://bucket-name --topic=my_integration_notifs --payload-format=json --object-prefix=integration/tutorial/

4. Opsional: Jika jendela Authorize Cloud Shell muncul, klik Authorize.

5. Verifikasi bahwa Anda melihat baris kode berikut:

   Created Cloud Pub/Sub topic projects/project-name/topics/my_integration_notifs
   Created notification config projects/_/buckets/bucket-name/notificationConfigs/1
   

6. Di konsol Google Cloud , buka halaman Topics untuk Pub/Sub.

   Buka halaman Topics

7. Klik topik my_integration_notifs yang Anda buat.

8. Di halaman my_integration_notifs, buka bagian bawah halaman. Pastikan tab Langganan aktif dan pesan Tidak ada langganan untuk ditampilkan muncul.

9. Klik Buat langganan.

10. Di menu yang muncul, pilih Buat langganan.

11. Di halaman Add subscription to topic:

    1. Di kolom Subscription ID, masukkan my_integration_notifs_sub.
    2. Tetapkan nilai Batas waktu konfirmasi ke 120 detik. Hal ini memungkinkan Dataflow memiliki waktu yang cukup untuk mengonfirmasi file yang telah diproses, dan membantu meningkatkan performa keseluruhan tugas Dataflow. Untuk mengetahui informasi selengkapnya tentang properti langganan Pub/Sub, lihat Properti langganan.
    3. Biarkan semua nilai default lainnya di halaman.
    4. Klik Buat.

Nanti dalam tutorial ini, Anda akan membuat tugas Dataflow. Sebagai bagian dari pembuatan tugas ini, Anda menetapkan Dataflow sebagai pelanggan langganan my_integration_notifs_sub. Dengan melakukannya, Dataflow dapat menerima notifikasi tentang file baru yang ditulis Datastream ke Cloud Storage, memproses file, dan mentransfer perubahan data ke BigQuery.

Membuat set data di BigQuery

Di bagian ini, Anda akan membuat set data di BigQuery. BigQuery menggunakan set data untuk menyimpan data yang diterimanya dari Dataflow. Data ini merepresentasikan perubahan dalam database MySQL sumber yang di-streaming Datastream ke bucket Cloud Storage Anda.

1. Buka halaman SQL workspace untuk BigQuery di konsol Google Cloud .

   Buka halaman ruang kerja SQL

2. Di panel Explorer, di samping nama project Google Cloud , klik more_vert View actions.

3. Di menu yang muncul, pilih Buat set data.

4. Di jendela Create dataset:

   1. Di kolom Dataset ID, masukkan ID untuk set data. Untuk tutorial ini, masukkan My_integration_dataset_log di kolom.
   2. Biarkan semua nilai default lainnya di jendela.
   3. Klik Create dataset.

5. Di panel Explorer, di samping nama project Google Cloud Anda, klik arrow_right Expand node, lalu verifikasi bahwa Anda melihat set data yang Anda buat.

6. Gunakan langkah-langkah dalam prosedur ini untuk membuat set data kedua: My_integration_dataset_final.

7. Di samping setiap set data, luaskan arrow_right Luaskan node.

8. Pastikan setiap set data kosong.

Setelah Datastream melakukan streaming perubahan data dari database sumber ke bucket Cloud Storage Anda, tugas Dataflow akan memproses file yang berisi perubahan dan mentransfer perubahan tersebut ke set data BigQuery.

Membuat profil koneksi di Datastream

Di bagian ini, Anda akan membuat profil koneksi di Datastream untuk database sumber dan tujuan. Sebagai bagian dari pembuatan profil koneksi, Anda memilih MySQL sebagai jenis profil untuk profil koneksi sumber dan Cloud Storage sebagai jenis profil untuk profil koneksi tujuan.

Datastream menggunakan informasi yang ditentukan dalam profil koneksi untuk terhubung ke sumber dan tujuan sehingga dapat melakukan streaming data dari database sumber ke bucket tujuan Anda di Cloud Storage.

Membuat profil koneksi sumber untuk database MySQL Anda

1. Di konsol Google Cloud , buka halaman Profil koneksi untuk Datastream.

   Buka halaman Profil koneksi

2. Klik Buat profil.

3. Untuk membuat profil koneksi sumber bagi database MySQL Anda, di halaman Create a connection profile, klik jenis profil MySQL.

4. Di bagian Define connection settings pada halaman Create MySQL profile, berikan informasi berikut:

   • Di kolom Nama profil koneksi, masukkan My Source Connection Profile.
   • Biarkan Connection profile ID yang dibuat otomatis.

   • Pilih Region tempat Anda ingin menyimpan profil koneksi.

   • Masukkan Detail koneksi:

     • Di kolom Nama host atau IP, masukkan nama host atau alamat IP publik yang dapat digunakan Datastream untuk terhubung ke database sumber. Anda memberikan alamat IP publik karena Anda menggunakan pemberian izin IP sebagai metode konektivitas jaringan untuk tutorial ini.
     • Di kolom Port, masukkan nomor port yang dicadangkan untuk database sumber. Untuk database MySQL, port default biasanya adalah 3306.
     • Masukkan Nama Pengguna dan Sandi untuk mengautentikasi database sumber Anda.

5. Di bagian Tentukan setelan koneksi, klik Lanjutkan. Bagian Amankan koneksi Anda ke sumber di halaman Buat profil MySQL aktif.

6. Dari menu Jenis enkripsi, pilih Tidak ada. Untuk mengetahui informasi selengkapnya tentang menu ini, lihat Membuat profil koneksi untuk database MySQL.

7. Di bagian Amankan koneksi Anda ke sumber, klik Lanjutkan. Bagian Tentukan metode konektivitas di halaman Buat profil MySQL akan aktif.

8. Di drop-down Metode konektivitas, pilih metode jaringan yang ingin Anda gunakan untuk membangun konektivitas antara Datastream dan database sumber. Untuk tutorial ini, pilih IP allowlisting sebagai metode konektivitas.

9. Konfigurasi database sumber Anda untuk mengizinkan koneksi masuk dari alamat IP publik Datastream yang muncul.

10. Di bagian Tentukan metode konektivitas, klik Lanjutkan. Bagian Uji profil koneksi di halaman Buat profil MySQL akan aktif.

11. Klik Run test untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

12. Pastikan Anda melihat status Test passed.

13. Klik Buat.

Membuat profil koneksi tujuan untuk Cloud Storage

1. Di konsol Google Cloud , buka halaman Profil koneksi untuk Datastream.

   Buka halaman Profil koneksi

2. Klik Buat profil.

3. Untuk membuat profil koneksi tujuan untuk Cloud Storage, di halaman Create a connection profile, klik jenis profil Cloud Storage.

4. Di halaman Create Cloud Storage profile, berikan informasi berikut:

   • Di kolom Nama profil koneksi, masukkan My Destination Connection Profile.
   • Biarkan Connection profile ID yang dibuat otomatis.
   • Pilih Region tempat Anda ingin menyimpan profil koneksi.

   • Di panel Connection details, klik Browse untuk memilih bucket Cloud Storage yang Anda buat sebelumnya dalam tutorial ini. Ini adalah bucket tempat Datastream mentransfer data dari database sumber. Setelah memilih, klik Pilih.

     Bucket Anda akan muncul di kolom Bucket name pada panel Connection details.

   • Di kolom Awalan jalur profil koneksi, berikan awalan untuk jalur yang ingin Anda tambahkan ke nama bucket saat Datastream melakukan streaming data ke tujuan. Pastikan Datastream menulis data ke jalur di dalam bucket, bukan ke folder root bucket. Untuk tutorial ini, gunakan jalur yang Anda tentukan saat mengonfigurasi notifikasi Pub/Sub. Masukkan /integration/tutorial di kolom.

5. Klik Buat.

Setelah membuat profil koneksi sumber untuk database MySQL dan profil koneksi tujuan untuk Cloud Storage, Anda dapat menggunakannya untuk membuat aliran.

Membuat aliran di Datastream

Di bagian ini, Anda akan membuat aliran. Aliran ini menggunakan informasi dalam profil koneksi untuk mentransfer data dari database MySQL sumber ke bucket tujuan di Cloud Storage.

Menentukan setelan untuk streaming

1. Di konsol Google Cloud , buka halaman Streams untuk Datastream.

   Buka halaman Streams

2. Klik Buat aliran.

3. Berikan informasi berikut di panel Define stream details pada halaman Create stream:

   • Di kolom Nama aliran, masukkan My Stream.
   • Pertahankan ID Aliran Data yang dibuat otomatis.
   • Dari menu Region, pilih region tempat Anda membuat profil koneksi sumber dan tujuan.
   • Dari menu Jenis sumber, pilih jenis profil MySQL.
   • Dari menu Jenis tujuan, pilih jenis profil Cloud Storage.

4. Tinjau prasyarat yang diperlukan yang dibuat secara otomatis guna mencerminkan cara lingkungan Anda harus disiapkan untuk streaming. Prasyarat ini dapat mencakup cara mengonfigurasi database sumber dan cara menghubungkan Datastream ke bucket tujuan di Cloud Storage.

5. Klik Lanjutkan. Panel Define MySQL connection profile di halaman Create stream akan muncul.

Menentukan informasi tentang profil koneksi sumber

Di bagian ini, Anda memilih profil koneksi yang Anda buat untuk database sumber (profil koneksi sumber). Untuk tutorial ini, profil koneksi sumbernya adalah My Source Connection Profile.

1. Dari menu Profil koneksi sumber, pilih profil koneksi sumber untuk database MySQL.

2. Klik Run test untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

   Jika pengujian gagal, masalah yang terkait dengan profil koneksi akan muncul. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah. Lakukan perubahan yang diperlukan untuk memperbaiki masalah, lalu uji ulang.

3. Klik Lanjutkan. Panel Konfigurasi sumber aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang database sumber untuk aliran data

Di bagian ini, Anda mengonfigurasi informasi tentang database sumber untuk aliran data dengan menentukan tabel dan skema di database sumber yang Datastream:

• Dapat ditransfer ke tujuan.
• Dibatasi agar tidak ditransfer ke tujuan.

Anda juga menentukan apakah Datastream mengisi ulang data historis, serta mengalirkan perubahan yang sedang berlangsung ke tujuan, atau hanya mengalirkan perubahan pada data.

1. Gunakan menu Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke dalam folder di bucket tujuan di Cloud Storage. Menu hanya dimuat jika database Anda memiliki hingga 5.000 objek.

   Untuk tutorial ini, Anda ingin Datastream mentransfer semua tabel dan skema. Oleh karena itu, pilih Semua tabel dari semua skema dari menu.

2. Pastikan panel Select objects to exclude disetel ke None. Anda tidak ingin membatasi Datastream agar tidak mentransfer tabel dan skema apa pun di database sumber Anda ke Cloud Storage.

3. Pastikan panel Pilih mode pengisian ulang untuk data historis disetel ke Otomatis. Datastream mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan.

4. Klik Lanjutkan. Panel Tentukan profil koneksi Cloud Storage di halaman Buat streaming akan muncul.

Pilih profil koneksi tujuan

Di bagian ini, Anda memilih profil koneksi yang Anda buat untuk Cloud Storage (profil koneksi tujuan). Untuk tutorial ini, profilnya adalah My Destination Connection Profile.

1. Dari menu Destination connection profile, pilih profil koneksi tujuan untuk Cloud Storage.

2. Klik Lanjutkan. Panel Konfigurasi tujuan aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang tujuan untuk aliran data

Di bagian ini, Anda akan mengonfigurasi informasi tentang bucket tujuan untuk aliran data. Informasi ini mencakup:

• Format output file yang ditulis ke Cloud Storage.
• Folder bucket tujuan tempat Datastream mentransfer skema, tabel, dan data dari database sumber.

1. Di kolom Output format, pilih format file yang ditulis ke Cloud Storage. Datastream mendukung dua format output: Avro dan JSON. Untuk tutorial ini, Avro adalah format file-nya.

2. Klik Lanjutkan. Panel Tinjau detail aliran data dan buat di halaman Buat aliran data akan muncul.

Buat aliran data

1. Verifikasi detail tentang aliran data serta profil koneksi sumber dan tujuan yang digunakan aliran data untuk mentransfer data dari database MySQL sumber ke bucket tujuan di Cloud Storage.

2. Untuk memvalidasi streaming, klik Jalankan validasi. Dengan memvalidasi aliran, Datastream akan memeriksa apakah sumber dikonfigurasi dengan benar, memvalidasi bahwa aliran dapat terhubung ke sumber dan tujuan, serta memverifikasi konfigurasi end-to-end aliran.

3. Setelah semua pemeriksaan validasi lulus, klik Buat.

4. Dalam dialog Buat aliran?, klik Buat.

Mulai streaming

Untuk tutorial ini, Anda akan membuat dan memulai aliran secara terpisah jika proses pembuatan aliran menimbulkan peningkatan beban pada database sumber. Untuk menunda pemuatan tersebut, Anda membuat streaming tanpa memulainya, lalu memulai streaming saat database Anda dapat menangani beban.

Dengan memulai aliran data, Datastream dapat mentransfer data, skema, dan tabel dari database sumber ke tujuan.

1. Di konsol Google Cloud , buka halaman Streams untuk Datastream.

   Buka halaman Streams

2. Centang kotak di samping aliran yang ingin Anda mulai. Untuk tutorial ini, nama ini adalah My Stream.

3. Klik Mulai.

4. Di dialog, klik Mulai. Status streaming berubah dari Not started menjadi Starting, lalu menjadi Running.

Setelah memulai aliran, Anda dapat memverifikasi bahwa Datastream mentransfer data dari database sumber ke tujuan.

Memverifikasi streaming

Di bagian ini, Anda mengonfirmasi bahwa Datastream mentransfer data dari semua tabel database MySQL sumber ke folder /integration/tutorial di bucket tujuan Cloud Storage Anda.

1. Di konsol Google Cloud , buka halaman Streams untuk Datastream.

   Buka halaman Streams

2. Klik streaming yang Anda buat. Untuk tutorial ini, nama ini adalah My Stream.

3. Di halaman Detail streaming, klik link bucket-name/integration/tutorial, dengan bucket-name adalah nama yang Anda berikan untuk bucket Cloud Storage Anda. Link ini muncul setelah kolom Jalur tulis tujuan. Halaman Bucket details Cloud Storage akan terbuka di tab terpisah.

4. Pastikan Anda melihat folder yang merepresentasikan tabel database sumber.

5. Klik salah satu folder tabel, lalu klik setiap subfolder hingga Anda melihat data yang terkait dengan tabel.

Membuat tugas Dataflow

Di bagian ini, Anda akan membuat tugas di Dataflow. Setelah Datastream mengalirkan perubahan data dari database MySQL sumber ke bucket Cloud Storage Anda, Pub/Sub akan mengirimkan notifikasi ke Dataflow tentang file baru yang berisi perubahan tersebut. Tugas Dataflow memproses file dan mentransfer perubahan ke BigQuery.

1. Di konsol Google Cloud , buka halaman Jobs untuk Dataflow.

   Buka halaman Tugas

2. Klik Buat tugas dari template.

3. Di kolom Job name pada halaman Create job from template, masukkan nama untuk tugas Dataflow yang Anda buat. Untuk tutorial ini, masukkan my-dataflow-integration-job di kolom.

4. Dari menu Endpoint regional, pilih region tempat Anda ingin menyimpan tugas. Ini adalah region yang sama dengan yang Anda pilih untuk profil koneksi sumber, profil koneksi tujuan, dan aliran data yang Anda buat.

5. Dari menu Template Dataflow, pilih template yang Anda gunakan untuk membuat tugas. Untuk tutorial ini, pilih Datastream to BigQuery.

   Setelah membuat pilihan ini, kolom tambahan yang terkait dengan template ini akan muncul.

6. Di kolom Lokasi file untuk output file Datastream di Cloud Storage., masukkan nama bucket Cloud Storage Anda menggunakan format berikut: gs://bucket-name.

7. Di kolom Langganan Pub/Sub yang digunakan dalam kebijakan notifikasi Cloud Storage., masukkan jalur yang berisi nama langganan Pub/Sub Anda. Untuk tutorial ini, masukkan projects/project-name/subscriptions/my_integration_notifs_sub.

8. Di kolom Datastream output file format (avro/json)., masukkan avro karena, untuk tutorial ini, Avro adalah format file yang ditulis Datastream ke Cloud Storage.

9. Di kolom Name or template for the dataset to contain staging tables., masukkan My_integration_dataset_log karena Dataflow menggunakan set data ini untuk melakukan penahapan perubahan data yang diterimanya dari Datastream.

10. Di kolom Template untuk set data yang akan berisi tabel replika., masukkan My_integration_dataset_final karena ini adalah set data tempat perubahan yang dipentaskan di set data My_integration_dataset_log digabungkan untuk membuat replika satu-ke-satu dari tabel di database sumber.

11. Di kolom Dead letter queue directory., masukkan jalur yang berisi nama bucket Cloud Storage Anda dan folder untuk antrean pesan yang tidak terkirim. Pastikan Anda tidak menggunakan jalur di folder root, dan jalur tersebut berbeda dengan jalur yang digunakan Datastream untuk menulis data. Setiap perubahan data yang gagal ditransfer Dataflow ke BigQuery akan disimpan dalam antrean. Anda dapat memperbaiki konten dalam antrean sehingga Dataflow dapat memproses ulang konten tersebut.

    Untuk tutorial ini, masukkan gs://bucket-name/dlq di kolom Dead letter queue directory. (dengan bucket-name adalah nama bucket Anda dan dlq adalah folder untuk antrean pesan yang tidak terkirim).

12. Klik Run job.

Memverifikasi integrasi

Di bagian Verify the stream dalam tutorial ini, Anda mengonfirmasi bahwa Datastream mentransfer data dari semua tabel database MySQL sumber ke folder /integration/tutorial di bucket tujuan Cloud Storage Anda.

Di bagian ini, Anda akan memverifikasi bahwa Dataflow memproses file yang berisi perubahan yang terkait dengan data ini, dan mentransfer perubahan tersebut ke BigQuery. Dengan demikian, Anda memiliki integrasi menyeluruh antara Datastream dan BigQuery.

1. Di konsol Google Cloud , buka halaman SQL workspace untuk BigQuery.

   Buka halaman ruang kerja SQL

2. Di panel Explorer, luaskan node di samping nama project Google Cloud Anda.

3. Luaskan node di samping set data My_integration_dataset_log dan My_integration_dataset_final.

4. Pastikan setiap set data kini berisi data. Hal ini mengonfirmasi bahwa Dataflow memproses file yang berisi perubahan yang terkait dengan data yang di-streaming Datastream ke Cloud Storage, dan mentransfer perubahan ini ke BigQuery.