Persyaratan

Datastream menawarkan berbagai opsi sumber, opsi tujuan, dan metode konektivitas jaringan.

Dalam panduan memulai ini, kami mengasumsikan bahwa Anda menggunakan database Oracle mandiri dan layanan Cloud Storage tujuan. Untuk database sumber, Anda harus dapat mengonfigurasi jaringan untuk menambahkan aturan firewall masuk. Database sumber dapat berada di lokal atau di penyedia cloud. Karena tujuannya adalah Cloud Storage, tujuannya harus berada di penyedia cloud Google.

Karena kami tidak dapat mengetahui secara spesifik lingkungan Anda, kami tidak dapat memberikan langkah-langkah mendetail mengenai konfigurasi jaringan Anda.

Untuk panduan memulai ini, Anda akan memilih IP allowlisting sebagai metode konektivitas. Daftar IP yang diizinkan adalah fitur keamanan yang sering digunakan untuk membatasi dan mengontrol akses ke data di database sumber Anda hanya untuk pengguna terpercaya. Anda dapat menggunakan daftar IP yang diizinkan untuk membuat daftar alamat IP atau rentang IP terpercaya yang dapat digunakan oleh pengguna dan layanan Cloud lainnya seperti Datastream untuk mengakses data ini. Untuk menggunakan daftar IP yang diizinkan, Anda harus membuka database sumber atau firewall ke koneksi masuk dari Datastream.

Membuat profil koneksi

Dengan membuat profil koneksi untuk database sumber dan tujuan, Anda membuat catatan yang berisi informasi tentang sumber dan tujuan.

Dalam panduan memulai ini, Anda akan memilih Oracle sebagai jenis profil untuk profil koneksi sumber, dan Cloud Storage sebagai jenis profil untuk profil koneksi tujuan. Datastream menggunakan informasi dalam profil koneksi untuk memigrasikan data dari database Oracle sumber ke bucket tujuan di Cloud Storage.

Membuat profil koneksi sumber untuk database Oracle

1. Buka halaman Profil koneksi untuk Datastream di Konsol Google Cloud .

   Buka halaman Profil koneksi

2. Klik BUAT PROFIL.

3. Di halaman Buat profil koneksi, klik jenis profil Oracle (karena Anda ingin membuat profil koneksi sumber untuk database Oracle).

4. Berikan informasi berikut di bagian Define connection settings pada halaman Create Oracle profile:

   • Masukkan My Source Connection Profile sebagai Nama profil koneksi untuk database sumber Anda.
   • Biarkan ID profil koneksi yang dibuat otomatis.

   • Pilih Region tempat profil koneksi akan disimpan.

   • Masukkan Detail koneksi:

     • Di kolom Hostname atau IP, masukkan nama host atau alamat IP publik yang dapat digunakan Datastream untuk terhubung ke database Oracle sumber. Anda memberikan alamat IP publik karena daftar IP yang diizinkan akan digunakan sebagai metode konektivitas jaringan untuk panduan memulai ini.
     • Di kolom Port, masukkan nomor port yang dicadangkan untuk database sumber. Untuk database Oracle, port default biasanya adalah 1521.
     • Masukkan Nama Pengguna dan Sandi untuk mengautentikasi database sumber Anda.
     • Di kolom System identifier (SID), masukkan SID atau nama layanan yang mengidentifikasi instance database. Untuk database Oracle, biasanya ini adalah ORCL.

5. Di bagian Tentukan setelan koneksi, klik LANJUTKAN. Bagian Tentukan metode konektivitas di halaman Buat profil Oracle akan aktif.

6. Pilih metode jaringan yang ingin Anda gunakan untuk membangun konektivitas antara Datastream dan database sumber. Untuk panduan memulai ini, gunakan menu drop-down Metode konektivitas untuk memilih IP allowlisting sebagai metode jaringan.

7. Konfigurasi database sumber Anda untuk mengizinkan koneksi masuk dari alamat IP publik Datastream yang muncul.

8. Di bagian Tentukan metode konektivitas, klik LANJUTKAN. Bagian Test connection profile di halaman Create Oracle profile akan aktif.

9. Klik RUN TEST untuk memverifikasi bahwa database Oracle sumber dan Datastream dapat saling berkomunikasi.

10. Pastikan status "Pengujian berhasil" muncul.

11. Jika pengujian gagal, Anda dapat mengatasi masalah tersebut di bagian alur yang sesuai, lalu kembali untuk menguji ulang. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah.

12. Klik BUAT.

Membuat profil koneksi tujuan untuk Cloud Storage

1. Buka halaman Profil koneksi untuk Datastream di Konsol Google Cloud .

   Buka halaman Profil koneksi

2. Klik BUAT PROFIL.

3. Di halaman Create a connection profile, klik jenis profil Cloud Storage (karena Anda ingin membuat profil koneksi tujuan untuk Cloud Storage).

4. Berikan informasi berikut di halaman Buat profil Cloud Storage:

   • Masukkan My Destination Connection Profile sebagai Nama profil koneksi untuk layanan Cloud Storage tujuan Anda.
   • Biarkan ID profil koneksi yang dibuat otomatis.
   • Pilih Region tempat profil koneksi akan disimpan.
   • Di panel Detail koneksi, klik JELAJAHI.

   • Di panel Select bucket, pilih bucket tujuan di Cloud Storage tempat Datastream akan mentransfer data dari database sumber, lalu klik SELECT.

     Bucket Anda akan muncul di kolom Nama bucket di halaman Buat profil Cloud Storage.

   • Secara opsional, di kolom Awalan jalur profil koneksi, Anda dapat memberikan awalan untuk jalur yang akan ditambahkan ke nama bucket saat Datastream mentransfer data ke tujuan.

5. Klik BUAT.

Setelah membuat profil koneksi sumber untuk database Oracle dan profil koneksi tujuan untuk Cloud Storage, Anda dapat menggunakannya untuk membuat aliran data.

Membuat stream

Di bagian ini, Anda akan membuat aliran. Datastream menggunakan aliran ini untuk mentransfer data dari database Oracle sumber ke bucket tujuan di Cloud Storage.

Pembuatan stream mencakup:

• Menentukan setelan untuk streaming.
• Memilih profil koneksi yang Anda buat untuk database sumber Anda (profil koneksi sumber). Untuk panduan memulai ini, profil koneksi sumbernya adalah My Source Connection Profile.
• Mengonfigurasi informasi tentang database sumber untuk aliran data dengan menentukan tabel dan skema dalam database sumber yang akan:
  • Dapat ditransfer ke tujuan.
  • Dilarang ditransfer ke tujuan.
• Menentukan apakah Datastream akan mengisi ulang data historis, serta mengalirkan perubahan yang sedang berlangsung ke tujuan, atau hanya mengalirkan perubahan pada data.
• Memilih profil koneksi yang Anda buat untuk Cloud Storage (profil koneksi tujuan). Untuk panduan memulai ini, profil koneksi tujuan adalah My Destination Connection Profile.
• Mengonfigurasi informasi tentang bucket tujuan untuk aliran data. Informasi ini mencakup:
  • Folder bucket tujuan tempat Datastream akan mentransfer skema, tabel, dan data dari database Oracle sumber.
  • Format output file yang ditulis ke Cloud Storage. Datastream mendukung dua format output: Avro dan JSON. Untuk panduan memulai ini, Avro adalah format file.

Menentukan setelan untuk streaming

1. Buka halaman Streams untuk Datastream di Konsol Google Cloud .

   Buka halaman Streams

2. Klik BUAT ALIRAN DATA.

3. Berikan informasi berikut di panel Define stream details pada halaman Create stream:

   • Masukkan My Stream sebagai Nama aliran data.
   • Tetap gunakan ID Aliran Data yang dibuat otomatis.
   • Dari menu Region, pilih region tempat Anda membuat profil koneksi sumber.
   • Dari menu Jenis sumber, pilih jenis profil Oracle.
   • Dari menu Jenis tujuan, pilih jenis profil Cloud Storage.

4. Tinjau prasyarat yang diperlukan yang dibuat secara otomatis guna mencerminkan cara lingkungan Anda harus disiapkan untuk streaming. Prasyarat ini dapat mencakup cara mengonfigurasi database sumber dan cara menghubungkan Datastream ke bucket tujuan di Cloud Storage.

5. Klik LANJUTKAN. Panel Tentukan profil koneksi Oracle di halaman Buat streaming akan muncul.

Menentukan informasi tentang profil koneksi sumber

1. Dari menu Profil koneksi sumber, pilih profil koneksi sumber untuk database Oracle.

2. Klik RUN TEST untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

   Jika pengujian gagal, masalah yang terkait dengan profil koneksi akan muncul. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah. Lakukan perubahan yang diperlukan untuk memperbaiki masalah, lalu uji ulang.

3. Klik LANJUTKAN. Panel Konfigurasi sumber aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang database sumber untuk aliran data

1. Gunakan menu Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke dalam folder di bucket tujuan di Cloud Storage. Menu hanya dimuat jika database Anda memiliki hingga 5.000 objek.

   Untuk panduan memulai ini, Anda ingin Datastream mentransfer semua tabel dan skema. Oleh karena itu, pilih Semua tabel dari semua skema dari menu.

2. Tentukan metode CDC. Untuk tutorial ini, pilih Logminer.

3. Klik LANJUTKAN. Panel Tentukan profil koneksi Cloud Storage di halaman Buat streaming akan muncul.

Pilih profil koneksi tujuan

1. Dari menu destination connection profile, pilih destination connection profile for Cloud Storage Anda.

2. Klik LANJUTKAN. Panel Konfigurasi tujuan aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang tujuan untuk aliran data

1. Di kolom Stream path prefix, masukkan folder bucket tujuan tempat Datastream akan mentransfer skema, tabel, dan data dari database Oracle sumber.

   Untuk panduan memulai ini, Anda ingin Datastream mentransfer data dari database sumber ke folder /root/tutorial di bucket tujuan Cloud Storage. Oleh karena itu, masukkan /root/tutorial di kolom Awalan jalur streaming.

2. Di kolom Output format, pilih format file yang ditulis ke Cloud Storage. Untuk panduan memulai ini, Avro adalah format file.

3. Klik LANJUTKAN. Panel Tinjau detail aliran data dan buat di halaman Buat aliran data akan muncul.

Buat aliran data

1. Verifikasi detail tentang aliran data serta profil koneksi sumber dan tujuan yang akan digunakan aliran data untuk mentransfer data dari database Oracle sumber ke bucket tujuan di Cloud Storage.

2. Klik RUN VALIDATION untuk memvalidasi aliran data. Dengan memvalidasi aliran, Datastream akan memeriksa apakah sumber dikonfigurasi dengan benar, memvalidasi apakah aliran dapat terhubung ke sumber dan tujuan, serta memverifikasi konfigurasi end-to-end aliran.

3. Setelah semua pemeriksaan validasi lulus, klik BUAT.

4. Dalam dialog Buat aliran?, klik BUAT.

Setelah membuat aliran data, Anda dapat memulainya.

Mulai streaming

Di bagian sebelumnya pada panduan memulai, Anda telah membuat stream, tetapi belum memulainya. Anda dapat melakukannya sekarang.

Untuk panduan memulai ini, Anda akan membuat dan memulai aliran secara terpisah jika proses pembuatan aliran menimbulkan peningkatan beban pada database sumber. Untuk menunda pemuatan tersebut, Anda membuat aliran data tanpa memulainya, lalu memulai aliran data saat pemuatan dapat dilakukan.

Dengan memulai aliran data, Datastream dapat mentransfer data, skema, dan tabel dari database sumber ke tujuan.

1. Buka halaman Streams untuk Datastream di Konsol Google Cloud .

   Buka halaman Streams

2. Centang kotak di sebelah kiri streaming yang ingin Anda mulai. Untuk panduan memulai ini, namanya adalah My Stream.

3. Klik MULAI.

4. Pada dialog, klik MULAI. Status streaming berubah dari Not started menjadi Starting, lalu menjadi Running.

Setelah memulai aliran, Anda dapat memverifikasi bahwa Datastream mentransfer data dari database sumber ke tujuan.

Memverifikasi streaming

Di bagian ini, Anda mengonfirmasi bahwa Datastream mentransfer data dari semua tabel database Oracle sumber ke folder /root/tutorial di bucket tujuan Cloud Storage.

1. Buka halaman Streams untuk Datastream di Konsol Google Cloud .

   Buka halaman Streams

2. Klik streaming yang Anda buat. Untuk panduan memulai ini, namanya adalah My Stream.

3. Di halaman Detail streaming, klik link yang muncul di bawah kolom Jalur penulisan tujuan. Halaman Bucket details Cloud Storage akan terbuka di tab terpisah.

4. Pastikan Anda melihat folder yang merepresentasikan tabel database Oracle sumber Anda.

5. Klik salah satu folder tabel dan lihat perincian hingga Anda melihat data yang terkait dengan tabel.