Mengelola pengisian ulang untuk objek streaming

Stream di Datastream dapat mengisi ulang data historis, serta mengalirkan perubahan yang sedang berlangsung ke tujuan. Sebagai bagian dari pembuatan aliran, Anda mengonfigurasi informasi tentang database sumber untuk aliran tersebut.

Jika Anda mencentang kotak Isi ulang data historis, Datastream akan mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan.

Jika Anda tidak mencentang kotak ini, Datastream hanya akan melakukan streaming perubahan pada data. Agar Datastream mengalirkan snapshot semua data yang ada dari sumber ke tujuan, Anda harus memulai pengisian ulang untuk objek yang berisi data ini. Objeknya berbentuk skema database, tabel, dan kolom.

Alasan lain untuk memulai pengisian ulang objek adalah jika data tidak sinkron antara sumber dan tujuan. Misalnya, pengguna dapat menghapus data di tujuan secara tidak sengaja, dan data tersebut kini hilang. Dalam hal ini, memulai pengisian ulang untuk objek berfungsi sebagai "mekanisme reset" karena semua data di-streaming ke tujuan dalam satu kali. Akibatnya, data disinkronkan antara sumber dan tujuan.

Setelah memulai pengisian ulang untuk objek, Anda dapat menghentikan pengisian ulang untuk objek tersebut. Dalam contoh sebelumnya, pengguna mengubah skema database, dan skema atau data menjadi rusak. Anda tidak ingin skema atau data ini dialirkan ke tujuan, sehingga Anda menghentikan pengisian ulang untuk objek tersebut.

Anda juga dapat menghentikan pengisian ulang untuk objek guna tujuan load balancing. Datastream dapat menjalankan beberapa pengisian ulang secara paralel. Tindakan ini dapat menambah beban pada sumber. Jika beban signifikan, hentikan pengisian ulang untuk objek, lalu mulai pengisian ulang untuk objek tersebut satu per satu.

Status objek

Berbagai status dalam siklus proses memulai dan menghentikan pengisian ulang untuk objek mencakup:

  • Tidak ada status (ditampilkan di UI sebagai -): Alasan objek menerima status ini mencakup:

    • Streaming belum dimulai.
    • Kotak centang Isi ulang data historis tidak dicentang (sehingga pengisian ulang ditentukan sebagai manual).
    • Objek dikecualikan secara eksplisit agar tidak diisi ulang secara otomatis.
    • Aliran dikonfigurasi untuk menyertakan tabel mendatang. Jika hal ini terjadi, maka saat tabel baru ditambahkan ke sumber, tidak ada tugas pengisian ulang otomatis yang dibuat untuk tabel tersebut (karena tabel baru biasanya tidak memiliki data "historis" untuk diisi ulang).
  • Pending: pengisian ulang belum dimulai untuk objek.

  • Active: pengisian ulang sedang berlangsung untuk objek.

  • Completed: pengisian ulang selesai untuk objek.

  • Stopped: pengisian ulang dihentikan untuk objek. Jika pengisian ulang dimulai lagi untuk objek, Datastream akan mengalirkan semua data yang ada yang terkait dengan objek dari sumber ke tujuan.

  • Failed: pengisian ulang gagal untuk objek dan pengisian ulang harus dimulai lagi.

Mulai pengisian ulang

  1. Buka halaman Streams di Konsol Google Cloud .

    Buka halaman Streams

  2. Klik aliran yang berisi objek yang ingin Anda mulai pengisian ulangnya.

  3. Klik tab OBJEK.

  4. Centang kotak untuk setiap objek yang ingin Anda mulai pengisian ulangnya.

  5. Klik MULAI PENGISIAN ULANG.

  6. Jika Anda hanya memilih satu objek, klik MULAI PENGISIAN ULANG OBJEK dalam dialog. Atau, jika Anda memilih beberapa objek, klik MULAI PENGISIAN ULANG OBJEK.

    Datastream akan memulai pengisian ulang untuk objek yang Anda pilih, dan status setiap objek akan berubah dari Pending menjadi Active menjadi Completed. Jika objek memiliki status Completed, artinya Datastream telah membaca semua data untuk objek, tetapi data mungkin masih dimuat ke tujuan.

Menghentikan pengisian ulang

  1. Buka halaman Streams di Konsol Google Cloud .

    Buka halaman Streams

  2. Klik aliran yang berisi objek yang ingin Anda hentikan pengisian ulangnya.

  3. Klik tab OBJEK.

  4. Centang kotak untuk setiap objek yang ingin Anda hentikan pengisian ulangnya.

  5. Klik HENTIKAN PENGISIAN ULANG.

  6. Jika Anda hanya memilih satu objek, klik HENTIKAN PENGISIAN ULANG OBJEK dalam dialog. Atau, jika Anda memilih beberapa objek, klik HENTIKAN PENGISIAN LATAR BELAKANG OBJEK.

    Aliran data akan berhenti melakukan pengisian ulang untuk objek yang Anda pilih, dan status setiap objek akan berubah menjadi Stopped.

    Jika objek memiliki status ini, pengisian ulang dihentikan untuk objek tersebut. Jika pengisian ulang dimulai lagi untuk objek, Datastream akan mengalirkan semua data yang ada yang terkait dengan objek dari sumber ke tujuan.

Langkah berikutnya