Mendiagnosis masalah

Hal ini dapat terjadi karena berbagai alasan. Untuk memecahkan masalah error ini:

1. Pastikan database sumber aktif dan dapat dijangkau.
2. Buka profil koneksi sumber dari halaman Streams atau Connection profiles.
3. Verifikasi bahwa informasi konektivitas profil koneksi sudah benar.
4. Verifikasi bahwa nama pengguna dan sandi cocok.
5. Pastikan nama pengguna ada di database dan memiliki hak istimewa yang diperlukan.
6. Simpan perubahan yang Anda buat di halaman Profil koneksi.

Streaming dilanjutkan secara otomatis.

1. Pastikan Anda telah menyelesaikan semua prasyarat Prasyarat peering VPC.

2. Setelah membuat konfigurasi konektivitas pribadi, verifikasi bahwa rute yang berisi alamat IP internal database muncul di tab Rute yang diekspor di halaman Peering Jaringan VPC.

   Untuk melakukannya, buka halaman VPC Network Peering, lalu telusuri peering yang ditambahkan (namanya adalah peering-[UUID]). Rute dapat ditemukan di tab Exported routes. Jika rute ini tidak ada, tambahkan secara manual.

3. Datastream tidak memeriksa tumpang-tindih dengan rute peering dinamis. Menyediakan subnet yang tumpang-tindih dengan rute dinamis dapat menyebabkan masalah konektivitas. Oleh karena itu, sebaiknya jangan gunakan subnet yang merupakan bagian dari rute dinamis.
4. Pastikan rute kustom untuk rentang alamat IP Datastream diiklankan dengan benar. Jika rute kustom tidak ada, lihat Rute khusus yang diberitahukan.
5. Jika Anda masih mengalami masalah saat menghubungkan ke database sumber, lihat Menyiapkan proxy terbalik.

1. Pastikan Anda telah menyelesaikan semua prasyarat.
2. Pastikan aturan firewall Anda mengizinkan subnetwork lampiran jaringan yang disediakan untuk terhubung ke database sumber.
3. Pastikan rute kustom untuk rentang alamat IP Datastream diiklankan dengan benar. Jika rute kustom tidak ada, lihat Rute khusus yang diberitahukan.

Anda memilih metode konektivitas jaringan daftar yang diizinkan IP publik atau tunnel SSH penerusan untuk profil koneksi yang Anda buat. Namun, kebijakan organisasi Block Public Connectivity Methods untuk Datastream diaktifkan. Oleh karena itu, Anda tidak dapat memilih metode konektivitas publik untuk profil koneksi Anda.

Untuk mengatasi masalah ini, pilih metode konektivitas jaringan peering VPC pribadi atau antarmuka Private Service Connect, atau nonaktifkan kebijakan organisasi.

Untuk menonaktifkan kebijakan organisasi:

1. Buka halaman Kebijakan organisasi di Google Cloud Konsol.
2. Pilih kebijakan organisasi Datastream - Block Public Connectivity Methods.

3. Klik EDIT.

4. Di bagian Berlaku untuk di halaman, pilih Sesuaikan.

5. Di bagian Penerapan, pilih Nonaktif.

6. Klik SIMPAN.
7. Kembali ke profil koneksi Oracle yang Anda buat, lalu klik CREATE.

Hal ini dapat terjadi jika database Anda memiliki ribuan tabel dan skema. Beberapa di antaranya mungkin tidak disertakan dalam daftar objek yang akan ditarik saat mengonfigurasi sumber untuk streaming di konsol Google Cloud . Daripada memilih Skema dan tabel tertentu di bagian Pilih objek yang akan disertakan, pilih Kustom. Di kolom Kriteria pencocokan objek, masukkan skema dan tabel yang ingin Anda tarik oleh Datastream.

Datastream dapat menghapus peristiwa yang tidak didukung selama streaming. Anda dapat melakukan tindakan berikut untuk mengatasi masalah ini:

• Memicu pengisian ulang seluruh tabel secara manual. Cara ini berfungsi jika peristiwa yang dihapus hanya berupa peristiwa UPSERT. Jika peristiwa yang dihapus mencakup peristiwa DELETE, Anda harus memangkas tabel di BigQuery sebelum melakukan pengisian ulang.

  Untuk mengetahui informasi tentang cara melakukan pengisian ulang, lihat Mulai pengisian ulang.

• Hubungi Dukungan Google dan minta mereka untuk melakukan pengisian ulang sebagian. Hal ini hanya dapat dilakukan jika Anda dapat mengidentifikasi peristiwa yang dihentikan dengan klausa SQL WHERE, dan jika tidak ada peristiwa yang merupakan peristiwa DELETE.
• Abaikan masalah ini jika jumlah peristiwa yang dibuang sedikit atau jika peristiwa yang dibuang tidak signifikan.

Error saat mengambil data pengambilan data perubahan (CDC) yang sedang berlangsung dapat terjadi jika konfigurasi logging tambahan tidak benar di database sumber. Pastikan logging tambahan dikonfigurasi dengan benar. Secara khusus, pastikan bahwa logging tambahan diaktifkan untuk tabel database yang di-streaming dari sumber ke tujuan. Streaming dilanjutkan secara otomatis.

File log mungkin telah dihapus. Oracle menghapus file log segera setelah dapat dilakukan, kecuali jika Anda menentukan periode rotasi minimum untuk menyimpannya. Di server Oracle, tetapkan durasi penyimpanan file log. Misalnya, gunakan CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 4 DAYS; untuk menyimpan file log setidaknya selama 4 hari.

Untuk deployment RDS, gunakan exec rdsadmin.rdsadmin_util.set_configuration('archivelog retention hours',96);

Hal ini dapat terjadi untuk streaming MySQL berkelanjutan jika konfigurasi binlog salah pada database sumber. Untuk memecahkan masalah error ini, lakukan tindakan berikut:

1. Pastikan binlog dikonfigurasi dengan benar.
2. Pastikan format log biner database MySQL disetel ke ROW.
3. Mulai ulang streaming.

Hal ini dapat terjadi jika database sumber tidak mematuhi matriks dukungan versi. Untuk memecahkan masalah error ini, lakukan tindakan berikut:

1. Pastikan database sumber mematuhi matriks.
2. Buat ulang aliran dengan database sumber yang diperbarui.

Tingkatkan kemampuan Datastream untuk membaca dari database sumber:

• Kurangi ukuran file log biner (binlog) maksimum untuk database sumber Anda. Mengurangi ukuran akan meningkatkan jumlah file binlog.
• Jika ada beberapa file binlog, tetapkan jumlah tugas CDC serentak maksimum untuk aliran yang sesuai. Dengan memiliki beberapa file binlog, Datastream dapat membaca peristiwa database sumber secara bersamaan, hingga jumlah yang ditetapkan di kolom maxConcurrentCdcTasks.

Pastikan decoding logis dikonfigurasi dengan benar. Lihat Mengonfigurasi database PostgreSQL sumber.

1. Ubah identitas replika menjadi DEFAULT:

   ALTER TABLE TABLE_NAME REPLICA IDENTITY DEFAULT

   Ganti TABLE_NAME dengan nama tabel yang ingin Anda ubah identitas replikanya.
2. Hapus tabel dari daftar objek yang akan disertakan dalam aliran. Untuk mengetahui informasi selengkapnya, lihat Mengubah informasi konfigurasi tentang database sumber.
3. Hapus tabel dari BigQuery. Untuk mengetahui informasi selengkapnya, lihat Menghapus tabel.
4. Di Datastream, tambahkan kembali tabel ke aliran dengan mengedit konfigurasi sumber.

Pengambilan data perubahan (CDC) harus diaktifkan untuk database. Datastream memerlukan akses baca langsung ke log transaksi untuk mereplikasi perubahan real time ke database sumber, dan untuk mendapatkan informasi log lengkap. Aktifkan CDC untuk database, lalu coba lagi.

Untuk mengetahui informasi tentang cara mengaktifkan CDC untuk database, lihat Mengonfigurasi database SQL Server sumber.

Pengambilan data perubahan (CDC) harus diaktifkan untuk semua tabel yang disertakan dalam stream. Datastream memerlukan akses baca langsung ke log transaksi untuk mereplikasi perubahan real time ke tabel sumber, dan untuk mendapatkan informasi log yang lengkap. Aktifkan CDC untuk tabel yang disertakan dalam aliran, lalu coba lagi.

Untuk mengetahui informasi tentang cara mengaktifkan CDC untuk tabel sumber, lihat Mengonfigurasi database SQL Server sumber.

Masalah ini dapat terjadi saat log transaksi tidak lagi ada di database sumber. Saat Anda mereplikasi data dari sumber SQL Server menggunakan metode CDC log transaksi, log mungkin terpotong sebelum dibaca oleh Datastream. Jika hal itu terjadi, Datastream tidak dapat mereplikasi database sumber ke tujuan secara andal.

Untuk mengatasi masalah ini, pulihkan aliran Anda atau pertimbangkan untuk menggunakan metode CDC tabel perubahan. Untuk mengetahui informasi selengkapnya tentang perbedaan antara kedua metode tersebut, lihat Ringkasan SQL Server sebagai sumber.

Pengguna aplikasi yang terhubung atau aplikasi klien eksternal yang Anda konfigurasi untuk mengautentikasi koneksi antara organisasi Salesforce dan Datastream tidak memiliki izin yang memadai untuk mengakses data yang ingin Anda replikasi. Pastikan Anda mengonfigurasi sumber Salesforce dengan benar. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi sumber Salesforce.

Bulk API 2.0 diaktifkan secara default untuk edisi Performance, Unlimited, Enterprise, dan Developer. Pesan error ini menunjukkan bahwa API dinonaktifkan di edisi Anda, atau kredensial yang Anda gunakan tidak memiliki izin yang memadai. Pastikan profil pengguna yang Anda gunakan telah diberi izin API Enabled.

Anda telah melampaui batas kueri Salesforce API. Anda akan melihat pesan ini saat mencapai 90% kuota batas API. Dalam kasus seperti itu, Datastream akan mencoba lagi operasi di lain waktu. Sebaiknya pertimbangkan untuk menambah kuota API Salesforce Anda.

Saat membuat kueri untuk record yang dihapus, Salesforce membatasi respons hingga 600.000 ID record. Granularitas kueri terendah di Salesforce adalah satu menit, dan jika Anda menghapus lebih dari 600.000 data dalam satu menit, Salesforce akan menampilkan error ini.

Datastream tidak dapat melakukan autentikasi dengan Salesforce. Anda mungkin menggunakan kredensial atau nama domain yang salah.

Saat Anda memilih mode penulisan Khusus penambahan untuk aliran, data Anda ditambahkan di BigQuery sebagai aliran peristiwa INSERT, UPDATE-INSERT, UPDATE-DELETE, dan DELETE, tanpa konsolidasi. Hal ini dapat menyebabkan baris duplikat ditulis ke BigQuery saat Anda melakukan pengisian ulang, atau saat terjadi masalah dan penulis BigQuery mencoba lagi operasi penulisan. Untuk mengatasi masalah ini, sebaiknya Anda menjalankan kueri penghapusan duplikat yang serupa dengan berikut secara rutin:

Pastikan ada kunci utama di tabel sumber Anda. BigQuery memerlukannya untuk menggabungkan perubahan ke dalam tabel tujuan.

Jika tidak ada kunci utama, pertimbangkan untuk menambahkannya di tabel sumber atau tujuan. Untuk menambahkan kunci utama di tabel BigQuery tujuan Anda, ikuti langkah-langkah berikut:

1. Jeda streaming.
2. Truncate tabel di BigQuery.
3. Tambahkan kunci utama ke definisi tabel.
4. Lanjutkan streaming.
5. Memicu pengisian ulang untuk tabel.

Secara default, Datastream tidak mendukung penambahan kunci utama ke tabel yang sudah direplikasi ke BigQuery tanpa kunci utama atau penghapusan kunci utama dari tabel yang direplikasi ke BigQuery dengan kunci utama. Namun, Anda dapat mengubah definisi kunci utama untuk tabel sumber yang direplikasi ke BigQuery yang sudah memiliki kunci utama:

1. Periksa metrik total latensi untuk aliran dan tunggu setidaknya selama latensi saat ini untuk memastikan bahwa semua peristiwa dalam proses ditulis ke tujuan. Dengan demikian, semua peristiwa dengan kunci utama asli dapat berhasil di-streaming.
2. Jeda streaming.
3. Salin perintah bahasa definisi data (DDL) CREATE TABLE untuk tabel di BigQuery:

       SELECT ddl FROM PROJECT_ID.DATASET.INFORMATION_SCHEMA.TABLES
         WHERE table_name='TABLE_NAME';

   Ganti kode berikut:

   • PROJECT_ID: ID Google Cloud project Anda.
   • DATASET_ID: ID set data di BigQuery.
   • TABLE_NAME: nama tabel yang DDL perintahnya ingin Anda salin.
4. Hapus tabel di BigQuery.
5. Sesuaikan perintah DDL CREATE TABLE dengan kunci primer baru. Sertakan kunci partisi dan cluster, serta max_staleness OPTION:

       CREATE TABLE `[PROJECT_ID].[DATASET_ID].[TABLE_NAME]`
       (
         product_id INT64 NOT NULL,
         product_name STRING,
         datastream_metadata STRUCT,
         PRIMARY KEY (product_id) NOT ENFORCED
       )
       CLUSTER BY dept_no
       OPTIONS(
         max_staleness=INTERVAL '0-0 0 0:MINS:0' YEAR TO SECOND
       );
       ;
       

   Ganti kode berikut:

   • PROJECT_ID: ID Google Cloud project Anda.
   • DATASET_ID: ID set data di BigQuery.
   • TABLE_NAME: nama tabel yang DDL perintahnya Anda salin.
   • MINS: jumlah menit yang ingin Anda tetapkan untuk opsi max_staleness, misalnya 15.
6. Jalankan kueri yang disesuaikan untuk membuat ulang tabel di BigQuery.
7. Lanjutkan streaming.
8. Mulai pengisian ulang untuk tabel.