Menggunakan file log WAL database PostgreSQL

Datastream menggunakan log transaksi WAL (Write Ahead Log) PostgreSQL untuk membaca streaming PostgreSQL. Log disimpan dalam file WAL di server database. Setiap data dalam log WAL mewakili satu perubahan pada data sebenarnya di salah satu tabel dalam database.

Menetapkan parameter konfigurasi untuk file WAL PostgreSQL

Sebaiknya terapkan setelan konfigurasi berikut ke database PostgreSQL Anda:

  • max_slot_wal_keep_size: tetapkan parameter ini (hanya tersedia untuk PostgreSQL 13 dan yang lebih baru) untuk membatasi jumlah penyimpanan yang digunakan oleh slot replikasi. Hal ini sangat penting untuk transaksi yang berjalan lama, yang dalam kasus ekstrem, dapat menyebabkan ukuran file WAL menghabiskan seluruh penyimpanan dan membuat database error.

  • statement_timeout: tetapkan parameter ini ke nilai yang dipilih untuk mengurangi latensi yang disebabkan oleh transaksi yang berjalan lama. Anda juga dapat menggunakan statement_timeout sebagai tindakan pencegahan alternatif untuk database yang tidak mendukung max_slot_wal_keep_size.

  • wal_sender_timeout: tetapkan parameter ini ke 0 (untuk menonaktifkan waktu tunggu) atau ke nilai yang lebih besar dari atau sama dengan 10 menit.

Jika Anda berencana membuat lebih dari 10 aliran data, atau jumlah slot replikasi logika yang digunakan oleh resource lain selain jumlah aliran data yang direncanakan melebihi 10, pastikan untuk mengubah parameter berikut:

  • max_replication_slots: meningkatkan nilai parameter ini, bergantung pada jumlah slot replikasi yang ditetapkan untuk database Anda (Anda memerlukan 1 slot replikasi per aliran). Anda hanya dapat menetapkan max_replication_slots saat server dimulai.

  • max_wal_senders: meningkatkan nilai parameter ini, sehingga lebih besar dari nilai parameter max_replication_slots. Anda hanya dapat menetapkan max_wal_senders saat memulai server.

Mengoptimalkan file log WAL

Untuk menghindari latensi tinggi pada streaming dan pertumbuhan cepat dalam ukuran file log WAL saat mereplikasi data dari sumber PostgreSQL, pertimbangkan untuk menerapkan tindakan pencegahan berikut:

  • Hindari operasi besar yang berjalan lama karena dapat meningkatkan ukuran file WAL Anda secara signifikan.
  • Gunakan tabel UNLOGGED atau TEMPORARY selama operasi batch.
  • Periksa konfigurasi WAL Anda dan pertimbangkan untuk mengurangi frekuensi pemeriksaan. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi WAL
  • Periksa operasi DELETE yang besar dan pertimbangkan untuk menggantinya dengan operasi TRUNCATE. Tindakan ini dapat mengurangi data file WAL secara signifikan, tetapi Anda harus berhati-hati, karena Datastream tidak mereplikasi operasi TRUNCATE.

Langkah berikutnya