Mereplikasi dari server eksternal (v1)

Halaman ini menjelaskan cara membuat konfigurasi yang mereplikasi data dari server database sumber ke replika MySQL.

Server database sumber dapat menjadi server MySQL apa pun yang memenuhi semua persyaratan server, termasuk instance Cloud SQL. Instance yang dihosting penyedia cloud lain juga dapat berfungsi sebagai sumber data, asalkan memenuhi persyaratan, termasuk mendukung GTID.

Untuk informasi selengkapnya tentang konfigurasi ini, lihat Tentang Mereplikasi dari Server Eksternal.

Sebelum memulai

Sebelum menyiapkan replikasi dari server eksternal, Anda harus menyelesaikan langkah-langkah berikut:

• Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

• Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

  Buka pemilih project

• Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

• Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

  Buka pemilih project

• Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

• Aktifkan API Cloud SQL Admin.

  Mengaktifkan API

• Instal dan autentikasi gcloud CLI.
• Pastikan server Anda memenuhi persyaratan untuk server database sumber.
• Tentukan tingkat keamanan yang Anda perlukan untuk koneksi antara instance utama dan replika, dan dapatkan file sertifikat yang diperlukan.
• Pilih region Google Cloud yang ingin digunakan untuk menampung replika Cloud SQL Anda.

• Kumpulkan informasi yang diperlukan terkait server database sumber Anda:

  • Alamat IPv4 eksternal dan nomor port

    Secara default, MySQL menggunakan port 3306.

  • Akun pengguna dan sandi replikasi MySQL
  • Nomor versi MySQL
  • Lokasi semua sertifikat dan kunci SSL/TLS yang diperlukan, tergantung tingkat keamanan yang dipilih.

• Bersiaplah untuk mengupdate firewall jaringan untuk server database sumber agar dapat menerima koneksi dari replika Cloud SQL.

  Langkah ini harus diselesaikan dalam waktu 30 menit setelah membuat replika.

• Jika Anda bukan pemilik project, Anda harus memiliki peran Storage Admin.

Persyaratan untuk server database sumber

Sebelum Anda dapat mereplikasi dari server eksternal ke replika Cloud SQL, pastikan server database sumber memenuhi persyaratan konfigurasi berikut:

• Menjalankan MySQL Community Edition versi 5.6 atau 5.7.

• Log biner diaktifkan. Pelajari lebih lanjut.

• Log biner disimpan cukup lama agar replika dapat menyelesaikan impor.

  Umumnya, satu minggu sudah cukup. Pelajari lebih lanjut cara menetapkan kebijakan retensi log biner.

• Menggunakan logging biner berbasis baris. Pelajari lebih lanjut.

• GTID diaktifkan, dan konsistensi GTID diterapkan.

  Pelajari GTID lebih lanjut. Lihat opsi untuk menerapkan konsistensi GTID.

• Semua tabel (kecuali tabel dalam database sistem) menggunakan mesin penyimpanan InnoDB.

  Pelajari InnoDB lebih lanjut. Pelajari lebih lanjut cara melakukan konversi ke InnoDB.

• Akun pengguna MySQL dengan hak istimewa REPLICATION_SLAVE.

  Konfigurasikan akun ini untuk menerima koneksi dari mana saja (host = %). Anda dapat membatasi akses ke pengguna ini pada langkah berikutnya. Jangan menggunakan akun pengguna ini untuk tujuan lain selain replikasi.

  Pelajari hak istimewa lebih lanjut. Pelajari akun pengguna lebih lanjut.

• Alamat IPv4 dan port TCP yang dapat diakses secara eksternal.

Proses konfigurasi

Untuk menyiapkan replikasi dari server database eksternal, lakukan langkah-langkah berikut:

1. Buat bucket Cloud Storage untuk data Anda.
2. Ekspor data Anda ke Cloud Storage.
3. Siapkan konfigurasi replikasi.

4. Konfigurasikan server database sumber agar dapat menerima koneksi dari replika.

5. Batasi akses pengguna replikasi MySQL.

6. Selesaikan konfigurasi replika.

7. Konfirmasi status replikasi.

8. Bersihkan penyimpanan Anda.

1. Buatlah bucket Cloud Storage untuk data Anda

Buatlah bucket untuk menangguhkan sementara data Anda selama proses ekspor, atau gunakan bucket yang sudah ada.

Untuk informasi selengkapnya tentang bucket, lihat Membuat Bucket Penyimpanan. Untuk informasi selengkapnya tentang peran Storage Admin, lihat Peran IAM Cloud Storage.

2. Ekspor data Anda ke Cloud Storage

Replika mencari datanya di Cloud Storage, sehingga Anda perlu menempatkan salinan data server di sana. Setelah ekspor selesai, Anda dapat terus menerima operasi tulis pada server Anda. Setelah selesai mengimpor file dump, replika akan mulai memproses semua perubahan sejak ekspor dilakukan dan akhirnya menyamai instance utama.

Dari mesin yang telah terinstal gcloud CLI dan terhubung ke server MySQL Anda, jalankan perintah berikut:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gsutil cp - gs://[BUCKET]/[PATH_TO_DUMP]

If the source of the migration is a Relational Database Service (RDS) for MySQL,
the master-data flag is not supported and should not be specified.
This command might look like the following example:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gsutil cp - gs://[BUCKET]/[PATH_TO_DUMP]

Additionally, you should configure RDS instances to retain binlogs for a
a longer period of time.
This command might look like the following example:

// Sets the retention period to one day.
call mysql.rds_set_configuration('binlog retention hours', 24);

Ganti [PROPERTIES_IN_BRACKETS] dengan nilai berikut:

Jika Anda melihat peringatan terkait dump parsial dan GTID, itu adalah hal yang wajar.

Perintah ini mungkin terlihat seperti contoh berikut:

mysqldump \
    -h 192.0.2.1 -P 3306 -u replicationUser \
    --databases guestbook  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gsutil cp - gs://export-bucket/hq-primary1.sql.gz

3. Buat konfigurasi replikasi

Jika replika menggunakan IP pribadi, server database sumber harus dikonfigurasi agar dapat diakses dari VPC replika. Pembuatan replika di VPC Pribadi hanya didukung melalui gcloud CLI dan Cloud SQL Admin API.

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "[SOURCE_REPRESENTATION_NAME]",
         "region": "[REGION]",
         "databaseVersion": "[MYSQL_VERSION]",
         "onPremisesConfiguration": {
             "hostPort": "[SOURCE_SERVER_IP]:[SOURCE_SERVER_PORT]"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "hq-primary1",
         "region": "us-central1",
         "databaseVersion": "MYSQL_5_7",
         "onPremisesConfiguration": {
             "hostPort": "192.0.2.0:3306"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "[USERNAME]",
            "password": "[PASSWORD]",
            "dumpFilePath": "gs://[BUCKET]/[PATH_TO_DUMP]",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
     },
     "settings": {
         "tier": "[MACHINE_TYPE]",
         "dataDiskSizeGb": "[DISK_SIZE]"
     },
     "masterInstanceName": "[SOURCE_REPRESENTATION_NAME]",
     "region": "[REGION]",
     "databaseVersion": "[MYSQL_VERSION]",
     "name": "[REPLICA_NAME]"
}

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @[PATH_TO_DATA_FILE] \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "replicationUser",
            "password": "486#@%*@",
            "dumpFilePath": "gs://export-bucket/hq-primary1.sql.gz",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
    },
    "settings": {
        "tier": "db-custom-4-15360",
        "dataDiskSizeGb": "100"
    },
    "masterInstanceName": "hq-primary1",
    "region": "us-central1",
    "databaseVersion": "MYSQL_5_7",
    "name": "hq-primary1-replica1"
}

curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @./data.json
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

Saat replika baca dapat mengakses file dump, proses impor akan dimulai. Durasi proses impor bergantung pada ukuran file dump, jenis mesin, dan skema database. Sebagai panduan umum untuk estimasi, perkirakan replika dapat mengimpor sekitar 25-50 GB per jam.

Replika tetap dalam status PENDING_CREATE sampai proses impor selesai; setelah itu, replika akan berubah ke status RUNNABLE.

4. Konfigurasikan server database sumber agar dapat menerima koneksi dari replika

Replika harus terhubung ke server database sumber agar replikasi berhasil. Jika server database sumber berada di belakang firewall atau batasan jaringan lainnya, Anda harus mengaktifkan akses jaringan untuk replika menggunakan alamat IP OUTGOING replika. Perhatikan bahwa ini bukan alamat IP yang ditampilkan di listingan utama untuk replika di konsol Google Cloud. Anda dapat mengambil alamat IP OUTGOING dengan mengarahkan kursor ke Info selengkapnya untuk alamat IP, atau menggunakan perintah gcloud berikut.

1. Ambil alamat IP replika baca:

   gcloud sql instances describe [REPLICA_NAME] --format="default(ipAddresses)"

2. Jika perlu, konfigurasikan firewall jaringan agar server database sumber dapat menerima koneksi dari alamat IP OUTGOING.

3. Pastikan replika telah berhasil terhubung ke server database sumber.

   1. Ikon replika di halaman listingan instance tidak lagi berputar dan berwarna hijau.

   2. Buka Logs Viewer di Konsol Google Cloud.

      Buka Logs Viewer

   3. Pilih replika dari dropdown Instance.

   4. Pilih file log replication-setup.log.

      Jika replika tidak dapat terhubung ke server database sumber, pastikan hal-hal berikut:

      • Firewall pada server database sumber dikonfigurasi untuk mengizinkan koneksi dari alamat IP OUTGOING replika.
      • Konfigurasi SSL/TLS Anda sudah benar.
      • Pengguna, host, dan sandi replikasi Anda sudah benar.

5. Batasi akses pengguna replikasi MySQL

Langkah ini bersifat opsional, tetapi direkomendasikan demi keamanan.

Pengguna replikasi MySQL di server database sumber dikonfigurasi untuk menerima koneksi dari host mana pun (%). Update akun pengguna tersebut untuk menerima koneksi hanya dari alamat IP OUTGOING replika:

    UPDATE mysql.user SET Host='[OUTGOING_IP]' WHERE Host='%' AND User='[USERNAME]';
    FLUSH PRIVILEGES;

6. Selesaikan konfigurasi replika

1. Konfigurasikan akun pengguna pada replika.

   Anda dapat melakukannya dengan menggunakan konsol Google Cloud, alat gcloud CLI, atau Cloud SQL API. Namun, Anda tidak dapat menggunakan klien mysql. Untuk mengetahui informasi selengkapnya tentang pengguna MySQL, lihat pengguna MySQL.

   Untuk membuat pengguna menggunakan konsol Google Cloud:

   1. Buka halaman Instance Cloud SQL di konsol Google Cloud.
      Buka halaman Instance Cloud SQL
   2. Klik nama instance untuk membuka halaman Detail instance.
   3. Pilih tab Pengguna.
   4. Klik Buat akun pengguna.
   5. Pada dialog Buat akun pengguna, tentukan detail pengguna Anda.
   6. Klik Create.

2. Izinkan akses ke replika dari klien mana pun yang ingin Anda gunakan untuk terhubung ke replika menggunakan alamat IP publik.

   Untuk mengetahui petunjuknya, lihat Menambahkan alamat IP atau rentang alamat IP yang diizinkan. Agar terhubung ke replika, gunakan alamat IP PRIMARY replika. Alamat IP ini ditampilkan di konsol Google Cloud

   Atau, Anda dapat menggunakan metode koneksi lain untuk terhubung ke replika.

7. Konfirmasi status replikasi

Setelah selesai mengimpor file dump, replika akan terhubung ke server lokal dan menerapkan semua update yang telah dilakukan setelah proses ekspor.

Penting untuk memeriksa status replikasi sebelum mempromosikan replika ke instance independen. Jika proses replikasi belum selesai dan gagal, maka replika yang dipromosikan tidak memiliki semua perubahan pada instance eksternal Anda.

8. (Opsional) Promosikan replika ke instance independen

Setelah memeriksa status replikasi, jika Anda ingin sepenuhnya mengganti ('migrasi') server database sumber dengan Cloud SQL, promosikan replika menjadi instance utama yang independen. Setelah menjadi instance utama, replika tidak lagi terhubung ke server database sumber asli.

Buat replika baru untuk instance utama baru, dan mulai ulang aplikasi yang terhubung untuk menunjuk instance utama baru (untuk operasi tulis) atau replika baru (untuk operasi baca).

9. Bersihkan penyimpanan Anda

1. Hapus file ekspor:

   gsutil rm gs://[BUCKET]/[PATH_TO_DUMP]
   

2. Jika Anda tidak lagi memerlukan bucket, hapus bucket:

   gsutil rm -r gs://[BUCKET]
   

Untuk informasi selengkapnya, lihat dokumentasi Cloud Storage untuk Menghapus Objek dan Menghapus Bucket.

Memperbarui konfigurasi

Untuk memperbarui setelan konfigurasi nanti, Anda dapat mengedit instance representasi sumber. Jika perlu memperbarui setelan konfigurasi lokal, perhatikan bahwa hostPort dan type tidak dapat diupdate.

Langkah berikutnya

• Pelajari cara mengupdate instance.
• Pelajari cara mengelola replika.