Replica da un server esterno (v1)

Questa pagina descrive come creare una configurazione che replica i dati da un server database di origine alle repliche MySQL.

Il server del database di origine può essere qualsiasi server MySQL che soddisfi tutti i requisiti del server, incluse le istanze Cloud SQL. Anche le istanze ospitate da altri fornitori di servizi cloud possono fungere da origine dati, a condizione che soddisfino i requisiti, inclusa la supportabilità del GTID.

Per informazioni più dettagliate su questa configurazione, consulta Informazioni sulla replica da un server esterno.

Prima di iniziare

Prima di configurare la replica da un server esterno, devi completare i seguenti passaggi:

• Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

• In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

  Go to project selector

• Make sure that billing is enabled for your Google Cloud project.

• In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

  Go to project selector

• Make sure that billing is enabled for your Google Cloud project.

• Enable the Cloud SQL Admin API.

  Enable the API

• Installa e autentica la gcloud CLI.
• Assicurati che il server soddisfi i requisiti per il server di database di origine.
• Determina il livello di sicurezza necessario per le connessioni tra l'istanza principale e la replica e ottieni i file del certificato richiesti.
• Decidi quale regione Google Cloud vuoi utilizzare per contenere la replica Cloud SQL.

• Riunisci le informazioni richieste sul server del database di origine:

  • Indirizzo IPv4 esterno e numero di porta

    Per impostazione predefinita, MySQL utilizza la porta 3306.

  • Account utente e password di replica MySQL
  • Numero di versione di MySQL
  • Posizione di tutte le chiavi e di tutti i certificati SSL/TLS richiesti, a seconda del livello di sicurezza selezionato.

• Preparati ad aggiornare il firewall di rete per il server di database di origine in modo che accetti le connessioni dalla replica Cloud SQL.

  Questo passaggio deve essere completato entro 30 minuti dalla creazione della replica.

• Se non sei un proprietario del progetto, devi disporre del ruolo Storage Admin.

Requisiti per il server del database di origine

Prima di poter eseguire la replica da un server esterno a una replica Cloud SQL, assicurati che il server del database di origine soddisfi i seguenti requisiti di configurazione:

• MySQL Community Edition versione 5.6 o 5.7 in esecuzione.

• Log binari abilitati. Scopri di più.

• I log binari sono stati conservati per un periodo di tempo sufficiente a consentire alla replica di completare l'importazione.

  In genere, una settimana è sufficiente. Scopri di più sull'impostazione del criterio di conservazione dei log binari.

• Utilizzo del logging binario basato su riga. Scopri di più.

• GTID abilitato e coerenza GTID applicata.

  Scopri di più sui GTID. Consulta l'opzione per impedire la coerenza dei GTID.

• Tutte le tabelle (tranne quelle nei database di sistema) utilizzano il motore di archiviazione InnoDB.

  Scopri di più su InnoDB. Scopri di più sulla conversione a InnoDB.

• Account utente MySQL con il privilegio REPLICATION_SLAVE.

  Configura questo account in modo da accettare connessioni di qualsiasi provenienza (host = %). Puoi limitare l'accesso a questo utente in un passaggio successivo. Non utilizzare questo account dell'utente per scopi diversi dalla replica.

  Scopri di più sui privilegi. Scopri di più sugli account utente.

• Un indirizzo IPv4 e una porta TCP accessibili dall'esterno.

Procedura di configurazione

Per configurare la replica da un server di database esterno:

1. Crea un bucket Cloud Storage per i tuoi dati.
2. Esporta i dati in Cloud Storage.
3. Configura la configurazione della replica.

4. Configura il server del database di origine in modo che accetti le connessioni dalla replica.

5. Limita l'accesso all'utente di replica MySQL.

6. Finalizza la configurazione della replica.

7. Conferma lo stato della replica.

8. Libera spazio di archiviazione.

1. Creare un bucket Cloud Storage per i dati

Crea un bucket per contenere temporaneamente i dati durante il processo di esportazione o utilizza un bucket esistente.

Per ulteriori informazioni sulla creazione di un bucket, consulta Creare bucket di archiviazione. Per ulteriori informazioni sul ruolo Amministratore dello spazio di archiviazione, consulta Ruoli IAM di Cloud Storage.

2. Esportare i dati in Cloud Storage

La replica cerca i suoi dati in Cloud Storage, quindi devi inserire lì una copia dei dati del server. Puoi continuare ad accettare operazioni di scrittura sul server dopo l'esportazione. Una volta completata l'importazione del file dump, la replica inizia a elaborare tutte le modifiche apportate dall'esportazione e alla fine raggiunge l'istanza principale.

Da una macchina su cui è installato gcloud CLI e con connettività di rete al tuo server MySQL, esegui il seguente comando:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

If the source of the migration is a Relational Database Service (RDS) for MySQL,
the master-data flag is not supported and should not be specified.
This command might look like the following example:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

Additionally, you should configure RDS instances to retain binlogs for a
a longer period of time.
This command might look like the following example:

// Sets the retention period to one day.
call mysql.rds_set_configuration('binlog retention hours', 24);

Sostituisci [PROPERTIES_IN_BRACKETS] con i seguenti valori:

Se viene visualizzato un avviso relativo a dump parziali e GTID, è normale.

Questo comando potrebbe avere il seguente aspetto:

mysqldump \
    -h 192.0.2.1 -P 3306 -u replicationUser \
    --databases guestbook  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://export-bucket/hq-primary1.sql.gz

3. Crea la configurazione della replica

Se la replica utilizza un indirizzo IP privato, il server del database di origine deve essere configurato per l'accesso dalla VPC della replica. La creazione di repliche su VPC private è supportata solo tramite gcloud CLI e l'API Cloud SQL Admin.

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "[SOURCE_REPRESENTATION_NAME]",
         "region": "[REGION]",
         "databaseVersion": "[MYSQL_VERSION]",
         "onPremisesConfiguration": {
             "hostPort": "[SOURCE_SERVER_IP]:[SOURCE_SERVER_PORT]"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "hq-primary1",
         "region": "us-central1",
         "databaseVersion": "MYSQL_5_7",
         "onPremisesConfiguration": {
             "hostPort": "192.0.2.0:3306"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "[USERNAME]",
            "password": "[PASSWORD]",
            "dumpFilePath": "gs://[BUCKET]/[PATH_TO_DUMP]",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
     },
     "settings": {
         "tier": "[MACHINE_TYPE]",
         "dataDiskSizeGb": "[DISK_SIZE]"
     },
     "masterInstanceName": "[SOURCE_REPRESENTATION_NAME]",
     "region": "[REGION]",
     "databaseVersion": "[MYSQL_VERSION]",
     "name": "[REPLICA_NAME]"
}

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @[PATH_TO_DATA_FILE] \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "replicationUser",
            "password": "486#@%*@",
            "dumpFilePath": "gs://export-bucket/hq-primary1.sql.gz",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
    },
    "settings": {
        "tier": "db-custom-4-15360",
        "dataDiskSizeGb": "100"
    },
    "masterInstanceName": "hq-primary1",
    "region": "us-central1",
    "databaseVersion": "MYSQL_5_7",
    "name": "hq-primary1-replica1"
}

curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @./data.json
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

Quando la replica di lettura può accedere al file dump, inizia il processo di importazione. La durata del processo di importazione dipende dalle dimensioni del file dump, dal tipo di macchina replica e dallo schema di database. Come guida generale per la stima, tieni conto che la replica importerà circa 25-50 GB all'ora.

La replica rimane nello stato PENDING_CREATE fino al completamento del processo di importazione, dopodiché passa allo stato RUNNABLE.

4. Configura il server del database di origine in modo che accetti le connessioni dalla replica

Affinché la replica riesca, è necessario che si connetta al server del database di origine. Se il server di database di origine si trova dietro un firewall o un'altra limitazione di rete, devi attivare l'accesso alla rete per la replica utilizzando l'indirizzo IP OUTGOING della replica. Tieni presente che non si tratta dell'indirizzo IP visualizzato nella scheda principale della replica nella console Google Cloud. Puoi recuperare l'indirizzo IP OUTGOING passando il mouse sopra la descrizione comando Altre informazioni per l'indirizzo IP o utilizzando il comando gcloud riportato di seguito.

1. Recupera gli indirizzi IP della replica di lettura:

   gcloud sql instances describe [REPLICA_NAME] --format="default(ipAddresses)"

2. Se necessario, configura il firewall di rete in modo che il server di database di origine accetti connessioni dall'indirizzo IP OUTGOING.

3. Verifica che la replica sia collegata correttamente al server del database di origine.

   1. L'icona della replica nella pagina della scheda dell'istanza non gira più ed è verde.

   2. Vai al visualizzatore log nella console Google Cloud.

      Vai al visualizzatore log

   3. Seleziona la replica dal menu a discesa Instance (Instanza).

   4. Seleziona il file log replication-setup.log.

      Se la replica non riesce a connettersi al server del database di origine, verifica quanto segue:

      • Qualsiasi firewall sul server del database di origine sia configurato per consentire le connessioni dall'indirizzo IP OUTGOING della replica.
      • La configurazione SSL/TLS è corretta.
      • L'utente, l'host e la password di replica siano corretti.

5. Limita l'accesso all'utente di replica MySQL

Questo passaggio è facoltativo, ma consigliato per motivi di sicurezza.

L'utente di replica MySQL sul server di database di origine è configurato per accettare connessioni da qualsiasi host (%). Aggiorna l'account utente in modo che accetti connessioni solo dall'indirizzo IP OUTGOING della replica:

    UPDATE mysql.user SET Host='[OUTGOING_IP]' WHERE Host='%' AND User='[USERNAME]';
    FLUSH PRIVILEGES;

6. Completare la configurazione della replica

1. Configura un account utente sulla replica.

   Puoi farlo utilizzando la console Google Cloud, lo strumento gcloud CLI o l'API Cloud SQL. Tuttavia, non puoi utilizzare il client mysql. Per ulteriori informazioni sugli utenti MySQL, consulta Utenti MySQL.

   Per creare un utente utilizzando la console Google Cloud:

   1. Vai alla pagina Istanze Cloud SQL nella console Google Cloud.
      Vai alla pagina Istanze Cloud SQL
   2. Fai clic sul nome dell'istanza per aprire la pagina Dettagli istanza.
   3. Seleziona la scheda Utenti.
   4. Fai clic su Crea account utente.
   5. Nella finestra di dialogo Crea account utente, specifica i dettagli dell'utente.
   6. Fai clic su Crea.

2. Autorizza l'accesso alla replica da qualsiasi client che prevedi di utilizzare per connetterti alla replica utilizzando indirizzi IP pubblici.

   Per istruzioni, consulta Aggiungere un indirizzo o un intervallo di indirizzi autorizzati. Per connetterti alla replica, utilizza l'indirizzo IP PRIMARY della replica. Questo indirizzo IP viene visualizzato nella console Google Cloud.

   In caso contrario, puoi utilizzare qualsiasi altro metodo di connessione per connetterti alla replica.

7. Conferma lo stato della replica

Al termine dell'importazione del file dump, la replica si connette al server on-prem e applica tutti gli aggiornamenti apportati dopo l'esportazione.

È importante controllare lo stato della replica prima di promuovere la replica a un istanza autonoma. Se il processo di replica non è completo e riuscito, una replica promossa non contiene tutte le modifiche dell'istanza esterna.

8. (Facoltativo) Promuovi la replica a un'istanza autonoma

Dopo aver controllato lo stato della replica, se vuoi sostituire completamente ("eseguire la migrazione") il server del database di origine con Cloud SQL, promuovi la replica in modo che diventi un'istanza principale autonoma. Una volta che la replica diventa l'istanza principale, non è più collegata al server del database di origine originale.

Crea una nuova replica per la nuova istanza principale e riavvia le applicazioni di connessione in modo che puntino alla nuova istanza principale (per le operazioni di scrittura) o alla nuova replica (per le operazioni di lettura).

9. Liberare spazio di archiviazione

1. Elimina il file di esportazione:

   gcloud storage rm gs://[BUCKET]/[PATH_TO_DUMP]
   

2. Se non ti serve più, elimina il bucket:

   gcloud storage rm gs://[BUCKET] --recursive
   

Per ulteriori informazioni, consulta la documentazione di Cloud Storage sull'eliminazione di oggetti e sull'eliminazione di bucket.

Aggiorna la configurazione

Per aggiornare le impostazioni di configurazione in un secondo momento, puoi modificare l'istanza della rappresentazione della sorgente. Se devi aggiornare le impostazioni di configurazione on-premise, tieni presente che hostPort e type non possono essere aggiornati.

Passaggi successivi

• Scopri di più sull'aggiornamento di un'istanza.
• Scopri di più sulla gestione delle repliche.