Replicar desde un servidor externo (versión 1)

En esta página se describe cómo crear una configuración que replique datos de un servidor de base de datos de origen en réplicas de MySQL.

El servidor de la base de datos de origen puede ser cualquier servidor MySQL que cumpla todos los requisitos del servidor, incluidas las instancias de Cloud SQL. Las instancias alojadas por otros proveedores de servicios en la nube también pueden servir como fuente de datos, siempre que cumplan los requisitos, incluido el de admitir GTID.

Para obtener información más detallada sobre esta configuración, consulta el artículo Información sobre la replicación desde un servidor externo.

Antes de empezar

Antes de configurar la replicación desde un servidor externo, debes completar los siguientes pasos:

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

• Enable the Cloud SQL Admin API.

  Roles required to enable APIs

  To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

  Enable the API

• Instala y autentica la CLI de gcloud.
• Asegúrate de que tu servidor cumpla los requisitos del servidor de la base de datos de origen.
• Determina el nivel de seguridad que necesitas para las conexiones entre la instancia principal y la réplica, y obtén los archivos de certificado necesarios.
• Decide qué Google Cloud región quieres usar para alojar tu réplica de Cloud SQL.

• Reúne la información necesaria sobre el servidor de la base de datos de origen:

  • Dirección IPv4 externa y número de puerto

    De forma predeterminada, MySQL usa el puerto 3306.

  • Cuenta de usuario y contraseña de replicación de MySQL
  • Número de versión de MySQL
  • Ubicación de todos los certificados y claves SSL/TLS necesarios, en función del nivel de seguridad que hayas seleccionado

• Prepara el cortafuegos de red del servidor de tu base de datos de origen para que acepte conexiones de la réplica de Cloud SQL.

  Este paso debe completarse en un plazo de 30 minutos después de crear la réplica.

• Si no eres propietario del proyecto, debes tener el rol Storage Admin.

Requisitos del servidor de la base de datos de origen

Antes de replicar datos de un servidor externo a una réplica de Cloud SQL, asegúrate de que el servidor de la base de datos de origen cumpla estos requisitos de configuración:

• Ejecutar MySQL Community Edition, versión 5.6 o 5.7.

• Registros binarios habilitados. Más información

• Los registros binarios se conservan el tiempo suficiente para que la réplica complete la importación.

  Por lo general, una semana es suficiente. Más información sobre cómo definir la política de retención de registros binarios

• Usa el registro binario basado en filas. Más información

• GTID habilitado y coherencia de GTID aplicada.

  Más información sobre los GTIDs Consulta la opción para aplicar la coherencia de GTID.

• Todas las tablas (excepto las de las bases de datos del sistema) utilizan el motor de almacenamiento InnoDB.

  Más información sobre InnoDB Consulta más información sobre cómo convertir a InnoDB.

• Cuenta de usuario de MySQL con el privilegio REPLICATION_SLAVE.

  Configura esta cuenta para que acepte conexiones de cualquier origen (host = %). Puedes restringir el acceso a este usuario en un paso posterior. No uses esta cuenta de usuario para ningún otro fin que no sea la replicación.

  Más información sobre los privilegios Más información sobre las cuentas de usuario

• Una dirección IPv4 y un puerto TCP a los que se pueda acceder externamente.

Proceso de configuración

Para configurar la replicación desde un servidor de base de datos externo, sigue estos pasos:

1. Crea un segmento de Cloud Storage para tus datos.
2. Exporta tus datos a Cloud Storage.
3. Configura la replicación.

4. Configura el servidor de la base de datos de origen para que acepte conexiones de la réplica.

5. Restringe el acceso al usuario de replicación de MySQL.

6. Finaliza la configuración de la réplica.

7. Confirma el estado de la replicación.

8. Libera espacio de almacenamiento.

1. Crear un segmento de Cloud Storage para tus datos

Crea un segmento para almacenar temporalmente tus datos durante el proceso de exportación o usa un segmento que ya tengas.

Para obtener más información sobre cómo crear un segmento, consulta Crear segmentos de Storage. Para obtener más información sobre el rol Administrador de almacenamiento, consulta Roles de gestión de identidades y accesos de Cloud Storage.

2. Exportar datos a Cloud Storage

La réplica busca sus datos en Cloud Storage, por lo que debes colocar una copia de los datos del servidor allí. Puedes seguir aceptando operaciones de escritura en tu servidor después de la exportación. Una vez que la réplica termina de importar el archivo de volcado, empieza a procesar todos los cambios que se han producido desde que se hizo la exportación y, finalmente, se pone al día con la principal.

En una máquina que tenga instalada la CLI de gcloud y conectividad de red con tu servidor MySQL, ejecuta el siguiente comando:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

If the source of the migration is a Relational Database Service (RDS) for MySQL,
the master-data flag is not supported and should not be specified.
This command might look like the following example:

mysqldump \
    -h [PRIMARY_INSTANCE_IP] -P [PRIMARY_INSTANCE_PORT] -u [USERNAME] -p \
    --databases [DBS]  \
    --hex-blob  --skip-triggers \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://[BUCKET]/[PATH_TO_DUMP]

Additionally, you should configure RDS instances to retain binlogs for a
a longer period of time.
This command might look like the following example:

// Sets the retention period to one day.
call mysql.rds_set_configuration('binlog retention hours', 24);

Sustituye [PROPERTIES_IN_BRACKETS] por los siguientes valores:

Si ves una advertencia sobre volcados parciales y GTIDs, es normal.

Este comando podría ser similar al siguiente ejemplo:

mysqldump \
    -h 192.0.2.1 -P 3306 -u replicationUser \
    --databases guestbook  \
    --hex-blob  --skip-triggers  --master-data=1  \
    --order-by-primary --no-autocommit \
    --default-character-set=utf8mb4 \
    --single-transaction --set-gtid-purged=on | gzip | \
    gcloud storage cp - gs://export-bucket/hq-primary1.sql.gz

3. Crear la configuración de replicación

Si la réplica usa una IP privada, el servidor de la base de datos de origen debe configurarse para que la réplica pueda acceder a él desde la VPC. Solo se pueden crear réplicas en VPCs privadas mediante la CLI de gcloud y la API Cloud SQL Admin.

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "[SOURCE_REPRESENTATION_NAME]",
         "region": "[REGION]",
         "databaseVersion": "[MYSQL_VERSION]",
         "onPremisesConfiguration": {
             "hostPort": "[SOURCE_SERVER_IP]:[SOURCE_SERVER_PORT]"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "name": "hq-primary1",
         "region": "us-central1",
         "databaseVersion": "MYSQL_5_7",
         "onPremisesConfiguration": {
             "hostPort": "192.0.2.0:3306"
         }
     }' \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "[USERNAME]",
            "password": "[PASSWORD]",
            "dumpFilePath": "gs://[BUCKET]/[PATH_TO_DUMP]",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
     },
     "settings": {
         "tier": "[MACHINE_TYPE]",
         "dataDiskSizeGb": "[DISK_SIZE]"
     },
     "masterInstanceName": "[SOURCE_REPRESENTATION_NAME]",
     "region": "[REGION]",
     "databaseVersion": "[MYSQL_VERSION]",
     "name": "[REPLICA_NAME]"
}

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @[PATH_TO_DATA_FILE] \
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/[PROJECT-ID]/instances

{
    "replicaConfiguration": {
        "mysqlReplicaConfiguration": {
            "username": "replicationUser",
            "password": "486#@%*@",
            "dumpFilePath": "gs://export-bucket/hq-primary1.sql.gz",
            "caCertificate": "[SOURCE_SERVER_CA]",
            "clientCertificate": "[CLIENT_CERT]",
            "clientKey": "[PRIVATE_KEY]"
        }
    },
    "settings": {
        "tier": "db-custom-4-15360",
        "dataDiskSizeGb": "100"
    },
    "masterInstanceName": "hq-primary1",
    "region": "us-central1",
    "databaseVersion": "MYSQL_5_7",
    "name": "hq-primary1-replica1"
}

curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data @./data.json
     -X POST \
     https://www.googleapis.com/sql/v1beta4/projects/MyProject/instances

Cuando la réplica de lectura puede acceder al archivo de volcado, comienza el proceso de importación. La duración del proceso de importación depende del tamaño del archivo de volcado, del tipo de máquina de la réplica y del esquema de la base de datos. Como guía general para hacer una estimación, calcula que la réplica importará entre 25 y 50 GB por hora.

La réplica permanece en el estado PENDING_CREATE hasta que se completa el proceso de importación. Después, cambia al estado RUNNABLE.

4. Configurar el servidor de la base de datos de origen para que acepte conexiones de la réplica

La réplica debe conectarse al servidor de la base de datos de origen para que la replicación se realice correctamente. Si el servidor de la base de datos de origen está protegido por un cortafuegos u otra restricción de red, debe habilitar el acceso a la red para la réplica mediante la dirección IP de la réplica.OUTGOING Ten en cuenta que no es la dirección IP que se muestra en la lista principal de la réplica en la consola de Google Cloud . Puedes obtener la dirección IP OUTGOING colocando el cursor sobre la descripción emergente Más información de la dirección IP o usando el comando gcloud que aparece a continuación.

1. Recupera las direcciones IP de la réplica de lectura:

   gcloud sql instances describe [REPLICA_NAME] --format="default(ipAddresses)"

2. Si es necesario, configura el cortafuegos de red del servidor de tu base de datos de origen para que acepte conexiones de la dirección IP OUTGOING.

3. Confirma que la réplica se ha conectado correctamente al servidor de la base de datos de origen.

   1. El icono de la réplica en la página de lista de instancias ya no gira y es de color verde.

   2. Ve al visualizador de registros de la Google Cloud consola.

      Ir al visualizador de registros

   3. Seleccione la réplica en el menú desplegable Instancia.

   4. Selecciona el archivo de registro replication-setup.log.

      Si la réplica no puede conectarse al servidor de la base de datos de origen, confirma los siguientes elementos:

      • El cortafuegos del servidor de la base de datos de origen está configurado para permitir las conexiones desde la dirección IP OUTGOING de la réplica.
      • La configuración de SSL/TLS es correcta.
      • El usuario, el host y la contraseña de la réplica son correctos.

5. Restringir el acceso al usuario de replicación de MySQL

Este paso es opcional, pero se recomienda por motivos de seguridad.

El usuario de replicación de MySQL del servidor de base de datos de origen está configurado para aceptar conexiones de cualquier host (%). Actualiza esa cuenta de usuario para que solo acepte conexiones de la dirección IP OUTGOING de la réplica:

    UPDATE mysql.user SET Host='[OUTGOING_IP]' WHERE Host='%' AND User='[USERNAME]';
    FLUSH PRIVILEGES;

6. Finalizar la configuración de la réplica

1. Configura una cuenta de usuario en la réplica.

   Para ello, puedes usar la Google Cloud consola, la herramienta de la CLI de gcloud o la API de Cloud SQL. Sin embargo, no puedes usar el cliente mysql. Para obtener más información sobre los usuarios de MySQL, consulta el artículo Usuarios de MySQL.

   Para crear un usuario con la consola Google Cloud , sigue estos pasos:

   1. Ve a la página Instancias de Cloud SQL de la Google Cloud consola.
      Ve a la página Instancias de Cloud SQL
   2. Haz clic en el nombre de la instancia para abrir la página de detalles de instancia.
   3. Selecciona la pestaña Usuarios.
   4. Haz clic en Crear cuenta de usuario.
   5. En el cuadro de diálogo Crear cuenta de usuario, especifica los detalles del usuario.
   6. Haz clic en Crear.

2. Autoriza el acceso a la réplica desde cualquier cliente que quieras usar para conectarte a la réplica mediante direcciones IP públicas.

   Para obtener instrucciones, consulta Añadir una dirección o un intervalo de direcciones autorizados. Para conectarte a la réplica, usa la dirección IP PRIMARY de la réplica. Esta dirección IP se muestra en la consola Google Cloud .

   De lo contrario, puedes usar cualquier otro método de conexión para conectarte a la réplica.

7. Confirmar el estado de la replicación

Cuando la réplica termina de importar el archivo de volcado, se conecta al servidor local y aplica todas las actualizaciones que se hayan realizado después de que se creara la exportación.

Es importante comprobar el estado de la réplica antes de convertirla en una instancia independiente. Si el proceso de replicación no se completa correctamente, una réplica ascendida no tendrá todos los cambios de tu instancia externa.

8. (Opcional) Promocionar la réplica a una instancia independiente

Después de comprobar el estado de la replicación, si quieres sustituir por completo (migrar) el servidor de la base de datos de origen por Cloud SQL, convierte la réplica en una instancia principal independiente. Una vez que la réplica se convierte en la instancia principal, ya no está conectada al servidor de la base de datos de origen.

Crea una réplica para la nueva instancia principal y reinicia las aplicaciones conectadas para que apunten a la nueva instancia principal (para las operaciones de escritura) o a la nueva réplica (para las operaciones de lectura).

9. Liberar espacio de almacenamiento

1. Elimina el archivo de exportación:

   gcloud storage rm gs://[BUCKET]/[PATH_TO_DUMP]
   

2. Si ya no necesitas el contenedor, elimínalo:

   gcloud storage rm gs://[BUCKET] --recursive
   

Para obtener más información, consulta la documentación de Cloud Storage sobre cómo eliminar objetos y cómo eliminar contenedores.

Actualizar la configuración

Para actualizar los ajustes de configuración más adelante, puedes editar la instancia de representación de la fuente. Si necesitas actualizar los ajustes de configuración locales, ten en cuenta que no se pueden actualizar hostPort ni type.

Siguientes pasos

• Consulta cómo actualizar una instancia.
• Consulta información sobre cómo gestionar réplicas.