Usar las API de DataStream

Configura variables de entorno

En este procedimiento, establecerás las siguientes variables:

• $PROJECT: Esta variable está asociada a tu proyecto de Google Cloud. Todos los recursos de Google Cloud que asignas y usas deben pertenecer a un proyecto.
• $TOKEN: Esta variable está asociada con un token de acceso. El token de acceso proporciona una sesión que Cloud Shell usa para realizar tareas en Datastream con las APIs de REST.

1. Inicia tu aplicación de Cloud Shell.

2. Después de autenticarte en la aplicación con tu Cuenta de Google, ingresa gcloud auth login.

3. En el mensaje Do you want to continue (Y/n)?, ingresa Y.

4. Abre un navegador web y copia la URL en el navegador.

5. Autentícate en el SDK de Google Cloud con tu Cuenta de Google. Aparecerá un código en la página Acceder. Este código es tu token de acceso.

6. Copia el token de acceso, pégalo en el parámetro Enter verification code: en tu aplicación de Cloud Shell y presiona Enter.

7. Cuando se te solicite, ingresa PROJECT="YOUR_PROJECT_NAME" para establecer tu proyecto de Google Cloud como la variable de entorno $PROJECT.

8. Cuando se te solicite, ingresa gcloud config set project YOUR_PROJECT_NAME para establecer tu proyecto de Google Cloud como el proyecto en el que deseas trabajar.

   El símbolo del sistema se actualiza para reflejar el proyecto activo y respeta este formato: USERNAME@cloudshell:~ (YOUR_PROJECT_NAME)$.

9. Cuando se te solicite, ingresa TOKEN=$(gcloud auth print-access-token) para recuperar el token de acceso y almacenarlo como una variable.

10. Cuando se te solicite, ingresa los siguientes comandos para asegurarte de que las variables $PROJECT y $TOKEN estén configuradas de forma correcta:

    • echo $PROJECT
    • echo $TOKEN

Ahora que configuraste tus variables, puedes realizar solicitudes a Datastream para crear y administrar perfiles de conexión y una transmisión.

Crea y administra perfiles de conexión

En esta sección, crearás y administrarás los perfiles de conexión de una base de datos de Oracle de origen y un bucket de Cloud Storage de destino.

Cuando creas estos perfiles de conexión, creas registros que contienen información sobre la base de datos de origen y el bucket de Cloud Storage de destino. Datastream usa la información de los perfiles de conexión para transferir datos de la base de datos de origen a una carpeta en el bucket de destino.

La creación y administración de perfiles de conexión incluye lo siguiente:

• Crea perfiles de conexión para una base de datos de Oracle de origen y un bucket de destino en Cloud Storage
• Recupera información sobre un perfil de conexión
• Modificar un perfil de conexión
• Realizar una llamada a la API de descubrimiento en el perfil de conexión de origen de Oracle Esta llamada te permite explorar la base de datos para ver los objetos asociados con ella. Estos objetos incluyen los esquemas y las tablas que contienen los datos de la base de datos. Cuando usas Datastream para configurar una transmisión, es posible que no quieras extraer todos los objetos de la base de datos, sino un subconjunto de ellos (por ejemplo, solo ciertas tablas y esquemas de la base de datos). Usa la API de descubrimiento para encontrar (o descubrir) el subconjunto de objetos de base de datos que quieres extraer.

Crea perfiles de conexión

En este procedimiento, crearás dos perfiles de conexión: uno a una base de datos de Oracle de origen y otro a un bucket de destino en Cloud Storage.

1. Crea un perfil de conexión a una base de datos de origen de Oracle. En el mensaje, ingresa el siguiente comando:

ORACLE="{\"displayName\":\"DISPLAY_NAME\",\"oracle_profile\":{\"hostname\":\"HOSTNAME\",\"username\":\"USERNAME\",\"password\":\"PASSWORD\",\"database_service\":\"DATABASE_SERVICE\",\"port\":"PORT_NUMBER\"},\"no_connectivity\":{}}"
  

Usa la siguiente tabla para comprender los valores de los parámetros para la base de datos Oracle de origen:

1. En el mensaje, ingresa el comando echo $ORACLE | jq para ver el perfil de conexión de origen que creaste en texto fácil de leer.

   {
     "displayName": "DISPLAY_NAME",
     "oracle_profile": {
       "hostname": "HOSTNAME",
       "username": "USERNAME",
       "password": "PASSWORD",
       "database_service": "DATABASE_SERVICE",
       "port": PORT_NUMBER
      },
     "no_connectivity": {}
   }

2. Envía el perfil de conexión de Oracle para que se pueda crear. En el mensaje, ingresa el siguiente comando:

   curl -X POST -d $ORACLE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles?connection_profile_id=SOURCE_CONNECTION_PROFILE_ID

   Usa la siguiente tabla para comprender los valores de los parámetros para este comando:

   Valor del parámetro	Reemplazar por
   DATASTREAM_API_VERSION	La versión actual de la API de Datastream (por ejemplo, v1).
   PROJECT_PATH	La ruta de acceso completa de tu proyecto de Google Cloud (por ejemplo, projects/$PROJECT/locations/YOUR_PROJECT_LOCATION).
   SOURCE_CONNECTION_PROFILE_ID	El identificador único reservado para este perfil de conexión (por ejemplo, cp-1).

3. Verifica que veas las siguientes líneas de código:

   {
     "name": "PROJECT_PATH/operations/operation-SOURCE_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "datastream.googleapis.com/DATASREAM_VERSION/PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "verb": "create",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

4. Crea un perfil de conexión a un bucket de destino en Cloud Storage. En el mensaje, ingresa el siguiente comando:

   GOOGLECLOUDSTORAGE="{\"displayName\":\"DISPLAY_NAME\",\"gcs_profile\":{\"bucket_name\":\"BUCKET_NAME\",\"root_path\":\"/FOLDER_PATH\"},\"no_connectivity\":{}}"

   Usa la siguiente tabla para comprender los valores de los parámetros para el bucket de destino:

   Valor del parámetro	Reemplazar por
   DISPLAY_NAME	Es el nombre visible del perfil de conexión al bucket de destino.
   BUCKET_NAME	El nombre del bucket de destino.
   FOLDER_PATH	Es la carpeta del bucket de destino a la que Datastream transferirá los datos de la base de datos de origen (por ejemplo, /root/path).

5. En el mensaje, ingresa el comando echo $GOOGLECLOUDSTORAGE | jq para ver el perfil de conexión de destino que creaste en texto fácil de leer.

   {
     "displayName": "DISPLAY_NAME",
     "gcs_profile": {
       "bucket_name": "BUCKET_NAME",
       "root_path": "/FOLDER_PATH"
     },
     "no_connectivity": {}
   }

6. Envía el perfil de conexión de Cloud Storage para que se pueda crear. En la solicitud, ingresa el siguiente comando:

   curl -X POST -d $GOOGLECLOUDSTORAGE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles?connection_profile_id=DESTINATION_CONNECTION_PROFILE_ID

7. Verifica que veas las siguientes líneas de código:

   {
     "name": "PROJECT_PATH/operations/operation-DESTINATION_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "datastream.googleapis.com/DATASTREAM_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
       "verb": "create",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

8. Confirma que se hayan creado ambos perfiles de conexión. En el mensaje, ingresa el siguiente comando:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles

9. Verifica que se muestren dos resultados para los perfiles de conexión de origen y destino.

   {
     "connectionProfiles": [
       {
         "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
         "createTime": "DATE_AND_TIME_STAMP",
         "updateTime": "DATE_AND_TIME_STAMP",
         "displayName": "DISPLAY_NAME",
         "gcsProfile": {
           "bucketName": "BUCKET_NAME",
           "rootPath": "FOLDER_PATH"
         },
         "noConnectivity": {}
       },
      {
       "name": "PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "createTime": "DATE_AND_TIME_STAMP",
       "updateTime": "DATE_AND_TIME_STAMP",
       "displayName": "DISPLAY_NAME",
       "oracleProfile": {
         "hostname": "HOSTNAME",
         "port": PORT_NUMBER,
         "username": "USERNAME",
         "databaseService": "DATABASE_SERVICE"
       },
       "noConnectivity": {}
       }
     ]
   }

Administrar perfiles de conexión

En este procedimiento, administras los perfiles de conexión que creaste para una base de datos de Oracle de origen y un bucket de destino en Cloud Storage. Incluye lo siguiente:

• Recupera información sobre el perfil de conexión de destino de Cloud Storage
• Modificando este perfil de conexión. En este instructivo, cambiarás la carpeta del bucket de destino de Cloud Storage a /root/tutorial. Datastream transfiere datos de la base de datos de origen a esta carpeta.
• Realiza una llamada a la API de Descubre en el perfil de conexión de origen de Oracle

1. Recupera información sobre el perfil de conexión de Cloud Storage de destino. En el mensaje, ingresa el siguiente comando:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID

2. Verifica que veas información sobre este perfil de conexión.

   {
     "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
     "createTime": "DATE_AND_TIME_STAMP",
     "updateTime": "DATE_AND_TIME_STAMP",
     "displayName": "DISPLAY_NAME",
     "gcsProfile": {
       "bucketName": "BUCKET_NAME",
       "rootPath": "FOLDER_PATH"
     },
     "noConnectivity": {}
   }

3. Modifica este perfil de conexión. Para ello, primero debes establecer una variable UPDATE. Esta variable contiene los valores del perfil de conexión que quieres cambiar. En este instructivo, cambiarás la carpeta del bucket de destino a /root/tutorial.

   Para establecer la variable, en el símbolo del sistema, ingresa el siguiente comando:

   UPDATE="{\"gcsProfile\":{\"rootPath\":\"/root/tutorial\"}}"

4. En el mensaje, ingresa el siguiente comando:

   curl -X PATCH -d $UPDATE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID?update_mask=gcsProfile.rootPath

5. Verifica que veas las siguientes líneas de código:

   {
     "name": "PROJECT_PATH/operations/operation-DESTINATION_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
       "verb": "update",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

6. Confirma que se modificó el perfil de conexión. En la solicitud, ingresa el siguiente comando:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID

7. Verifica que la carpeta del bucket de destino del perfil de conexión de Cloud Storage ahora sea /root/tutorial.

   {
     "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
     "createTime": "DATE_AND_TIME_STAMP",
     "updateTime": "DATE_AND_TIME_STAMP",
     "displayName": "DISPLAY_NAME",
     "gcsProfile": {
       "bucketName": "BUCKET_NAME",
       "rootPath": "/root/tutorial"
     },
     "noConnectivity": {}
   }

8. Usa la API de descubrimiento de Datastream para descubrir los esquemas y las tablas de la base de datos de origen de Oracle. Datastream proporciona acceso a esta base de datos a través del perfil de conexión de origen.

   1. Descubre los esquemas de la base de datos de Oracle. En la solicitud, ingresa el siguiente comando:

      curl -X POST -d "{\"connection_profile_name\":\"projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID\", \"oracle_rdbms\":{\"oracleSchemas\":[{\"schema\":\"ROOT\"}]}}" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles:discover

   2. Verifica que Datastream recupere todos los esquemas de tu base de datos.

   3. Recuperar las tablas de un esquema en tu base de datos En este instructivo, usarás la API de Discover para recuperar las tablas del esquema ROOT. Sin embargo, puedes descubrir las tablas de cualquier esquema en tu base de datos.

      En el mensaje, ingresa el siguiente comando:

   curl -X POST -d "{\"connection_profile_name\":\"projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID\", \"oracle_rdbms\":{\"oracleSchemas\":[{\"schema\":\"ROOT\"}]}}" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles:discover

   1. Verifica que Datastream recupere todas las tablas del esquema que especificaste (para este instructivo, el esquema ROOT).

Ahora que creaste y administraste perfiles de conexión para una base de datos de origen de Oracle y un bucket de destino en Cloud Storage, estás listo para crear y administrar una transmisión en Datastream.

Crea y administra una transmisión

En esta sección, crearás y administrarás una transmisión. Datastream usa esta transmisión para transferir datos, esquemas y tablas de la base de datos de origen a una carpeta en el bucket de Cloud Storage de destino.

La creación y administración de transmisiones incluye lo siguiente:

• Validar una transmisión para garantizar que se ejecute correctamente y que se aprueben todas las verificaciones de validación Estas verificaciones incluyen lo siguiente:
  • Si la fuente está configurada correctamente para permitir que Datastream transmita datos desde ella.
  • Si la transmisión puede conectarse tanto al origen como al destino.
  • Es la configuración de extremo a extremo de la transmisión.
• Crear la transmisión con las siguientes listas:
  • Una lista de entidades permitidas En esta lista, se especifican las tablas y los esquemas de la base de datos de origen que Datastream puede transferir a una carpeta del bucket de destino en Cloud Storage. En este instructivo, esta es la carpeta /root/tutorial.
  • Una lista de entidades rechazadas En esta lista, se especifican las tablas y los esquemas de la base de datos de origen que Datastream no puede transferir a la carpeta del bucket de destino de Cloud Storage.
• Recuperar información sobre la transmisión
• Modificar la transmisión
• Iniciar la transmisión para que Datastream pueda transferir datos, esquemas y tablas desde la base de datos de origen hacia una carpeta en el bucket de Cloud Storage de destino.
• Usar la API de recuperación de errores para detectar cualquier error asociado con la transmisión
• Pausar la transmisión. Cuando se pausa una transmisión, Datastream no extraerá datos nuevos de la base de datos de origen al bucket de destino.
• Se está reanudando la transmisión pausada para que Datastream pueda continuar con la transferencia de datos al bucket de destino.

Crea una transmisión

En este procedimiento, crearás una transmisión desde la base de datos de Oracle de origen a una carpeta en el bucket de Cloud Storage de destino. El flujo que crees incluirá una lista de entidades permitidas y una lista de entidades rechazadas.

1. Configura una variable SCHEMAS. Esta variable define los esquemas que contienen los datos y las tablas que quieres que Datastream recupere de la base de datos de origen y transfiera a la carpeta /root/tutorial del bucket de destino de Cloud Storage. En este instructivo, establecerás la variable SCHEMAS para asociarla con el esquema ROOT.

   En el mensaje, ingresa el siguiente comando:

   SCHEMAS="{\"oracleSchemas\":[{\"schema\":\"ROOT\"}]}"

2. Cuando se te solicite, ingresa el comando echo $SCHEMAS | jq para ver el esquema ROOT que definiste para esta variable en texto fácil de leer.

3. Crea una transmisión. En el mensaje, ingresa el siguiente comando:

   STREAM="{\"display_name\":\"DISPLAY_NAME\",\"source_config\":{\"source_connection_profile_name\":\"PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",\"oracle_source_config\":{\"allowlist\":$SCHEMAS,\"rejectlist\":{}}},\"destination_config\":{\"destination_connection_profile_name\":\"PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID\",\"gcs_destination_config\":{\"file_rotation_mb\":5,\"file_rotation_interval\":{\"seconds\":15},\"avro_file_format\":{}},\"backfill_all\":{}}}"

4. En el mensaje, ingresa el comando echo $STREAM | jq para ver el flujo que creaste en texto fácil de leer.

   {
     "display_name": "DISPLAY_NAME",
     "source_config": {
       "source_connection_profile_name": "PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "oracle_source_config": {
         "allowlist": {
           "oracleSchemas": [
             {
               "schema": "ROOT"
             }
           ]
         },
         "rejectlist": {}
       }
     },
     "destination_config": {
       "destination_connection_profile_name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
       "gcs_destination_config": {
         "file_rotation_mb": 5,
         "file_rotation_interval": {
           "seconds": 15
         },
         "avro_file_format": {}
       }
     },
     "backfill_all": {}
   }

   Usa esta tabla para comprender los siguientes parámetros de la transmisión:

   Parámetro	Descripción
   allowlist	Los esquemas, que contienen tablas y datos, que se transferirán de la base de datos de origen a una carpeta del bucket de destino de Cloud Storage. En este instructivo, todas las tablas y los datos del esquema ROOT (y solo este esquema) se transferirán a la carpeta /root/tutorial del bucket de destino.
   rejectlist	Cualquier esquema, con tablas y datos, que no se transferirá a una carpeta del bucket de destino de Cloud Storage. En este instructivo, el valor {} significa que no se podrá transferir ninguna tabla ni datos de la base de datos de origen al bucket de destino.
   file_rotation_mb	El tamaño (en MBytes) de los archivos que contienen los datos que se transfieren desde la base de datos de origen hacia una carpeta en el bucket de destino de Cloud Storage. En este instructivo, a medida que se recuperan los datos de la base de datos de origen, se escriben en archivos de 5 MB. Si se supera este tamaño, los datos se segmentarán en varios archivos de 5 MB.
   file_rotation_interval	Es la cantidad de segundos que deben transcurrir antes de que Datastream cierre un archivo existente en una carpeta del bucket de destino de Cloud Storage y abra otro archivo para contener los datos que se transfieren desde la base de datos de origen. Para este instructivo, el intervalo de rotación de archivos se establece en 15 segundos.
   avro_file_format	Es el formato de los archivos que Datastream transferirá de la base de datos de origen a una carpeta del bucket de destino de Cloud Storage. En este instructivo, Avro es el formato de archivo.
   backfill_all	Este parámetro está asociado con el reabastecimiento histórico. Si estableces este parámetro en un diccionario vacío ({}), Datastream reabastecerá lo siguiente: Datos históricos, además de cambios continuos en los datos, de la base de datos de origen al destino Esquemas y tablas, de la fuente al destino.

5. Valida la transmisión para asegurarte de que se ejecute correctamente y de que se aprueben todas las verificaciones de validación. En el mensaje, ingresa el siguiente comando:

   curl -X POST -d $STREAM -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" "https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams?stream_id=STREAM_ID&validate_only=true"

6. Verifica que veas la línea de código {}. Esto indica que la transmisión pasó todas las verificaciones de validación y no hay errores asociados con ella.

7. Envía la transmisión para que se pueda crear. En el mensaje, ingresa el siguiente comando:

   curl -X POST -d $STREAM -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams?stream_id=STREAM_ID

8. Verifica que veas las siguientes líneas de código:

   {
     "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/streams/STREAM_ID",
       "verb": "create",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

9. Confirma que se creó la transmisión. En el mensaje, ingresa el siguiente comando:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams

10. Verifica que recibas un resultado para la transmisión que creaste.

    {
      "streams": [
        {
          "name": "PROJECT_PATH/streams/STREAM_ID",
          "createTime": "DATE_AND_TIME_STAMP",
          "updateTime": "DATE_AND_TIME_STAMP",
          "displayName": "DISPLAY_NAME",
          "sourceConfig": {
            "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
            "oracleSourceConfig": {
              "allowlist": {
                "oracleSchemas": [
                  {
                    "schema": "ROOT"
                  }
                ]
              },
              "rejectlist": {}
            }
          },
          "destinationConfig": {
            "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
          "gcsDestinationConfig": {
              "fileRotationMb": 5,
              "fileRotationInterval": "15s"
              "avroFileFormat": {}
            }
          },
          "state": "CREATED",
          "backfillAll": {}
        }
      ]
    }

Administra la transmisión

En este procedimiento, usarás la transmisión que creaste para transferir datos de una base de datos de Oracle de origen a una carpeta en un bucket de destino de Cloud Storage. Incluye lo siguiente:

• Recuperar información sobre la transmisión
• Modificar la transmisión
• Iniciar la transmisión
• Usar la API de recuperación de errores para detectar cualquier error asociado con la transmisión
• Pausar y reanudar la transmisión

1. Recupera información sobre la transmisión. En el mensaje, ingresa el siguiente comando:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

2. Verifica que veas información sobre esta transmisión.

   {
     "name": "PROJECT_PATH/streams/STREAM_ID",
     "createTime": "DATE_AND_TIME_STAMP",
     "updateTime": "DATE_AND_TIME_STAMP",
     "displayName": "DISPLAY_NAME",
     "sourceConfig": {
       "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "oracleSourceConfig": {
         "allowlist": {
           "oracleSchemas": [
             {
               "schema": "ROOT"
             }
           ]
         },
         "rejectlist": {}
        }
       },
       "destinationConfig": {
         "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
         "gcsDestinationConfig": {
           "fileRotationMb": 5,
           "fileRotationInterval": "15s"
           "avroFileFormat": {}
         }
       },
       "state": "CREATED",
       "backfillAll": {}
     }

3. Modificar estas Novedades. Para ello, primero debes establecer una variable UPDATE. Esta variable contiene los valores del flujo que deseas cambiar. Para este instructivo, cambia el tamaño (en MBytes) de los archivos que contienen datos que se transfieren de la base de datos de origen a una carpeta en el bucket de destino de Cloud Storage (de 5 MB a 100 MBytes). A medida que se recuperan los datos de la base de datos de origen, ahora se escriben en archivos de 100 MB. Si algún dato supera este tamaño, se segmentará en varios archivos de 100 MB.

   Para establecer la variable, en el símbolo del sistema, ingresa el siguiente comando:

   UPDATE="{\"destination_config\":{\"gcs_destination_config\":{\"file_rotation_mb\":100}}}"

4. En la solicitud, ingresa el siguiente comando:

   curl -X PATCH -d $UPDATE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID/?update_mask=destination_config.gcs_destination_config.file_rotation_mb

5. Verifica que veas las siguientes líneas de código:

   {
     "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/streams/STREAM_ID",
       "verb": "update",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

6. Confirma que se haya modificado la transmisión. En el mensaje, ingresa el siguiente comando:

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

7. Verifica que el valor del parámetro fileRotationMb para el perfil de conexión de Cloud Storage ahora sea 100.

   {
     "name": "PROJECT_PATH/streams/STREAM_ID",
     "createTime": "DATE_AND_TIME_STAMP",
     "updateTime": "DATE_AND_TIME_STAMP",
     "displayName": "DISPLAY_NAME",
     "sourceConfig": {
       "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "oracleSourceConfig": {
         "allowlist": {
           "oracleSchemas": [
             {
               "schema": "ROOT"
             }
           ]
         },
         "rejectlist": {}
        }
       },
       "destinationConfig": {
         "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
         "gcsDestinationConfig": {
           "fileRotationMb": 100,
           "fileRotationInterval": "15s"
           "avroFileFormat": {}
         }
       },
       "state": "CREATED",
       "backfillAll": {}
     }

8. Inicia la transmisión Para ello, deberás hacer lo siguiente:

   1. Cambia la variable UPDATE. En el mensaje, ingresa el siguiente comando:

      UPDATE="{\"state\":\"RUNNING\"}"

   2. Luego, ingresa el siguiente comando:

      curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID?updateMask=state

9. Verifica que veas las siguientes líneas de código.

   {
     "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "PROJECT_PATH/streams/STREAM_ID",
       "verb": "start",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

10. Después de unos minutos, recupera información sobre la transmisión para confirmar que se inició:

    curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

11. Verifica que el estado de la transmisión haya cambiado de CREATED a RUNNING.

    {
      "name": "PROJECT_PATH/streams/STREAM_ID",
      "createTime": "DATE_AND_TIME_STAMP",
      "updateTime": "DATE_AND_TIME_STAMP",
      "displayName": "DISPLAY_NAME",
      "sourceConfig": {
        "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
        "oracleSourceConfig": {
          "allowlist": {
            "oracleSchemas": [
              {
                "schema": "ROOT"
              }
            ]
          },
          "rejectlist": {}
        }
      },
      "destinationConfig": {
        "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
        "gcsDestinationConfig": {
          "fileRotationMb": 100,
          "fileRotationInterval": "15s"
          "avroFileFormat": {}
        }
      },
      "state": "RUNNING",
      "backfillAll": {}
    }

12. Usar la API de Fetch Errors para recuperar cualquier error asociado con la transmisión.

    1. En la solicitud, ingresa el siguiente comando:

       curl -X POST -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID:fetchErrors

    2. Verifica que veas las siguientes líneas de código:

         {
           "name": "PROJECT_PATH/operations/operation-FETCH_ERRORS_OPERATION_ID",
           "metadata": {
             "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
             "createTime": "DATE_AND_TIME_STAMP",
             "target": "PROJECT_PATH/streams/STREAM_ID",
             "verb": "fetchErrors",
             "requestedCancellation": false,
             "apiVersion": "DATASTREAM_API_VERSION"
           },
           "done": false
         }
         

    3. En el mensaje, ingresa el siguiente comando:

       curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/operations/operation-FETCH_ERRORS_OPERATION_ID

    4. Verifica que veas las siguientes líneas de código:

         {
           "name": "PROJECT_PATH/operations/operation-FETCH_ERRORS_OPERATION_ID",
           "metadata": {
             "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
             "createTime": "DATE_AND_TIME_STAMP",
             "endTime": "DATE_AND_TIME_STAMP",
             "target": "PROJECT_PATH/streams/STREAM_ID",
             "verb": "fetchErrors",
             "requestedCancellation": false,
             "apiVersion": "DATASTREAM_API_VERSION"
           },
           "done": true,
           "response": {
             "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.FetchErrorsResponse"
           }
         }
         

13. Pausa la transmisión Para ello, deberás hacer lo siguiente:

    1. Cambia la variable UPDATE. En el mensaje, ingresa el siguiente comando:

       UPDATE="{\"state\":\"PAUSED\"}"

    2. Luego, ingresa el siguiente comando:

       curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID?updateMask=state

14. Verifica que veas las siguientes líneas de código.

    {
      "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
      "metadata": {
        "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
        "createTime": "DATE_AND_TIME_STAMP",
        "target": "PROJECT_PATH/streams/STREAM_ID",
        "verb": "start",
        "requestedCancellation": false,
        "apiVersion": "DATASTREAM_API_VERSION"
      },
      "done": false
    }

15. Recupera información sobre la transmisión para confirmar que está detenida.

    curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

16. Verifica que el estado de la transmisión haya cambiado de RUNNING a PAUSED.

    {
      "name": "PROJECT_PATH/streams/STREAM_ID",
      "createTime": "DATE_AND_TIME_STAMP",
      "updateTime": "DATE_AND_TIME_STAMP",
      "displayName": "DISPLAY_NAME",
      "sourceConfig": {
        "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
        "oracleSourceConfig": {
          "allowlist": {
            "oracleSchemas": [
              {
                "schema": "ROOT"
              }
            ]
          },
          "rejectlist": {}
        }
      },
      "destinationConfig": {
        "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
        "gcsDestinationConfig": {
          "fileRotationMb": 100,
          "fileRotationInterval": "15s"
          "avroFileFormat": {}
        }
      },
      "state": "PAUSED",
      "backfillAll": {}
    }

17. Reanuda la transmisión pausada. Para ello, deberás hacer lo siguiente:

    1. Cambia la variable UPDATE. En el mensaje, ingresa el siguiente comando:

       UPDATE="{\"state\":\"RUNNING\"}"

    2. Luego, ingresa el siguiente comando:

       curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID?updateMask=state

18. Verifica que veas las siguientes líneas de código.

    {
      "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
      "metadata": {
        "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
        "createTime": "DATE_AND_TIME_STAMP",
        "target": "PROJECT_PATH/streams/STREAM_ID",
        "verb": "start",
        "requestedCancellation": false,
        "apiVersion": "DATASTREAM_API_VERSION"
      },
      "done": false
    }

19. Después de unos segundos, recupera información sobre la transmisión para confirmar que se esté ejecutando de nuevo.

    curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

20. Verifica que el estado de la transmisión haya cambiado de PAUSED a RUNNING.

    {
      "name": "PROJECT_PATH/streams/STREAM_ID",
      "createTime": "DATE_AND_TIME_STAMP",
      "updateTime": "DATE_AND_TIME_STAMP",
      "displayName": "DISPLAY_NAME",
      "sourceConfig": {
        "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
        "oracleSourceConfig": {
          "allowlist": {
            "oracleSchemas": [
              {
                "schema": "ROOT"
              }
            ]
          },
          "rejectlist": {}
        }
      },
      "destinationConfig": {
        "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
        "gcsDestinationConfig": {
          "fileRotationMb": 100,
          "fileRotationInterval": "15s"
          "avroFileFormat": {}
        }
      },
      "state": "RUNNING",
      "backfillAll": {}
    }

Ahora que creó y administró una transmisión, confirmó que no hay errores asociados y que el estado de la transmisión es RUNNING, está listo para verificar que pueda transferir datos de la base de datos de origen a una en el bucket de destino de Cloud Storage.

Cómo verificar la transmisión

En este procedimiento, debes confirmar que Datastream realice las siguientes acciones:

• Transfiere los datos de todas las tablas asociadas con el esquema ROOT de la base de datos fuente de Oracle a la carpeta /root/tutorial en el bucket de destino de Cloud Storage.
• Traduce los datos al formato de archivo Avro.

1. Ve a la página Navegador de Storage en Cloud Storage.

   Ir a la página del navegador de Storage

2. Haz clic en el vínculo que contiene tu bucket.

3. Si la pestaña OBJETOS no está activa, haz clic en ella.

4. Haz clic en la carpeta root y, luego, en la carpeta tutorial.

5. Verifica que veas carpetas que representen tablas del esquema ROOT de tu base de datos de Oracle de origen.

6. Haz clic en una de las carpetas de la tabla y desglósala hasta que vea los datos asociados con ella.

7. Haga clic en un archivo que represente los datos y, luego, en DESCARGAR.

8. Abre este archivo en una herramienta Avro (por ejemplo, Avro Viewer) para asegurarte de que el contenido sea legible. Esto confirma que Datastream también tradujo los datos al formato de archivo Avro.