Plantilla de SequenceFile de Cloud Storage a Bigtable

La plantilla de SequenceFile de Cloud Storage a Bigtable es una canalización que lee datos de archivos SequenceFile de un segmento de Cloud Storage y los escribe en una tabla de Bigtable. Puede usar la plantilla para copiar datos de Cloud Storage en Bigtable.

Requisitos del flujo de procesamiento

  • La tabla de Bigtable debe existir.
  • Los SequenceFiles de entrada deben estar en un segmento de Cloud Storage antes de ejecutar el flujo de procesamiento.
  • Los SequenceFiles de entrada deben haberse exportado desde Bigtable o HBase.

Parámetros de plantilla

Parámetros obligatorios

  • bigtableProject el ID del proyecto de Google Cloud que contiene la instancia de Bigtable en la que quieres escribir datos.
  • bigtableInstanceId el ID de la instancia de Bigtable que contiene la tabla.
  • bigtableTableId el ID de la tabla de Bigtable que se va a importar.
  • sourcePattern patrón de ruta de Cloud Storage a la ubicación de los datos. Por ejemplo, gs://your-bucket/your-path/prefix*.

Parámetros opcionales

  • bigtableAppProfileId ID del perfil de aplicación de Bigtable que se va a usar para la importación. Si no especificas un perfil de aplicación, Bigtable usará el perfil de aplicación predeterminado de la instancia (https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile).
  • mutationThrottleLatencyMs opcional. Define la latencia de limitación de mutaciones (habilita la función). Valor en milisegundos. El valor predeterminado es 0.

Ejecutar la plantilla

Consola

  1. Ve a la página Crear tarea a partir de plantilla de Dataflow.
    2. Ir a Crear tarea a partir de plantilla
  2. En el campo Nombre de la tarea, introduce un nombre único.
  3. Opcional: En Endpoint regional, seleccione un valor en el menú desplegable. La región predeterminada es us-central1.

    Para ver una lista de las regiones en las que puedes ejecutar una tarea de Dataflow, consulta Ubicaciones de Dataflow.

  4. En el menú desplegable Plantilla de flujo de datos, seleccione the SequenceFile Files on Cloud Storage to Cloud Bigtable template.
  5. En los campos de parámetros proporcionados, introduzca los valores de los parámetros.
  6. Haz clic en Ejecutar trabajo.

gcloud

En tu shell o terminal, ejecuta la plantilla:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_SequenceFile_to_Cloud_Bigtable \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
sourcePattern=SOURCE_PATTERN

Haz los cambios siguientes:

  • JOB_NAME: un nombre de trabajo único que elijas
  • VERSION: la versión de la plantilla que quieres usar

    Puedes usar los siguientes valores:

    • latest para usar la última versión de la plantilla, que está disponible en la carpeta principal sin fecha del contenedor: gs://dataflow-templates-REGION_NAME/latest/
    • el nombre de la versión, como 2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se encuentra anidada en la carpeta principal correspondiente con la fecha en el bucket: gs://dataflow-templates-REGION_NAME/
  • REGION_NAME: la región en la que quieras desplegar tu trabajo de Dataflow. Por ejemplo, us-central1
  • BIGTABLE_PROJECT_ID: el ID del Google Cloud proyecto de la instancia de Bigtable de la que quieres leer datos.
  • INSTANCE_ID: el ID de la instancia de Bigtable que contiene la tabla.
  • TABLE_ID: el ID de la tabla de Bigtable que se va a exportar.
  • APPLICATION_PROFILE_ID: el ID del perfil de aplicación de Bigtable que se usará para la exportación.
  • SOURCE_PATTERN: patrón de ruta de Cloud Storage en el que se encuentran los datos. Por ejemplo, gs://mybucket/somefolder/prefix*.

API

Para ejecutar la plantilla mediante la API REST, envía una solicitud HTTP POST. Para obtener más información sobre la API y sus ámbitos de autorización, consulta projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_SequenceFile_to_Cloud_Bigtable
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "sourcePattern": "SOURCE_PATTERN",
   },
   "environment": { "zone": "us-central1-f" }
}

Haz los cambios siguientes:

  • PROJECT_ID: el ID del proyecto Google Cloud en el que quieres ejecutar la tarea de Dataflow
  • JOB_NAME: un nombre de trabajo único que elijas
  • VERSION: la versión de la plantilla que quieres usar

    Puedes usar los siguientes valores:

    • latest para usar la última versión de la plantilla, que está disponible en la carpeta principal sin fecha del contenedor: gs://dataflow-templates-REGION_NAME/latest/
    • el nombre de la versión, como 2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se encuentra anidada en la carpeta principal correspondiente con la fecha en el bucket: gs://dataflow-templates-REGION_NAME/
  • LOCATION: la región en la que quieras desplegar tu trabajo de Dataflow. Por ejemplo, us-central1
  • BIGTABLE_PROJECT_ID: el ID del Google Cloud proyecto de la instancia de Bigtable de la que quieres leer datos.
  • INSTANCE_ID: el ID de la instancia de Bigtable que contiene la tabla.
  • TABLE_ID: el ID de la tabla de Bigtable que se va a exportar.
  • APPLICATION_PROFILE_ID: el ID del perfil de aplicación de Bigtable que se usará para la exportación.
  • SOURCE_PATTERN: patrón de ruta de Cloud Storage en el que se encuentran los datos. Por ejemplo, gs://mybucket/somefolder/prefix*.

Siguientes pasos