Plantilla de Bigtable a JSON

La plantilla de Bigtable a JSON es una canalización que lee datos de una tabla de Bigtable para luego escribirlos en un bucket de Cloud Storage en formato JSON.

Requisitos de la canalización

  • La tabla de Bigtable debe existir.
  • El resultado del bucket de Cloud Storage de salida debe existir antes de ejecutar la canalización.

Parámetros de la plantilla

Parámetros obligatorios

  • bigtableProjectId: El ID del proyecto de Google Cloud, el cual contiene la instancia de Bigtable de la que deseas leer datos.
  • bigtableInstanceId: El ID de la instancia de Bigtable que contiene la tabla.
  • bigtableTableId: El ID de la tabla de Bigtable desde la cual leer.
  • filenamePrefix: el prefijo del nombre del archivo JSON. Por ejemplo, “table1-”. Si no se proporciona ningún valor, el valor predeterminado es part.

Parámetros opcionales

  • outputDirectory: La ruta de acceso de Cloud Storage en la que se almacenan los archivos JSON de salida. (Ejemplo: gs://your-bucket/your-path/).
  • userOption: Los valores posibles son FLATTEN o NONE. FLATTEN acopla la fila al nivel único. NONE almacena toda la fila como una cadena JSON. La configuración predeterminada es NONE.
  • columnsAliases: Una lista de columnas separadas por comas que se requieren para el índice de búsqueda del vector de Vertex AI. Las columnas id y embedding son obligatorias para la búsqueda de vectores de Vertex AI. Puedes usar la notación fromfamily:fromcolumn;to. Por ejemplo, si las columnas son rowkey y cf:my_embedding, especifica cf:my_embedding;embedding y rowkey;id donde rowkey tiene un nombre diferente al de la columna de incorporación. Solo usa esta opción cuando el valor de userOption sea FLATTEN.
  • bigtableAppProfileId: el ID del perfil de la aplicación de Bigtable que se usará para la exportación. Si no especificas un perfil de aplicación, Bigtable usa el perfil de aplicación predeterminado de la instancia https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile.

Ejecuta la plantilla

Console

  1. Ve a la página Crear un trabajo a partir de una plantilla de Dataflow.
  2. Ir a Crear un trabajo a partir de una plantilla
  3. En el campo Nombre del trabajo, ingresa un nombre de trabajo único.
  4. Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es us-central1.

    Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.

  5. En el menú desplegable Plantilla de Dataflow, selecciona the Bigtable to JSON template.
  6. En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
  7. Haz clic en Ejecutar trabajo.

CLI de gcloud

En tu shell o terminal, ejecuta la plantilla:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_Json \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --parameters \
       bigtableProjectId=BIGTABLE_PROJECT_ID,\
       bigtableInstanceId=BIGTABLE_INSTANCE_ID,\
       bigtableTableId=BIGTABLE_TABLE_ID,\
       filenamePrefix=FILENAME_PREFIX,\

Reemplaza lo siguiente:

  • JOB_NAME: Es el nombre del trabajo que elijas
  • VERSION: Es la versión de la plantilla que deseas usar.

    Puedes usar los siguientes valores:

    • latest para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/
    • el nombre de la versión, como 2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
  • REGION_NAME: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo, us-central1
  • BIGTABLE_PROJECT_ID: el ID del proyecto
  • BIGTABLE_INSTANCE_ID: El ID de la instancia
  • BIGTABLE_TABLE_ID: El ID de la tabla
  • FILENAME_PREFIX: El prefijo del archivo JSON

API

Para ejecutar la plantilla con la API de REST, envía una solicitud POST HTTP. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_Json
{
   "jobName": "JOB_NAME",
   "parameters": {
     "bigtableProjectId": "BIGTABLE_PROJECT_ID",
     "bigtableInstanceId": "BIGTABLE_INSTANCE_ID",
     "bigtableTableId": "BIGTABLE_TABLE_ID",
     "filenamePrefix": "FILENAME_PREFIX",
   },
   "environment": { "maxWorkers": "10" }
}

Reemplaza lo siguiente:

  • PROJECT_ID: El ID del proyecto de Google Cloud en el que deseas ejecutar el trabajo de Dataflow.
  • JOB_NAME: Es el nombre del trabajo que elijas
  • VERSION: Es la versión de la plantilla que deseas usar.

    Puedes usar los siguientes valores:

    • latest para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/
    • el nombre de la versión, como 2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
  • LOCATION: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo, us-central1
  • BIGTABLE_PROJECT_ID: el ID del proyecto
  • BIGTABLE_INSTANCE_ID: El ID de la instancia
  • BIGTABLE_TABLE_ID: El ID de la tabla
  • FILENAME_PREFIX: El prefijo del archivo JSON

¿Qué sigue?