Procesar datos con plantillas

Dataplex Universal Catalog proporciona plantillas basadas en Dataflow para realizar tareas de procesamiento de datos habituales, como la ingestión y el procesamiento de datos, así como la gestión del ciclo de vida de los datos. En esta guía se describe cómo configurar y ejecutar plantillas de procesamiento de datos.

Antes de empezar

Las plantillas de Dataplex Universal Catalog se basan en Dataflow. Antes de usar plantillas, habilita las APIs de Dataflow.

Habilitar las APIs de Dataflow

Ten en cuenta lo siguiente:

• Todas las plantillas admiten opciones de flujo de procesamiento de Dataflow comunes.

• Dataplex Universal Catalog usa pipelines de datos para programar las tareas definidas por las plantillas.

• Solo puedes ver las tareas que programes a través de Dataplex Universal Catalog en la Google Cloud consola, en la página Dataplex Universal Catalog.

Plantilla: convertir datos sin procesar en datos seleccionados

La plantilla de conversión de formato de archivo de Dataplex Universal Catalog convierte datos de un recurso de Cloud Storage de Dataplex Universal Catalog o de una lista de entidades de Dataplex Universal Catalog almacenadas en formato CSV o JSON a datos en formato Parquet o Avro en otro recurso de Dataplex Universal Catalog. El diseño de la partición se conserva en la conversión. También admite la compresión de los archivos de salida.

Parámetros de plantilla

Ejecutar la plantilla

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview \
--parameters \
inputAssetOrEntitiesList=INPUT_ASSET_OR_ENTITIES_LIST,\
outputFileFormat=OUTPUT_FILE_FORMAT,\
outputAsset=OUTPUT_ASSET

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex Universal Catalog output asset ID

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
  "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "inputAssetOrEntitiesList": "INPUT_ASSET_OR_ENTITIES_LIST",
        "outputFileFormat": "OUTPUT_FILE_FORMAT",
        "outputAsset": "OUTPUT_ASSET",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview",
 }
}

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex Universal Catalog output asset ID

Plantilla: estratificar datos de un recurso de BigQuery a un recurso de Cloud Storage

La plantilla de Dataplex Universal Catalog de BigQuery a Cloud Storage copia datos de un recurso de BigQuery de Dataplex Universal Catalog a un recurso de Cloud Storage de Dataplex Universal Catalog con un diseño y un formato compatibles con Dataplex Universal Catalog. Puede especificar un conjunto de datos de BigQuery o una lista de tablas de BigQuery que se van a copiar. Para ofrecer más flexibilidad, la plantilla permite copiar datos anteriores a una fecha de modificación especificada y, opcionalmente, eliminar datos de BigQuery después de una copia correcta.

Al copiar tablas con particiones de BigQuery a Cloud Storage:

• La plantilla crea particiones de estilo Hive en el segmento de Cloud Storage. BigQuery no puede tener la misma clave de partición de estilo Hive que una columna ya creada. Puede usar la opción enforceSamePartitionKey para crear una clave de partición o mantener la misma clave de partición, pero cambiar el nombre de la columna.
• Dataplex Universal Catalog Discovery registra el tipo de partición como string al crear una tabla de BigQuery (y una tabla en Dataproc Metastore). Esto puede afectar a los filtros de partición que ya tenga.

Hay un límite en el número de tablas y particiones que se pueden transformar en una sola ejecución de plantilla, que es de aproximadamente 300. El número exacto depende de la longitud de los nombres de las tablas y de otros factores.

Parámetros de plantilla

Ejecutar la plantilla

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview \
--parameters \
sourceBigQueryDataset=SOURCE_ASSET_NAME_OR_DATASET_ID,\
destinationStorageBucketAssetName=DESTINATION_ASSET_NAME

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex Universal Catalog asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex Universal Catalog asset name for
the destination Cloud Storage bucket

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
 "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "sourceBigQueryDataset": "SOURCE_ASSET_NAME_OR_DATASET_ID",
        "destinationStorageBucketAssetName": "DESTINATION_ASSET_NAME",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview",
 }
}

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex Universal Catalog asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex Universal Catalog asset name for
the destination Cloud Storage bucket
REGION_NAME: region in which to run the job

Programar otras plantillas de Dataflow proporcionadas por Google Cloudo personalizadas

Dataplex Universal Catalog te permite programar y monitorizar cualquiera de las plantillas de Dataflow proporcionadas porGoogle Cloudo tu plantilla de Dataflow personalizada en la consola.

Programar

Monitorizar