Procesa datos con plantillas

Dataplex Universal Catalog proporciona plantillas, con tecnología de Dataflow, para realizar tareas comunes de procesamiento de datos, como la transferencia, el procesamiento y la administración del ciclo de vida de los datos. En esta guía, se describe cómo configurar y ejecutar plantillas de procesamiento de datos.

Antes de comenzar

Las plantillas de Dataplex Universal Catalog están potenciadas por Dataflow. Antes de usar plantillas, habilita las APIs de Dataflow.

Habilita las APIs de Dataflow

Ten en cuenta lo siguiente:

• Todas las plantillas admiten las opciones de canalización de Dataflow comunes.

• Dataplex Universal Catalog usa canalizaciones de datos para programar las tareas definidas por las plantillas.

• Solo puedes ver las tareas que programas a través de Dataplex Universal Catalog en la consola de la página Dataplex Universal Catalog. Google Cloud

Plantilla: Convierte datos sin procesar en datos seleccionados

La plantilla de conversión de formato de archivo de Dataplex Universal Catalog convierte los datos de un recurso de Cloud Storage de Dataplex Universal Catalog o de una lista de entidades de Dataplex Universal Catalog almacenadas en formatos CSV o JSON a datos en formato Parquet o Avro en otro recurso de Dataplex Universal Catalog. El diseño de la partición se conserva en la conversión. También admite la compresión de los archivos de salida.

Parámetros de la plantilla

Ejecuta la plantilla

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview \
--parameters \
inputAssetOrEntitiesList=INPUT_ASSET_OR_ENTITIES_LIST,\
outputFileFormat=OUTPUT_FILE_FORMAT,\
outputAsset=OUTPUT_ASSET

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex Universal Catalog output asset ID

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
  "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "inputAssetOrEntitiesList": "INPUT_ASSET_OR_ENTITIES_LIST",
        "outputFileFormat": "OUTPUT_FILE_FORMAT",
        "outputAsset": "OUTPUT_ASSET",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview",
 }
}

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex Universal Catalog output asset ID

Plantilla: Datos de niveles de un recurso de BigQuery a un recurso de Cloud Storage

La plantilla de Dataplex Universal Catalog de BigQuery a Cloud Storage copia datos de un recurso de BigQuery de Dataplex Universal Catalog a un recurso de Cloud Storage de Dataplex Universal Catalog en un diseño y formato compatibles con Dataplex Universal Catalog. Puedes especificar un conjunto de datos de BigQuery o una lista de tablas de BigQuery para copiarlos. Para mayor flexibilidad, la plantilla permite copiar datos anteriores a una fecha de modificación especificada y, de manera opcional, borrar datos de BigQuery después de una copia exitosa.

Cuando copias tablas particionadas de BigQuery a Cloud Storage, ten en cuenta lo siguiente:

• La plantilla crea particiones de estilo Hive en el bucket de Cloud Storage. BigQuery no puede tener la clave de partición de estilo Hive igual a una columna existente. Puedes usar la opción enforceSamePartitionKey para crear una clave de partición nueva o conservar la misma, pero cambiar el nombre de la columna existente.
• El descubrimiento de Dataplex Universal Catalog registra el tipo de partición como string cuando se crea una tabla de BigQuery (y una tabla en Dataproc Metastore). Esto puede afectar tus filtros de partición existentes.

Existe un límite en la cantidad de tablas y particiones que se pueden transformar en una sola ejecución de la plantilla, que es de aproximadamente 300. La cantidad exacta depende de la longitud de los nombres de las tablas y otros factores.

Parámetros de la plantilla

Ejecuta la plantilla

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview \
--parameters \
sourceBigQueryDataset=SOURCE_ASSET_NAME_OR_DATASET_ID,\
destinationStorageBucketAssetName=DESTINATION_ASSET_NAME

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex Universal Catalog asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex Universal Catalog asset name for
the destination Cloud Storage bucket

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
 "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "sourceBigQueryDataset": "SOURCE_ASSET_NAME_OR_DATASET_ID",
        "destinationStorageBucketAssetName": "DESTINATION_ASSET_NAME",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview",
 }
}

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex Universal Catalog asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex Universal Catalog asset name for
the destination Cloud Storage bucket
REGION_NAME: region in which to run the job

Programa otras plantillas de Dataflow personalizadas o proporcionadas por Google Cloud

Dataplex Universal Catalog te permite programar y supervisar cualquiera de las plantillas de Dataflow proporcionadas porGoogle Cloudo tu plantilla de Dataflow personalizada en la consola.

Programar

Supervisar