Elabora i dati utilizzando i modelli

Dataplex Universal Catalog fornisce modelli, basati su Dataflow, per eseguire attività comuni di elaborazione dei dati come l&#39importazione datie, l'elaborazione e la gestione del ciclo di vita dei dati. Questa guida descrive come configurare ed eseguire i modelli di elaborazione dei dati.

Prima di iniziare

I modelli di Dataplex Universal Catalog sono basati su Dataflow. Prima di utilizzare i modelli, abilita le API Dataflow.

Attiva le API Dataflow

Tieni presente quanto segue:

• Tutti i modelli supportano le opzioni della pipeline Dataflow comuni.

• Dataplex Universal Catalog utilizza le pipeline di dati per pianificare le attività definite dai modelli.

• Puoi visualizzare solo le attività pianificate tramite Dataplex Universal Catalog nella console Google Cloud nella pagina Dataplex Universal Catalog.

Modello: Converti i dati non elaborati in dati selezionati

Il modello di conversione del formato file di Dataplex Universal Catalog converte i dati in un asset Cloud Storage di Dataplex Universal Catalog o in un elenco di entità Dataplex Universal Catalog archiviate in formato CSV o JSON in formato Parquet o Avro in un altro asset Dataplex Universal Catalog. Il layout della partizione viene mantenuto nella conversione. Supporta anche la compressione dei file di output.

Parametri del modello

Esegui il modello

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview \
--parameters \
inputAssetOrEntitiesList=INPUT_ASSET_OR_ENTITIES_LIST,\
outputFileFormat=OUTPUT_FILE_FORMAT,\
outputAsset=OUTPUT_ASSET

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex Universal Catalog output asset ID

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
  "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "inputAssetOrEntitiesList": "INPUT_ASSET_OR_ENTITIES_LIST",
        "outputFileFormat": "OUTPUT_FILE_FORMAT",
        "outputAsset": "OUTPUT_ASSET",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview",
 }
}

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex Universal Catalog output asset ID

Modello: livello dei dati da un asset BigQuery a un asset Cloud Storage

Il modello BigQuery to Cloud Storage del Catalogo universale Dataplex copia i dati da un asset BigQuery del Catalogo universale Dataplex a un asset Cloud Storage del Catalogo universale Dataplex in un layout e un formato compatibili con il Catalogo universale Dataplex. Puoi specificare un set di dati BigQuery o un elenco di tabelle BigQuery da copiare. Per una maggiore flessibilità, il modello consente di copiare i dati precedenti a una data di modifica specificata e di eliminare facoltativamente i dati da BigQuery dopo una copia riuscita.

Quando copi tabelle partizionate da BigQuery a Cloud Storage:

• Il modello crea partizioni in stile Hive nel bucket Cloud Storage. La chiave di partizionamento in stile Hive di BigQuery non può essere uguale a una colonna esistente. Puoi utilizzare l'opzione enforceSamePartitionKey per creare una nuova chiave di partizione o mantenere la stessa chiave di partizione, ma rinominare la colonna esistente.
• Dataplex Universal Catalog Discovery registra il tipo di partizione come string durante la creazione di una tabella BigQuery (e di una tabella in Dataproc Metastore). Ciò potrebbe influire sui filtri delle partizioni esistenti.

Esiste un limite al numero di tabelle e partizioni che possono essere trasformate in una singola esecuzione del modello, ovvero circa 300. Il numero esatto dipende dalla lunghezza dei nomi delle tabelle e da altri fattori.

Parametri del modello

Esegui il modello

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview \
--parameters \
sourceBigQueryDataset=SOURCE_ASSET_NAME_OR_DATASET_ID,\
destinationStorageBucketAssetName=DESTINATION_ASSET_NAME

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex Universal Catalog asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex Universal Catalog asset name for
the destination Cloud Storage bucket

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
 "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "sourceBigQueryDataset": "SOURCE_ASSET_NAME_OR_DATASET_ID",
        "destinationStorageBucketAssetName": "DESTINATION_ASSET_NAME",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview",
 }
}

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex Universal Catalog asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex Universal Catalog asset name for
the destination Cloud Storage bucket
REGION_NAME: region in which to run the job

Pianificare altri modelli Dataflow forniti da Google Cloudo personalizzati

Dataplex Universal Catalog consente di pianificare e monitorare qualsiasi modello Dataflow fornito daGoogle Cloudo il tuo modello Dataflow personalizzato nella console.

Pianificazione

Monitoraggio