Processar dados usando modelos

O Dataplex Universal Catalog oferece modelos, com tecnologia do Dataflow, para realizar tarefas comuns de processamento de dados, como ingestão de dados, tratamento e gerenciamento do ciclo de vida dos dados. Neste guia, descrevemos como configurar e executar modelos de processamento de dados.

Antes de começar

Os modelos do Dataplex Universal Catalog são desenvolvidos pelo Dataflow. Antes de usar modelos, ative as APIs Dataflow.

Ative as APIs Dataflow

Observe o seguinte:

• Todos os modelos são compatíveis com as opções de pipeline do Dataflow comuns.

• O Dataplex Universal Catalog usa pipelines de dados para programar as tarefas definidas pelos modelos.

• Só é possível ver as tarefas programadas pelo Dataplex Universal Catalog no console Google Cloud na página Dataplex Universal Catalog.

Modelo: converter dados brutos em dados selecionados

O modelo de conversão de formato de arquivo do Catálogo Universal do Dataplex converte dados em um recurso do Cloud Storage do Catálogo Universal do Dataplex ou em uma lista de entidades do Catálogo Universal do Dataplex armazenadas em formatos CSV ou JSON para o formato Parquet ou Avro em outro recurso do Catálogo Universal do Dataplex. O layout da partição é preservado na conversão. Ele também é compatível com a compactação dos arquivos de saída.

Parâmetros do modelo

Executar o modelo

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview \
--parameters \
inputAssetOrEntitiesList=INPUT_ASSET_OR_ENTITIES_LIST,\
outputFileFormat=OUTPUT_FILE_FORMAT,\
outputAsset=OUTPUT_ASSET

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex Universal Catalog output asset ID

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
  "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "inputAssetOrEntitiesList": "INPUT_ASSET_OR_ENTITIES_LIST",
        "outputFileFormat": "OUTPUT_FILE_FORMAT",
        "outputAsset": "OUTPUT_ASSET",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview",
 }
}

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers
OUTPUT_FILE_FORMAT: your output file format in Cloud Storage
OUTPUT_ASSET: your Dataplex Universal Catalog output asset ID

Modelo: migrar dados de um recurso do BigQuery para um recurso do Cloud Storage

O modelo do Dataplex Universal Catalog BigQuery para Cloud Storage copia dados de um recurso do Dataplex Universal Catalog BigQuery para um recurso do Dataplex Universal Catalog Cloud Storage em um layout e formato compatíveis com o Dataplex Universal Catalog. É possível especificar um conjunto de dados do BigQuery ou uma lista de tabelas do BigQuery a serem copiadas. Para mais flexibilidade, o modelo permite copiar dados mais antigos que uma data de modificação especificada e excluir dados do BigQuery após uma cópia bem-sucedida.

Ao copiar tabelas particionadas do BigQuery para o Cloud Storage:

• O modelo cria partições no estilo Hive no bucket do Cloud Storage. O BigQuery não pode ter a chave de partição no estilo Hive igual a uma coluna existente. Use a opção enforceSamePartitionKey para criar uma nova chave de partição ou manter a mesma chave, mas renomear a coluna atual.
• A descoberta do Catálogo Universal do Dataplex registra o tipo de partição como string ao criar uma tabela do BigQuery (e uma tabela no metastore do Dataproc). Isso pode afetar seus filtros de partição atuais.

Há um limite de aproximadamente 300 tabelas e partições que podem ser transformadas em uma única execução de modelo. O número exato depende do tamanho dos nomes das tabelas e de outros fatores.

Parâmetros do modelo

Executar o modelo

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview \
--parameters \
sourceBigQueryDataset=SOURCE_ASSET_NAME_OR_DATASET_ID,\
destinationStorageBucketAssetName=DESTINATION_ASSET_NAME

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex Universal Catalog asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex Universal Catalog asset name for
the destination Cloud Storage bucket

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
 "launch_parameter": {
    "jobName": "JOB_NAME",
    "parameters": {
        "sourceBigQueryDataset": "SOURCE_ASSET_NAME_OR_DATASET_ID",
        "destinationStorageBucketAssetName": "DESTINATION_ASSET_NAME",
    },
    "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview",
 }
}

PROJECT_ID: your template project ID
REGION_NAME: region in which to run the job
JOB_NAME: a job name of your choice
SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex Universal Catalog asset
name for the source BigQuery dataset, or the dataset ID
DESTINATION_ASSET_NAME: your Dataplex Universal Catalog asset name for
the destination Cloud Storage bucket
REGION_NAME: region in which to run the job

Programar outros modelos do Dataflow personalizados ou fornecidos pelo Google Cloud

Com o Dataplex Universal Catalog, é possível programar e monitorar qualquer um dos modelos do Dataflow fornecidos pelo Google Cloudou seu modelo personalizado do Dataflow no console.

Programar

Monitoramento