Tipos de plug-ins

Esta página explica os tipos de plug-ins que são instalados por padrão quando você cria uma instância do Cloud Data Fusion. Esses plug-ins estão disponíveis no namespace padrão da sua instância e em todos os novos namespaces que você criar. É possível fazer o download de outros plug-ins no Hub.

Os plug-ins têm as seguintes categorias no Cloud Data Fusion. Elas aparecem no painel à esquerda na página Studio do Cloud Data Fusion.

Origem

Os plug-ins de origem se conectam a bancos de dados, arquivos ou streams em tempo real em que o pipeline lê dados. Você configura fontes para um pipeline de dados usando a interface da Web, para que não seja necessário usar código para configurar conexões de baixo nível.

Transformar

Os plug-ins de transformação alteram os dados depois que eles são carregados de uma origem. Para Por exemplo, esses plug-ins podem ser usados para clonar um registro, alterar o formato do arquivo para JSON ou crie uma transformação personalizada usando JavaScript.

Analytics

Os plug-ins do Google Analytics realizam agregações, como mesclar dados de diferentes e executar operações de análise e machine learning.

Coletor

Os plug-ins de coletores gravam dados em recursos, como o Cloud Storage, BigQuery, Spanner, bancos de dados relacionais, sistemas de arquivos e mainframes. É possível consultar os dados gravados no coletor usando o interface da Web do Cloud Data Fusion ou API REST

Condições e ações

Os plug-ins de condição e ação programam ações que ocorrem durante um fluxo de trabalho, mas não manipulam dados diretamente nesse fluxo.

Exemplos de casos de uso:

  • Adicione o plug-in de ação do banco de dados ao pipeline para programar um comando do banco de dados no final dele.
  • Ative uma ação que move arquivos no Cloud Storage adicionando o plug-in de movimentação de arquivos ao seu pipeline.

Alertas e gerenciadores de erros

Quando os estágios do pipeline encontram valores nulos, erros lógicos ou outros erros, os plug-ins de gerenciador de erros os detectam. Use esses plug-ins para encontrar erros em a saída após um plug-in de transformação ou análise no pipeline. É possível escrever os erros em um banco de dados para análise.

A seguir