Referência do plug-in do Cloud Data Fusion

Veja todos os plug-ins disponíveis para produtos do Google Cloud, incluindo o Cloud Storage, o BigQuery, o Cloud Bigtable, o Cloud Datastore, o Pub/Sub e o Google Workspace.

BigQuery

Esta fonte lê todo o conteúdo de uma tabela do BigQuery.

Setter de argumentos do BigQuery

Faz leituras em uma tabela do BigQuery para buscar argumentos a serem definidos no pipeline.

Execução do BigQuery

Este plug-in executa uma consulta SQL do BigQuery.

Várias tabelas do BigQuery

Este coletor faz gravações em várias tabelas do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Tabela do BigQuery

Este coletor faz gravações em uma tabela do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Cloud Bigtable

Coletor em lote que grava dados no Cloud Bigtable.

Cloud Bigtable

Esta fonte lê dados do Cloud Bigtable.

Coletor do Dataplex

Ingestão de dados para qualquer um dos recursos compatíveis com o Dataplex.

Fonte do Dataplex

Lê dados de entidades (tabelas) do Dataplex que residem em recursos do Cloud Storage ou do BigQuery.

Datastore

Esta fonte lê dados do Datastore. O Datastore é um banco de dados de documentos NoSQL criado para oferecer escalonamento automático e alto desempenho.

Datastore

Este coletor grava dados no Cloud Datastore. O Datastore é um banco de dados de documentos NoSQL criado para oferecer escalonamento automático e alto desempenho.

Firestore

Faz leituras no Cloud Firestore em pipelines de lote.

Firestore

Plug-in para gravar no Cloud Firestore em pipelines de lote e streaming.

Cloud Storage

Este plug-in de coletor grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Cloud Storage

O plug-in de origem lê objetos de um caminho em um bucket do Cloud Storage.

Definidor de argumentos do Cloud Storage

Faz leituras em um arquivo do Cloud Storage para buscar argumentos a serem definidos no pipeline.

Exclusão do Cloud Storage

Este plug-in exclui objetos em um bucket do Cloud Storage.

Cópia do Cloud Storage

Este plug-in copia objetos de um bucket do Cloud Storage para outro. É possível copiar um único objeto ou um diretório de objetos.

Criação do Cloud Storage

Este plug-in cria objetos em um bucket do Cloud Storage.

Marcador de arquivo concluído do Cloud Storage

Cria um arquivo DONE (ou SUCCESS) vazio no bucket do Cloud Storage fornecido após a conclusão do pipeline (sucesso ou falha) para orquestrar processos dependentes.

Migração do Cloud Storage

Este plug-in move objetos de um bucket do Cloud Storage para outro. É possível mover um único objeto ou um diretório de objetos.

Vários arquivos do Cloud Storage

Este plug-in é usado com a fonte MultiTableDatabase para gravar registros de vários bancos de dados em diretórios separados.

Descriptografia do Cloud DLP

Descriptografa dados sensíveis que foram criptografados anteriormente pelo Cloud Data Loss Prevention (DLP) usando uma transformação de criptografia reversível, como a criptografia com preservação de formato.

Filtro de PII do Cloud DLP

Separa registros sensíveis com base na correspondência com um modelo definido pelo usuário usando as APIs do Cloud Data Loss Prevention (DLP).

Descarte de dados sensíveis do Cloud DLP

Descarta dados de registros sensíveis usando o Cloud Data Loss Prevention (DLP) combinando alguns filtros predefinidos do DLP ou um modelo personalizado definido pelo usuário.

Google Drive

Lê os arquivos do diretório especificado do Google Drive pela API Google Drive.

Google Drive

O plug-in do coletor salva arquivos do pipeline no diretório do Google Drive por meio da API Google Drive.

Planilhas Google

Grava planilhas no diretório especificado do Google Drive.

Planilhas Google

Lê planilhas do diretório especificado do Google Drive.

Pub/Sub

Este coletor grava pipelines de streaming em um tópico do Pub/Sub.

Pub/Sub

Esta fonte faz leituras em uma assinatura do Pub/Sub em tempo real.

Spanner

Este coletor faz gravações em uma tabela do Cloud Spanner.

Spanner

Esta fonte faz leituras em uma tabela do Cloud Spanner.

Speech-to-Text

Este plug-in converte arquivos de áudio em texto usando o Speech-to-Text.

Agregar

Plug-ins para agregar funções como média, contagem, contagem(*), primeiro, último, máximo, mínimo, soma, coleta, incluindo junções de tabelas etc.

Agrupar por

Faz agrupamentos de acordo com um ou mais campos e executa funções de agregação, como média, contagem, contagem(*), primeiro, último, máximo, mínimo, soma e coleta, em cada grupo.

Joiner

Mescla registros de uma ou mais entradas com base em chaves de junção. Compatível com junções internas e externas, seleção e renomeação de campos de saída.

Top-N

Top-N retorna os "n" principais registros do conjunto de entrada com base nos critérios especificados na configuração do plug-in.

Agregação de janelas

Aplica funções de agregação em uma janela de dados.

Alertas

Plug-ins para alertas.

E-mail

Envia um e-mail ao final de uma execução de pipeline.

E-mail do SendGrid

Ação para enviar um e-mail ao final de uma execução de pipeline.

Marcador de arquivo concluído do Cloud Storage

Cria um arquivo DONE (ou SUCCESS) vazio no bucket do Cloud Storage fornecido após a conclusão do pipeline (sucesso ou falha) para orquestrar processos dependentes.

Callback HTTP

Executa uma solicitação HTTP ao final de uma execução de pipeline.

Kafka Alert Publisher

Kafka Alert Publisher, que permite publicar alertas no Kafka como objetos JSON.

MariaDB

Executa uma consulta do MariaDB ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Netezza

Executa uma consulta do Netezza ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Oracle

Executa uma consulta do Oracle ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

PostgreSQL

Executa uma consulta do PostgreSQL ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

SQL Server

Executa uma consulta do SQL Server ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Teradata

Executa uma consulta do Teradata ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

TMS

Publica alertas no sistema de mensagens transacionais (TMS) do CDAP como objetos JSON.

Apache

Plug-ins para o Apache.

Cassandra

Coletor em lote que grava dados no Apache Cassandra.

Cassandra

Fonte em lote que faz leituras no Apache Cassandra.

HBase

Grava registros em uma tabela do HBase com um mapeamento de campo para a chave de linha e todos os outros campos de registro mapeados para qualificadores de coluna.

HBase

Fonte em lote que faz leituras em um grupo de colunas de uma tabela do HBase.

Exportação em massa do Hive

A exportação do Hive usa a consulta selecionada como entrada, executa essa consulta na tabela do Hive e armazenar os resultados no local especificado.

Importação em massa do Hive

Importa dados de um diretório/arquivo para uma tabela do Hive usando a instrução de carregamento do Hive.

HTTP para HDFS

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS.

Kafka Alert Publisher

Kafka Alert Publisher, que permite publicar alertas no Kafka como objetos JSON.

Kafka Consumer

Fonte em lote do Kafka que lê eventos do Apache Kafka em pipelines de lote.

Kafka Consumer

Fonte de streaming do Kafka que lê eventos do Apache Kafka em pipelines de streaming.

Produtor do Kafka

Coletor do Kafka que permite gravar eventos em CSV ou JSON no Kafka.

Kudu

Plug-in do CDAP para ingerir dados no Apache Kudu. O plug-in pode ser configurado para pipelines em lote e em tempo real.

Kudu

Plug-in do CDAP para ler dados da tabela do Apache Kudu.

Programa PySpark

Executa o código Spark fornecido pelo usuário no Python.

Reparticionador

Este plug-in particiona novamente um RDD do Spark.

Scala Spark Compute

Executa no Scala o código Spark fornecido pelo usuário que transforma o RDD em RDD com acesso total a todos os recursos do Spark.

Scala Spark Program

Executa o código Spark fornecido pelo usuário no Scala.

Spark

Executa no Scala o código Spark fornecido pelo usuário que opera em um RDD de entrada ou Dataframe com acesso total a todos os recursos do Spark.

Analisador de registro do servidor da Web

Analisa registros de qualquer fonte de entrada em busca de informações relevantes, como URI, IP, navegador, dispositivo, código de status HTTP e carimbo de data/hora.

APIs

Plug-ins para várias APIs.

Anaplan

Plug-in de origem para carregar dados de um modelo do Anaplan em um pipeline de dados.

Anaplan

Plug-in do coletor para oferecer suporte à importação de dados do CDAP no servidor Anaplan.

Função do Anaplan

Executa uma ação/processo predefinido no modelo fornecido do Anaplan. Este recurso é usado com mais frequência na preparação para a importação e a exportação de dados.

Anúncios no Facebook

Lê dados de anúncios da API Facebook Insights em pipelines de lote.

GitHub

Faz leituras no GitHub em pipelines de lote.

Vários relatórios do Google Ads

Lê todos os relatórios do Google Ads de uma conta do Google Ads em pipelines de lote.

Relatório único do Google Ads

Lê o tipo de relatório especificado das contas do Google Ads em pipelines de lote.

Lote do Google Analytics

Faz leituras no Google Analytics 360 em pipelines de lote.

Streaming do Google Analytics

Faz leituras no Google Analytics 360 em pipelines de streaming.

Google Drive

Lê os arquivos do diretório especificado do Google Drive pela API Google Drive.

Google Drive

O plug-in do coletor salva arquivos do pipeline no diretório do Google Drive por meio da API Google Drive.

Google Search Console

Faz leituras no Google Search Console em pipelines de lote.

Planilhas Google

Grava planilhas no diretório especificado do Google Drive.

Planilhas Google

Lê planilhas do diretório especificado do Google Drive.

HTTP

Lê dados nos formatos JSON, XML, CSV, TSV, TEXT e BLOB de APIs HTTP/HTTPS em pipelines de lote.

HTTP

Plug-in do coletor para enviar as mensagens do pipeline para um endpoint HTTP externo.

Callback HTTP

Executa uma solicitação HTTP ao final de uma execução de pipeline.

Pesquisa HTTP

Uma fonte de streaming que buscará dados de um URL especificada em um determinado intervalo e transmitirá os resultados ao próximo plug-in.

Transmissão HTTP

Lê dados nos formatos JSON, XML, CSV, TSV, TEXT e BLOB de APIs HTTP/HTTPS em pipelines de streaming.

HTTP para HDFS

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS.

HubSpot

Plug-in para gravar dados no HubSpot CRM em pipelines de lote e streaming.

HubSpot

Lê dados do HubSpot CRM em pipelines de streaming.

HubSpot

Lê dados do HubSpot CRM em pipelines de lote.

Salesforce

Esta fonte lê em lote sObjects como oportunidades, contatos, contas, leads, objetos personalizados etc. do Salesforce.

Salesforce

Esta fonte acompanha atualizações em sObjects do Salesforce. Exemplos de sObjects são oportunidades, contatos, contas, leads, objetos personalizados etc.

Salesforce

Um coletor em lote que insere sObjects, como oportunidades, contatos, contas, leads, objetos personalizados etc., no Salesforce.

Salesforce Marketing Cloud

Esta fonte acompanha atualizações em sObjects do Salesforce, como oportunidades, contatos, contas, leads, objetos personalizados etc.

Salesforce Marketing Cloud

Este coletor insere registros em uma extensão de dados do Salesforce Marketing Cloud (SFMC) por meio da integração de servidor para servidor com a API SFMC.

Vários objetos do Salesforce

Esta fonte lê vários sObjects do Salesforce. Use com vários coletores.

ServiceNow

Faz leituras em uma ou várias tabelas no ServiceNow.

Speech-to-Text

Este plug-in converte arquivos de áudio em texto usando o Speech-to-Text.

Splunk

Faz leituras no Splunk em pipelines de streaming.

Splunk

Faz leituras no Splunk em pipelines de lote.

Zendesk

Lê objetos como comentários de artigos, comentários de postagens, comentários de solicitações, comentários de tíquetes, grupos, organizações, classificações de satisfação, tags, campos de tíquetes, métricas de tíquetes, eventos de métricas de tíquetes, tíquetes e usuários no Zendesk.

Vários objetos do Zendesk

Várias fontes que leem vários objetos do Zendesk e os encaminham para destinos específicos. Use com vários coletores.

Zuora

Plug-in para gravar dados no Zuora em pipelines de lote e streaming.

Zuora

Lê dados do Zuora em pipelines de lote.

Avro

Plug-ins para o Avro.

Arquivo

Faz gravações em um sistema de arquivos em vários formatos.

Arquivo

Esta fonte é usada sempre que você precisa fazer leituras em um sistema de arquivos distribuído.

Cloud Storage

Grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

AWS

Plug-ins disponíveis para a AWS.

Amazon S3

Esta fonte é usada sempre que você precisar fazer leituras no Amazon S3.

Amazon S3

Este coletor é usado para fazer gravações no Amazon S3 em vários formatos.

Cliente do Amazon S3

A ação do cliente do Amazon S3 é usada para trabalhar com buckets e objetos do S3 antes ou depois da execução de um pipeline.

Coletor do Kinesis

Coletor do Kinesis que gera saídas em um stream especificado do Amazon Kinesis.

Fonte do Kinesis

Fonte de streaming do Spark que faz leituras em streams do AWS Kinesis.

Redshift para S3

A ação "Redshift para S3" executa o comando UNLOAD na AWS para salvar os resultados de uma consulta do Redshift em um ou mais arquivos no Amazon S3.

S3 para Redshift

A ação "S3 para Redshift" carrega os dados do bucket do AWS S3 na tabela do AWS Redshift.

Liberação de memória

Plug-ins para liberação de memória.

Eliminar duplicação

Elimina a duplicação de registros usando um ou mais campos ou o registro como um todo. Além disso, é compatível com a escolha lógica de um registro entre os registros duplicados com base em um campo de filtro. As funções lógicas compatíveis são máximo, mínimo, primeiro e último.

Distinto

Remove a duplicação de registros de entrada para que todos os registros de saída sejam distintos.

Filtro rápido

Filtra as mensagens com base em um critério especificado.

Filtro de PII do Cloud DLP

Separa registros sensíveis com base na correspondência com um modelo definido pelo usuário usando as APIs do Cloud Data Loss Prevention (DLP).

Wrangler

Este plug-in aplica diretivas de transformação de dados geradas por meio de uma interface interativa ou manualmente nos registros de dados.

Cloud Storage

Plug-ins disponíveis para o Cloud Storage.

Amazon S3

Esta fonte é usada sempre que você precisar fazer leituras no Amazon S3.

Azure Blob Storage

Fonte em lote para usar o Microsoft Azure Blob Storage como origem.

Descompactação do Azure

O plug-in Azure Decompress Action descompacta os arquivos gz de um contêiner do serviço Azure Blob Storage em outro contêiner.

Cloud Storage para Snowflake

Carrega em uma tabela do Snowflake os dados de arquivos externos ou internos preparados no Cloud Storage.

Cloud Storage

Este plug-in de coletor grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Cloud Storage

O plug-in lê objetos de um caminho em um bucket do Cloud Storage.

Definidor de argumentos do Cloud Storage

Faz leituras em um arquivo do Cloud Storage para buscar argumentos a serem definidos no pipeline.

Exclusão do Cloud Storage

Este plug-in exclui objetos em um bucket do Cloud Storage.

Cópia do Cloud Storage

Este plug-in copia objetos de um bucket do Cloud Storage para outro. É possível copiar um único objeto ou um diretório de objetos.

Criação do Cloud Storage

Este plug-in cria objetos em um bucket do Cloud Storage.

Migração do Cloud Storage

Este plug-in move objetos de um bucket do Cloud Storage para outro. É possível mover um único objeto ou um diretório de objetos.

Vários arquivos do Cloud Storage

Este plug-in é usado com a fonte MultiTableDatabase para gravar registros de vários bancos de dados em diretórios separados.

Marcador de arquivo concluído do Cloud Storage

Cria um arquivo DONE (ou SUCCESS) vazio no bucket do Cloud Storage fornecido após a conclusão do pipeline (sucesso ou falha) para orquestrar processos dependentes.

Exclusão do Microsoft Azure

O plug-in Azure Delete Action exclui um contêiner no serviço Azure Blob Storage.

Snowflake para Cloud Storage

Descarrega os dados de uma tabela do Snowflake em um local interno ou externo do Cloud Storage (cenário).

Código

Plug-ins para executar seu próprio código.

JavaScript

Executa o JavaScript fornecido pelo usuário que transforma um registro em zero ou mais registros.

Programa PySpark

Executa o código Spark fornecido pelo usuário no Python.

Python Evaluator

Executa o código Python fornecido pelo usuário para transformar registros de entrada, disponíveis como dicionário do Python.

Scala Spark Compute

Executa no Scala o código Spark fornecido pelo usuário que transforma o RDD em RDD com acesso total a todos os recursos do Spark.

Scala Spark Program

Executa o código Spark fornecido pelo usuário no Scala.

Spark

Executa no Scala o código Spark fornecido pelo usuário que opera em um RDD de entrada ou Dataframe com acesso total a todos os recursos do Spark.

Compactação

Plug-ins para compactação.

Compactador

Compacta os campos configurados usando diferentes algoritmos de compactação, como SNAPPY, ZIP e GZIP.

Descompactação do Azure

A ação de descompactar é usada para expandir arquivos arquivados ou compactados (.zip, .gz, .tar, .tar.gz etc.) antes do processamento em um pipeline.

Descompactador de campo

Descompacta os campos configurados usando algoritmos de compactação, como SNAPPY, ZIP e GZIP.

Condicional

Os pipelines também oferecem plug-ins de fluxo de controle como condições. Os plug-ins de condição permitem ramificar o pipeline em dois caminhos separados, de acordo com a avaliação verdadeira ou falsa do predicado de condição especificado.

Condicional

Um plug-in de fluxo de controle que permite a execução condicional em pipelines com base em expressões.

Coletor de erros

Coleta erros emitidos do cenário anterior e adiciona uma mensagem de erro, um código e um cenário ao registro.

Pipeline de falha

Coletor em lote que faz com que um pipeline falhe imediatamente depois de receber o primeiro registro.

Divisor de campo nulo

Este plug-in envia registros com um valor nulo em um determinado campo para a porta nula e registros com um valor não nulo para a porta não nula.

Descompactar

Encaminha um registro para uma porta apropriada com base na avaliação de uma expressão no valor de um ou mais campos.

Divisor de união

O divisor de união é usado para dividir dados por um esquema de união, a fim de que a lógica específica do tipo possa ser feita downstream.