Referencia de complementos de Cloud Data Fusion

Consulta todos los complementos disponibles para los productos de Google Cloud, como Cloud Storage, BigQuery, Cloud Bigtable, Datastore, Pub/Sub y Google Workspace.

BigQuery

Esta fuente lee todo el contenido de una tabla de BigQuery.

Establecedor de argumentos de BigQuery

Lee datos de una tabla de BigQuery para obtener argumentos y configurar el flujo de procesamiento.

Ejecución de BigQuery

Este complemento ejecuta una consulta de SQL de BigQuery.

Multitabla de BigQuery

Este sumidero escribe en varias tablas de BigQuery. En primer lugar, los datos se escriben en una ubicación temporal de Cloud Storage y, desde ahí, se cargan en BigQuery.

Tabla de BigQuery

Este sumidero escribe en una tabla de BigQuery. En primer lugar, los datos se escriben en una ubicación temporal de Cloud Storage y, desde ahí, se cargan en BigQuery.

Cloud Bigtable

Sumidero por lotes que escribe datos en Cloud Bigtable.

Cloud Bigtable

Esta fuente lee datos de Cloud Bigtable.

Sumidero de Dataplex

Ingiere datos en cualquiera de los recursos compatibles con Dataplex.

Fuente de Dataplex

Lee datos de entidades de Dataplex (tablas) que se encuentran en los recursos de Cloud Storage o de BigQuery.

Datastore

Esta fuente lee datos de Datastore. Datastore es una base de datos de documentos NoSQL creada para el escalado automático y el alto rendimiento.

Datastore

Este sumidero escribe datos en Cloud Datastore. Datastore es una base de datos de documentos NoSQL creada para el escalado automático y el alto rendimiento.

Firestore

Lee datos de Cloud Firestore en flujos de procesamiento por lotes.

Firestore

Complemento para escribir en Cloud Firestore en flujos de procesamiento por lotes y de streaming.

Cloud Storage

Este complemento de sumidero escribe registros en uno o varios archivos de un directorio de Cloud Storage en diversos formatos, como CSV, Avro, Parquet y JSON.

Cloud Storage

Este complemento de fuente lee objetos de una ruta en un segmento de Cloud Storage.

Configurador de argumentos de Cloud Storage

Lee datos de un archivo de Cloud Storage para obtener argumentos que se puedan definir en el flujo de procesamiento.

Eliminación en Cloud Storage

Este complemento elimina objetos de un segmento de Cloud Storage.

Copia en Cloud Storage

Este complemento copia objetos de un segmento de Cloud Storage en otro. Se puede copiar un único objeto o un directorio de objetos.

Creación en Cloud Storage

Este complemento crea objetos en un segmento de Cloud Storage.

Marcador de archivo listo en Cloud Storage

Crea un archivo DONE (o SUCCESS) vacío en el segmento de Cloud Storage indicado al finalizar el proceso, o en caso de éxito o fallo, para orquestar los procesos dependientes.

Traslado en Cloud Storage

Este complemento mueve objetos de un segmento de Cloud Storage a otro. Se puede mover un solo objeto o un directorio de objetos.

Multiarchivo en Cloud Storage

Este complemento se utiliza junto con la fuente MultiTableDatabase para escribir registros de varias bases de datos en directorios independientes.

Descifrado de Cloud DLP

Descifra datos sensibles encriptados anteriormente con Cloud Data Loss Prevention (DLP) mediante una transformación reversible, como el encriptado con preservación de formato.

Filtro de información personal identificable de Cloud DLP

Separa los registros sensibles en función de si coinciden con una plantilla definida por el usuario mediante las APIs de Cloud Data Loss Prevention (DLP).

Ocultar datos de Cloud DLP

Oculta registros sensibles con Cloud Data Loss Prevention (DLP) al usar filtros predefinidos de DLP o una plantilla personalizada definida por el usuario.

Google Drive

Lee archivos del directorio de Google Drive especificado a través de la API de Google Drive.

Google Drive

El complemento de sumidero guarda los archivos del flujo de procesamiento en el directorio de Google Drive mediante la API de Google Drive.

Hojas de cálculo de Google

Escribe hojas de cálculo en el directorio de Google Drive especificado.

Hojas de cálculo de Google

Lee hojas de cálculo del directorio de Google Drive especificado.

Pub/Sub

Este sumidero escribe en un tema de Pub/Sub en flujos de procesamiento de streaming.

Pub/Sub

Fuente que lee datos de una suscripción de Pub/Sub en tiempo real.

Spanner

Este sumidero escribe en una tabla de Cloud Spanner.

Spanner

La fuente se lee a partir de una tabla de Cloud Spanner.

Speech-to-Text

Este complemento convierte archivos de audio en texto con Speech‐to‐Text.

Agregar

Complementos para agregar funciones como promedio, recuento, recuento(*), primero, último, máximo, mínimo, suma, recoger, incluidas combinaciones de tablas, etc.

Agrupar por

Agrupa por uno o varios campos y, a continuación, realiza funciones de agregación, como las de media, recuento, recuento(*), primero, último, máximo, mínimo, suma y recoger en cada grupo.

Unión

Une los registros de una o varias entradas según las claves de unión. Admite la unión interna y la externa, la selección y el cambio de nombre de los campos de salida.

Los primeros N

Los primeros N devuelven los "n" registros principales del conjunto de entrada, según los criterios especificados en la configuración del complemento.

Agregación de ventanas

Aplica funciones de agregación en una ventana de datos.

Alertas

Complementos para alertas.

Correo

Envía un correo electrónico al final de una ejecución de flujo de procesamiento.

Correo de SendGrid

Acción para enviar un correo electrónico al final de una ejecución de flujo de procesamiento.

Marcador de archivo listo en Cloud Storage

Crea un archivo DONE (o SUCCESS) vacío en el segmento de Cloud Storage indicado al finalizar el proceso, o en caso de éxito o fallo, para orquestar los procesos dependientes.

Retrollamada HTTP

Realiza una solicitud HTTP al final de la ejecución de un flujo de procesamiento.

Editor de alertas de Kafka

El editor de alertas de Kafka te permite publicar alertas en Kafka como objetos JSON.

MariaDB

Ejecuta una consulta de MariaDB al final de un flujo de procesamiento. Se puede configurar para que se ejecute solo en caso de éxito, solo en caso de fallo o siempre al final del proceso.

Netezza

Ejecuta una consulta de Netezza al final de un flujo de procesamiento. Se puede configurar para que se ejecute solo en caso de éxito, solo en caso de fallo o siempre al final del proceso.

Oracle

Ejecuta una consulta de Oracle al final de un flujo de procesamiento. Se puede configurar para que se ejecute solo en caso de éxito, solo en caso de fallo o siempre al final del proceso.

PostgreSQL

Ejecuta una consulta de PostgreSQL al final de un flujo de procesamiento. Se puede configurar para que se ejecute solo en caso de éxito, solo en caso de fallo o siempre al final del proceso.

SQL Server

Ejecuta una consulta de SQL Server al final de un flujo de procesamiento. Se puede configurar para que se ejecute solo en caso de éxito, solo en caso de fallo o siempre al final del proceso.

Teradata

Ejecuta una consulta de Teradata al final de un flujo de procesamiento. Se puede configurar para que se ejecute solo en caso de éxito, solo en caso de fallo o siempre al final del proceso.

TMS

Publica alertas en el sistema de mensajes de transacción (TMS) de CDAP como objetos JSON.

Apache

Complementos para Apache.

Cassandra

Sumidero por lotes que escribe datos en Apache Cassandra.

Cassandra

Fuente por lotes que lee desde Apache Cassandra.

HBase

Escribe registros en una tabla de HBase con una asignación de campo en la clave del registro, y el resto de los campos de registro se asignan a calificadores de columna.

HBase

Fuente por lotes que lee de una familia de columnas en una tabla de HBase.

Exportación por lotes de Hive

La exportación de Hive utilizará la consulta seleccionada como entrada para ejecutarla en la tabla de Hive y almacenar los resultados en la ubicación especificada.

Importación por lotes de Hive

Importa datos de un directorio o un archivo a una tabla de Hive mediante la instrucción de carga de Hive.

HTTP a HDFS

Acción para obtener datos de un endpoint HTTP externo y crear un archivo en HDFS.

Editor de alertas de Kafka

El editor de alertas de Kafka te permite publicar alertas en Kafka como objetos JSON.

Consumidor Kafka

Fuente por lotes de Kafka que lee eventos de Apache Kafka en flujos de procesamiento por lotes.

Consumidor Kafka

Fuente de streaming de Kafka que lee eventos de Apache Kafka en flujos de procesamiento de streaming.

Productor de Kafka

Sumidero de Kafka que te permite escribir eventos en CSV o JSON en Kafka.

Kudu

Complemento CDAP para ingerir datos en Apache Kudu. El complemento se puede configurar para los flujos de procesamiento por lotes y en tiempo real.

Kudu

Complemento CDAP para leer datos de la tabla de Apache Kudu.

Programa PySpark

Ejecuta el código de Spark proporcionado por el usuario en Python.

Repartición

Este complemento hace una nueva partición de un RDD de Spark.

Computación Spark en Scala

Ejecuta el código de Spark proporcionado por el usuario en Scala que transforma el RDD en RDD con acceso completo a todas las funciones de Spark.

Programa de Spark en Scala

Ejecuta el código de Spark proporcionado por el usuario en Scala.

Spark

Ejecuta código de Spark proporcionado por el usuario en Scala que funciona en un RDD o un DataFrame de entrada con acceso completo a todas las funciones de Spark.

Analizador de registros del servidor web

Analiza los registros de cualquier fuente de entrada para extraer información pertinente, como URI, IP, navegador, dispositivo, código de estado HTTP y marca de tiempo.

APIs

Complementos para varias APIs.

Anaplan

Complemento de fuente para cargar datos de un modelo de Anaplan en un flujo de procesamiento de datos.

Anaplan

Complemento de sumidero para posibilitar la importación de datos de CDAP en el servidor de Anaplan.

Función de Anaplan

Realiza una acción o un proceso que está predefinido en el modelo de Anaplan utilizado. Normalmente se usa para preparar la importación y la exportación de datos.

Facebook Ads

Lee los datos de anuncios de la API de Facebook Insights en flujos de procesamiento por lotes.

GitHub

Lee de GitHub en flujos de procesamiento por lotes.

Varios informes de Google Ads

Lee todos los informes de Google Ads de una cuenta de Google Ads en flujos de procesamiento por lotes.

Informe único de Google Ads

Lee el tipo de informe especificado de las cuentas de Google Ads en flujos de procesamiento por lotes.

Lote de Google Analytics

Lee datos de Google Analytics 360 en flujos de procesamiento por lotes.

Streaming de Google Analytics

Lee datos de Google Analytics 360 en flujos de procesamiento de streaming.

Google Drive

Lee archivos del directorio de Google Drive especificado a través de la API de Google Drive.

Google Drive

El complemento de sumidero guarda los archivos del flujo de procesamiento en el directorio de Google Drive mediante la API de Google Drive.

Google Search Console

Lee datos de Google Search Console en flujos de procesamiento por lotes.

Hojas de cálculo de Google

Escribe hojas de cálculo en el directorio de Google Drive especificado.

Hojas de cálculo de Google

Lee hojas de cálculo del directorio de Google Drive especificado.

HTTP

Lee datos en formato JSON, XML, CSV, TSV, TEXT y BLOB de APIs HTTP/HTTPS en flujos de procesamiento por lotes.

HTTP

Complemento de sumidero para enviar los mensajes del flujo de procesamiento a un endpoint HTTP externo.

Retrollamada HTTP

Realiza una solicitud HTTP al final de la ejecución de un flujo de procesamiento.

Sondeador HTTP

Se trata de una fuente de streaming que obtiene datos de una URL determinada en un intervalo concreto y que envía los resultados al siguiente complemento.

Streaming de HTTP

Lee datos en formato JSON, XML, CSV, TSV, TEXT y BLOB de APIs HTTP/HTTPS en flujos de procesamiento de streaming

HTTP a HDFS

Acción para obtener datos de un endpoint HTTP externo y crear un archivo en HDFS.

HubSpot

Complemento para escribir datos en el CRM de HubSpot en flujos de procesamiento por lotes y de streaming.

HubSpot

Lee datos del CRM de HubSpot en flujos de procesamiento de streaming.

HubSpot

Lee datos del CRM de HubSpot en flujos de procesamiento por lotes.

Salesforce

En esta fuente se leen sObjects como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc. de Salesforce por lotes.

Salesforce

Esta fuente monitoriza las actualizaciones de los sObjects de Salesforce. Los ejemplos de sObjects son oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc.

Salesforce

Un sumidero por lotes que inserta sObjects como oportunidades, contactos, cuentas, clientes potenciales, objetos personalizados, etc. en Salesforce.

Salesforce Marketing Cloud

Esta fuente realiza seguimientos de los sObjects de Salesforce, como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc.

Salesforce Marketing Cloud

Este sumidero inserta registros en una extensión de datos de Salesforce Marketing Cloud (SFMC) a través de una integración de servidor a servidor con la API de SFMC.

Varios objetos de Salesforce

Esta fuente lee varios sObjects de Salesforce. Se debe utilizar junto con varios sumideros.

ServiceNow

Lee desde una o varias tablas de ServiceNow.

Speech-to-Text

Este complemento convierte archivos de audio en texto con Speech‐to‐Text.

Splunk

Lee datos de Splunk en flujos de procesamiento de streaming.

Splunk

Lee datos de Splunk en flujos de procesamiento por lotes.

Zendesk

Lee objetos como comentarios de artículos, comentarios de publicaciones, comentarios de tickets, grupos, organizaciones, puntuaciones de satisfacción, etiquetas, campos de tickets, métricas de tickets, eventos de métricas de tickets, tickets y usuarios de Zendesk.

Multiobjetos de Zendesk

Varias fuentes que leen varios objetos de Zendesk y los dirigen a destinos específicos. Se debe utilizar junto con un sumidero múltiple.

Zuora

Complemento para escribir datos en Zuora en flujos de procesamiento por lotes y de streaming.

Zuora

Lee datos de Zuora en flujos de procesamiento por lotes.

Avro

Complementos para Avro.

Archivo

Escribe en un sistema de archivos en varios formatos.

Archivo

Esta fuente se usa siempre que necesites leer desde un sistema de archivos distribuidos.

Cloud Storage

Escribe registros en uno o varios archivos de un directorio de Cloud Storage en diversos formatos, como CSV, Avro, Parquet y JSON.

AWS

Complementos disponibles para AWS.

Amazon S3

Esta fuente se usa siempre que necesites leer datos de Amazon S3.

Amazon S3

Este sumidero se usa para escribir en Amazon S3 en varios formatos.

Cliente de Amazon S3

La acción de cliente de Amazon S3 se usa para trabajar con segmentos y objetos de S3 antes o después de ejecutar un flujo de procesamiento.

Sumidero de Kinesis

Sumidero de Kinesis que envía información al flujo de Amazon Kinesis especificado.

Fuente de Kinesis

Fuente de streaming de Spark que lee datos de flujos de AWS Kinesis.

Redshift a S3

La acción de Redshift a S3 ejecuta el comando de descarga en AWS para guardar los resultados de una consulta de Redshift en uno o varios archivos en Amazon S3.

S3 a Redshift

La acción de S3 a Redshift carga los datos de un segmento de AWS S3 en la tabla de AWS Redshift.

Limpieza

Complementos de limpieza.

Anular duplicados

Elimina los duplicados de registros mediante uno o varios campos, o bien con el registro en su conjunto. Además, permite elegir de forma lógica un registro de entre los duplicados según un campo de filtro. Las funciones lógicas admitidas son máximo, mínimo, primero y último.

Distinto

Elimina los duplicados de los registros de entrada para que todos los registros de salida sean distintos.

Filtro rápido

Filtra los mensajes en función de un criterio especificado.

Filtro de información personal identificable de Cloud DLP

Separa los registros sensibles en función de si coinciden con una plantilla definida por el usuario mediante las APIs de Cloud Data Loss Prevention (DLP).

Wrangler

Este complemento aplica directivas de transformación de datos generadas a través de una interfaz interactiva o manualmente en tus registros de datos.

Cloud Storage

Complementos disponibles para el almacenamiento en la nube.

Amazon S3

Esta fuente se usa siempre que necesites leer datos de Amazon S3.

Azure Blob Storage

Fuente por lotes para usar Microsoft Azure Blob Storage como fuente.

Descompresión de Azure

El complemento de acción de descomprimir de Azure descomprime los archivos GZ de un contenedor en el servicio de Azure Storage Blob en otro contenedor.

Cloud Storage a Snowflake

Carga datos desde archivos externos o internos en un área de stage de Cloud Storage en una tabla de Snowflake.

Cloud Storage

Este complemento de sumidero escribe registros en uno o varios archivos de un directorio de Cloud Storage en diversos formatos, como CSV, Avro, Parquet y JSON.

Cloud Storage

Este complemento lee objetos de una ruta en un segmento de Cloud Storage.

Configurador de argumentos de Cloud Storage

Lee datos de un archivo de Cloud Storage para obtener argumentos que se puedan definir en el flujo de procesamiento.

Eliminación en Cloud Storage

Este complemento elimina objetos de un segmento de Cloud Storage.

Copia en Cloud Storage

Este complemento copia objetos de un segmento de Cloud Storage en otro. Se puede copiar un único objeto o un directorio de objetos.

Creación en Cloud Storage

Este complemento crea objetos en un segmento de Cloud Storage.

Traslado en Cloud Storage

Este complemento mueve objetos de un segmento de Cloud Storage a otro. Se puede mover un solo objeto o un directorio de objetos.

Multiarchivo en Cloud Storage

Este complemento se utiliza junto con la fuente MultiTableDatabase para escribir registros de varias bases de datos en directorios independientes.

Marcador de archivo listo en Cloud Storage

Crea un archivo DONE (o SUCCESS) vacío en el segmento de Cloud Storage indicado al finalizar el proceso, o en caso de éxito o fallo, para orquestar los procesos dependientes.

Eliminación de Microsoft Azure

El complemento de acción de eliminación de Azure elimina un contenedor del servicio Azure Blob Storage.

Snowflake a Cloud Storage

Descarga los datos de una tabla de Snowflake en una ubicación interna o externa de Cloud Storage (en área de stage).

Código

Complementos para ejecutar tu propio código.

JavaScript

Ejecuta JavaScript proporcionado por los usuarios que transforma un registro en cero o en varios registros.

Programa PySpark

Ejecuta el código de Spark proporcionado por el usuario en Python.

Evaluador de Python

Ejecuta el código de Python proporcionado por el usuario para transformar los registros de entrada, que están disponibles como diccionario de Python.

Computación Spark en Scala

Ejecuta el código de Spark proporcionado por el usuario en Scala que transforma el RDD en RDD con acceso completo a todas las funciones de Spark.

Programa de Spark en Scala

Ejecuta el código de Spark proporcionado por el usuario en Scala.

Spark

Ejecuta código de Spark proporcionado por el usuario en Scala que funciona en un RDD o un DataFrame de entrada con acceso completo a todas las funciones de Spark.

Compresión

Complementos para comprimir.

Compresor

Comprime los campos configurados con distintos algoritmos de compresión, como SNAPPY, ZIP y GZIP.

Descompresión de Azure

La acción de descomprimir se usa para descomprimir archivos (.zip, .gz, .tar, .tar.gz, etc.) archivados o comprimidos antes de seguir procesándolos en un flujo de procesamiento.

Descompresor de campos

Descomprime los campos configurados mediante algoritmos de compresión, como SNAPPY, ZIP y GZIP.

Condicional

Los flujos de procesamiento también ofrecen complementos de flujo de control con las denominadas condiciones. Estos complementos te permiten dividir el flujo de procesamiento en dos ramas separadas, dependiendo de si el predicado de la condición especificada devuelve el valor verdadero o falso.

Condicional

Complemento de flujo de control que permite la ejecución condicional en flujos de procesamiento basados en expresiones.

Recopilador de errores

Recoge los errores emitidos desde la fase anterior y añade al registro un mensaje de error, un código y una fase.

Flujo de procesamiento tras fallos

Sumidero por lotes que provoca que el flujo de procesamiento falle inmediatamente después de recibir el primer registro.

Divisor de campo nulo

Este complemento envía los registros con un valor nulo para un campo concreto al puerto nulo, y los registros que no tienen un valor nulo al puerto no nulo.

Descomprimir

Dirige un registro a un puerto adecuado en función de la evaluación de una expresión sobre el valor de uno o varios campos.

Divisor de unión

El divisor de unión se usa para dividir los datos mediante un esquema de unión, de modo que se pueda aplicar la lógica específica del tipo en un nivel inferior.