Complementos de Cloud Data Fusion

Los complementos son módulos personalizables que extienden las capacidades de Cloud Data Fusion. La siguiente es una lista completa de complementos disponibles en Cloud Data Fusion, pero también puedes compilar tu propio complemento con las APIs correspondientes.

Comunicarse con nosotros Comunicarse con nosotros

Los más populares

Descubre y accede con rapidez a los complementos más populares de Cloud Data Fusion.

BigQuery

Esta fuente lee todo el contenido de una tabla de BigQuery.

Tabla múltiple de BigQuery

Este receptor escribe en varias tablas de BigQuery. Los datos se escriben primero en una ubicación temporal en Cloud Storage y, luego, se cargan en BigQuery desde allí.

Tabla de BigQuery

Este receptor escribe en una tabla de BigQuery. Los datos se escriben primero en una ubicación temporal en Cloud Storage y, luego, se cargan en BigQuery desde allí.

Cloud Storage

Este complemento de origen lee los objetos de una ruta en un bucket de Cloud Storage.

Cloud Storage

Este complemento de receptor escribe registros en uno o más archivos de un directorio de Cloud Storage en varios formatos, como CSV, Avro, Parquet y JSON.

Tabla de varias bases de datos

Lee de varias tablas dentro de una base de datos. Se usa con complementos de varios receptores, como el receptor múltiple de Cloud Storage y el de BigQuery, para cargar datos de toda la base de datos en una sola canalización.

MySQL

Lee de una instancia de MySQL mediante una consulta en SQL configurable. La salida es un registro por cada fila que muestra la consulta.

Oracle

Lee de una tabla de Oracle mediante una consulta en SQL configurable. La salida es un registro por cada fila que muestra la consulta.

Salesforce

Esta fuente lee sObjects como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc. de Salesforce por lotes.

SAP ODP

Se conecta a una fuente de SAP para la extracción de datos por lotes y por delta mediante el aprovisionamiento de datos operativos (ODP).

SQL Server

Lee de SQL Server con una consulta en SQL configurable. La salida es un registro por cada fila que muestra la consulta.

Google Cloud

Consulta todos los complementos disponibles para los productos de Google Cloud, incluidos Cloud Storage, BigQuery, Cloud Bigtable, Datastore, Pub/Sub y Google Workspace.

BigQuery

Esta fuente lee todo el contenido de una tabla de BigQuery.

Método set para argumentos de BigQuery

Lee de una tabla de BigQuery para recuperar argumentos que se deben configurar en la canalización.

Ejecución de BigQuery

Este complemento ejecuta una consulta en SQL de BigQuery.

Tabla múltiple de BigQuery

Este receptor escribe en varias tablas de BigQuery. Los datos se escriben primero en una ubicación temporal en Cloud Storage y, luego, se cargan en BigQuery desde allí.

Tabla de BigQuery

Este receptor escribe en una tabla de BigQuery. Los datos se escriben primero en una ubicación temporal en Cloud Storage y, luego, se cargan en BigQuery desde allí.

Cloud Bigtable

Receptor por lotes que escribe datos en Cloud Bigtable.

Cloud Bigtable

Esta fuente lee datos de Cloud Bigtable.

Receptor de Dataplex

Transfiere datos a cualquiera de los recursos compatibles con Dataplex.

Fuente de Dataplex

Lee datos de entidades (tablas) de Dataplex que residen en recursos de Cloud Storage o BigQuery.

Datastore

Esta fuente lee datos de Datastore. Datastore es una base de datos de documentos NoSQL creada para ofrecer alto rendimiento y ajuste de escala automático.

Datastore

Este receptor escribe datos en Cloud Datastore. Datastore es una base de datos de documentos NoSQL creada para ofrecer alto rendimiento y ajuste de escala automático.

Firestore

Lee de Cloud Firestore en canalizaciones por lotes.

Firestore

Complemento para escribir en Cloud Firestore en canalizaciones por lotes y de transmisión.

Cloud Storage

Este complemento de receptor escribe registros en uno o más archivos de un directorio de Cloud Storage en varios formatos, como CSV, Avro, Parquet y JSON.

Cloud Storage

Este complemento de origen lee los objetos de una ruta en un bucket de Cloud Storage.

Método set para argumentos de Cloud Storage

Lee de un archivo de Cloud Storage para recuperar argumentos que se deben configurar en la canalización.

Borrado de Cloud Storage

Este complemento borra objetos de un bucket de Cloud Storage.

Copia de Cloud Storage

Este complemento copia los objetos de un bucket de Cloud Storage a otro. Se puede copiar un solo objeto o un directorio de objetos.

Creación de Cloud Storage

Este complemento crea objetos en un bucket de Cloud Storage.

Marcador de archivos finalizados de Cloud Storage

Crea un archivo DONE (o SUCCESS) vacío en un bucket de Cloud Storage determinado cuando se completa, se ejecuta correctamente o falla la canalización, para organizar los procesos dependientes.

Traslado de Cloud Storage

Este complemento mueve objetos de un bucket de Cloud Storage a otro. Se puede mover un solo objeto o un directorio de objetos.

Archivos múltiples de Cloud Storage

Este complemento se usa junto con la fuente MultiTableDatabase para escribir registros de varias bases de datos en directorios separados.

Desencriptación de Cloud DLP

Desencripta los datos sensibles que Cloud Data Loss Prevention (DLP) encriptó anteriormente mediante una transformación de encriptación reversible, como la encriptación de preservación de formato.

Filtro de PII de Cloud DLP

Separa los registros sensibles según su correspondencia con una plantilla definida por el usuario mediante las APIs de Cloud Data Loss Prevention (DLP).

Ocultamiento de Cloud DLP

Se ocultan los registros sensibles con Cloud Data Loss Prevention (DLP) según la correspondencia con algunos filtros predefinidos de DLP o una plantilla personalizada definida por el usuario.

Google Drive

Lee de archivos del directorio de Google Drive especificado mediante la API de Google Drive.

Google Drive

El complemento de receptor guarda archivos de una canalización en un directorio de Google Drive mediante la API de Google Drive.

Hojas de cálculo de Google

Escribe hojas de cálculo en el directorio de Google Drive especificado.

Hojas de cálculo de Google

Lee hojas de cálculo del directorio de Google Drive especificado.

Pub/Sub

Este receptor escribe en un tema de Pub/Sub en canalizaciones de transmisión.

Pub/Sub

Esta fuente lee de una suscripción de Pub/Sub en tiempo real.

Spanner

Este receptor escribe en una tabla de Cloud Spanner.

Spanner

Esta fuente lee de una tabla de Cloud Spanner.

Speech-to-Text

Este complemento convierte archivos de audio en texto con Speech-to-Text.

Agregación

Complementos para agregar funciones como avg, count, count(*), first, last, max, min, sum, collect, incluidas las uniones de tablas, etcétera.

Agrupar por

Agrupa por uno o más campos y, luego, realiza funciones de agregación como avg, count, count(*), first, last, max, min, sum y collect para cada grupo.

Joiner

Une los registros de una o más entradas según las claves de unión. Admite uniones internas y externas, selección y cambio de nombre de campos de salida.

N de valor más alto

N de valor más alto muestra los “n” registros de valor más alto en el conjunto de entrada, según los criterios especificados en la configuración del complemento.

Agregación de ventanas

Aplica funciones de agregación en una ventana de datos.

Alertas

Complementos para alertas.

Correo electrónico

Se envía un correo electrónico cuando termina de ejecutarse una canalización.

Correo electrónico de SendGrid

Complemento action para enviar un correo electrónico cuando termina de ejecutarse una canalización.

Marcador de archivos finalizados de Cloud Storage

Crea un archivo DONE (o SUCCESS) vacío en un bucket de Cloud Storage determinado cuando se completa, se ejecuta correctamente o falla la canalización, para organizar los procesos dependientes.

Devolución de llamada HTTP

Realiza una solicitud HTTP cuando termina de ejecutarse una canalización.

Publicador de alertas de Kafka

Publicador de alertas de Kafka que te permite publicar alertas en Kafka como objetos JSON.

MariaDB

Ejecuta una consulta de MariaDB cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Netezza

Ejecuta una consulta de Netezza cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Oracle

Ejecuta una consulta de Oracle cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

PostgreSQL

Ejecuta una consulta de PostgreSQL cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

SQL Server

Ejecuta una consulta en SQL Server cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Teradata

Ejecuta una consulta de Teradata cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

TMS

Publica alertas en el sistema de mensajería transaccional de CDAP (TMS) como objetos JSON.

Apache

Complementos para Apache.

Cassandra

Receptor por lotes que escribe datos en Apache Cassandra.

Cassandra

Fuente por lotes que lee de Apache Cassandra.

HBase

Escribe registros en una tabla de HBase, asignando un campo a la clave de fila y todos los demás campos de registro a calificadores de columnas.

HBase

Fuente por lotes que lee de una familia de columnas en una tabla de HBase.

Exportación masiva de Hive

La exportación de Hive toma una consulta seleccionada como entrada para ejecutarla en la tabla de Hive y almacena los resultados en la ubicación especificada.

Importación masiva de Hive

Importa datos de un directorio o un archivo a una tabla de Hive mediante una declaración de carga de Hive.

HTTP a HDFS

Complemento action para recuperar datos desde un extremo HTTP externo y crear un archivo en HDFS.

Publicador de alertas de Kafka

Publicador de alertas de Kafka que te permite publicar alertas en Kafka como objetos JSON.

Consumidor de Kafka

Fuente por lotes de Kafka que lee de eventos de Apache Kafka en canalizaciones por lotes.

Consumidor de Kafka

Fuente de transmisión de Kafka que lee de eventos de Apache Kafka en canalizaciones de transmisión.

Productor de Kafka

Receptor de Kafka que permite escribir eventos en CSV o JSON en Kafka.

Kudu

Complemento de CDAP para transferir datos a Apache Kudu. El complemento se puede configurar para canalizaciones por lotes y en tiempo real.

Kudu

Complemento de CDAP para leer datos de una tabla de Apache Kudu.

Programa PySpark

Ejecuta código de Spark proporcionado por el usuario en Python.

Reparticionador

Este complemento vuelve a particionar un RDD de Spark.

Procesamiento de Spark Scala

Ejecuta código de Spark proporcionado por el usuario en Scala que transforma el RDD en un RDD con acceso completo a todas las funciones de Spark.

Programa Spark Scala

Ejecuta código de Spark proporcionado por el usuario en Scala.

Spark

Ejecuta código de Spark proporcionado por el usuario en Scala que opera en un RDD o DataFrame de entrada con acceso completo a todas las funciones de Spark.

Analizador de registros de Webserver

Analiza registros de cualquier fuente de entrada para obtener información relevante, como URI, IP, navegador, dispositivo, código de estado HTTP y marca de tiempo.

APIs

Complementos para diversas APIs.

Anaplan

Complemento de origen para cargar datos de un modelo de Anaplan en una canalización de datos.

Anaplan

Complemento de receptor para importar datos de CDAP al servidor de Anaplan.

Función Anaplan

Realiza una acción o un proceso predefinido en un modelo de Anaplan específico. Por lo general, se usa para preparar la importación y exportación de datos.

Anuncios de Facebook

Lee datos de Ads desde la API de Facebook Insights en canalizaciones por lotes.

GitHub

Lee de GitHub en canalizaciones por lotes.

Varios informes de Google Ads

Lee todos los informes de una cuenta de Google Ads en canalizaciones por lotes.

Informe único de Google Ads

Lee el tipo de informe especificado de las cuentas de Google Ads en canalizaciones por lotes.

Lotes de Google Analytics

Lee de Google Analytics 360 en canalizaciones por lotes.

Transmisión de Google Analytics

Lee de Google Analytics 360 en canalizaciones de transmisión.

Google Drive

Lee de archivos del directorio de Google Drive especificado mediante la API de Google Drive.

Google Drive

El complemento de receptor guarda archivos de una canalización en un directorio de Google Drive mediante la API de Google Drive.

Google Search Console

Lee de Google Search Console en canalizaciones por lotes.

Hojas de cálculo de Google

Escribe hojas de cálculo en el directorio de Google Drive especificado.

Hojas de cálculo de Google

Lee hojas de cálculo del directorio de Google Drive especificado.

HTTP

Lee datos en formatos JSON, XML, CSV, TSV, TEXT y BLOB de las APIs de HTTP/HTTPS en canalizaciones por lotes.

HTTP

Complemento de receptor para enviar los mensajes de la canalización a un extremo HTTP externo.

Devolución de llamada HTTP

Realiza una solicitud HTTP cuando termina de ejecutarse una canalización.

Sondeador de HTTP

Esta es una fuente de transmisión que recuperará datos de una URL especificada en un intervalo determinado y pasará los resultados al siguiente complemento.

Transmisión de HTTP

Lee datos en formatos JSON, XML, CSV, TSV, TEXT y BLOB de las APIs de HTTP/HTTPS en canalizaciones de transmisión.

HTTP a HDFS

Complemento action para recuperar datos desde un extremo HTTP externo y crear un archivo en HDFS.

HubSpot

Complemento para escribir datos en HubSpot CRM en canalizaciones por lotes y de transmisión.

HubSpot

Lee datos de HubSpot CRM en canalizaciones de transmisión.

HubSpot

Lee datos de HubSpot CRM en canalizaciones por lotes.

Salesforce

Esta fuente lee sObjects como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc. de Salesforce por lotes.

Salesforce

Esta fuente realiza un seguimiento de las actualizaciones en los sObjects de Salesforce. Algunos ejemplos de sObjects son oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etcétera.

Salesforce

Un receptor por lotes que inserta sObjects, como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc., en Salesforce.

Marketing Cloud de Salesforce

Esta fuente realiza un seguimiento de las actualizaciones en los sObjects de Salesforce, como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etcétera.

Marketing Cloud de Salesforce

Este receptor inserta registros en una extensión de datos de Salesforce Marketing Cloud (SFMC) mediante la integración de servidor a servidor con la API de SFMC.

Objetos múltiples de Salesforce

Esta fuente lee varios sObjects de Salesforce. Debe usarse en conjunto con receptores múltiples.

ServiceNow

Lee de una o varias tablas en ServiceNow.

Speech-to-Text

Este complemento convierte archivos de audio en texto con Speech-to-Text.

Splunk

Lee de Splunk en canalizaciones de transmisión.

Splunk

Lee de Splunk en canalizaciones por lotes.

Zendesk

Lee objetos, como comentarios de artículos, comentarios de publicaciones, comentarios de solicitudes, comentarios de tickets, grupos, organizaciones, calificaciones de satisfacción, etiquetas, campos de tickets, métricas de tickets, eventos de métricas de tickets, tickets y usuarios de Zendesk.

Varios objetos de Zendesk

Fuente múltiple que lee varios objetos de Zendesk y los enruta a destinos específicos. Debe usarse en conjunto con un receptor múltiple.

Zuora

Complemento para escribir datos en Zuora en canalizaciones de transmisión y por lotes.

Zuora

Lee datos de Zuora en canalizaciones por lotes.

Avro

Complementos para Avro.

Archivo

Escribe en un sistema de archivos en diversos formatos.

Archivo

Esta fuente se usa siempre que necesites leer desde un sistema de archivos distribuido.

Cloud Storage

Escribe registros en uno o más archivos de un directorio en Cloud Storage en diversos formatos, como CSV, Avro, Parquet y JSON.

AWS

Complementos disponibles para AWS.

Amazon S3

Esta fuente se usa cada vez que necesitas realizar operaciones de lectura desde Amazon S3.

Amazon S3

Este receptor se usa para escribir en Amazon S3 en diversos formatos.

Cliente de Amazon S3

El complemento action del cliente de Amazon S3 se usa para trabajar con buckets y objetos de S3 antes o después de la ejecución de una canalización.

Receptor de Kinesis

Receptor de Kinesis que envía salidas a una transmisión de Amazon Kinesis especificada.

Fuente de Kinesis

Fuente de transmisión de Spark que lee de transmisiones de AWS Kinesis.

Redshift a S3

El complemento action de Redshift a S3 ejecuta el comando UNLOAD en AWS para guardar los resultados de una consulta de Redshift en uno o más archivos en Amazon S3.

S3 a Redshift

Complemento action de S3 a Redshift que cargará los datos del bucket de AWS S3 en la tabla de AWS Redshift.

Limpieza

Complementos para limpieza.

Anulación de duplicación

Anula la duplicación de registros mediante uno o más campos, o bien mediante el registro como un todo. Además, admite la elección lógica de un registro de entre los registros duplicados según un campo de filtro. Las funciones lógicas compatibles son max, min, first y last.

Distinto

Anula la duplicación de registros de entrada para que todos los registros de salida sean distintos.

Filtro rápido

Filtra los mensajes según un criterio especificado.

Filtro de PII de Cloud DLP

Separa los registros sensibles según su correspondencia con una plantilla definida por el usuario mediante las APIs de Cloud Data Loss Prevention (DLP).

Wrangler

Este complemento aplica directivas de transformación de datos generadas mediante una IU interactiva o de forma manual en tus registros de datos.

Almacenamiento en la nube

Complementos disponibles para el almacenamiento en la nube.

Amazon S3

Esta fuente se usa cada vez que necesitas realizar operaciones de lectura desde Amazon S3.

Azure Blob Store

Fuente por lotes para usar Microsoft Azure Blob Storage como fuente.

Descomprimir Azure

El complemento action de descompresión de Azure descomprime los archivos gz de un contenedor en el servicio Azure Blob Storage en otro contenedor.

Cloud Storage a Snowflake

Carga datos desde archivos internos o externos publicados en etapa de pruebas de Cloud Storage a una tabla existente de Snowflake.

Cloud Storage

Este complemento de receptor escribe registros en uno o más archivos de un directorio de Cloud Storage en varios formatos, como CSV, Avro, Parquet y JSON.

Cloud Storage

Este complemento lee objetos de una ruta de acceso en un bucket de Cloud Storage.

Método set para argumentos de Cloud Storage

Lee de un archivo de Cloud Storage para recuperar argumentos que se deben configurar en la canalización.

Borrado de Cloud Storage

Este complemento borra objetos de un bucket de Cloud Storage.

Copia de Cloud Storage

Este complemento copia los objetos de un bucket de Cloud Storage a otro. Se puede copiar un solo objeto o un directorio de objetos.

Creación de Cloud Storage

Este complemento crea objetos en un bucket de Cloud Storage.

Traslado de Cloud Storage

Este complemento mueve objetos de un bucket de Cloud Storage a otro. Se puede mover un solo objeto o un directorio de objetos.

Archivos múltiples de Cloud Storage

Este complemento se usa junto con la fuente MultiTableDatabase para escribir registros de varias bases de datos en directorios separados.

Marcador de archivos finalizados de Cloud Storage

Crea un archivo DONE (o SUCCESS) vacío en un bucket de Cloud Storage determinado cuando se completa, se ejecuta correctamente o falla la canalización, para organizar los procesos dependientes.

Borrado de Microsoft Azure

El complemento Action de borrado de Azure borra un contenedor en el servicio Azure Blob Storage.

Snowflake a Cloud Storage

Descarga los datos de una tabla de Snowflake a una ubicación interna o externa de Cloud Storage (almacenamiento en etapa intermedia).

Código

Complementos para ejecutar tu propio código. 

JavaScript

Ejecuta JavaScript proporcionado por el usuario que transforma un registro en cero o más registros.

Programa PySpark

Ejecuta código de Spark proporcionado por el usuario en Python.

Evaluador de Python

Ejecuta código de Python proporcionado por el usuario para transformar registros de entrada que están disponibles como un diccionario de Python.

Procesamiento de Spark Scala

Ejecuta código de Spark proporcionado por el usuario en Scala que transforma el RDD en un RDD con acceso completo a todas las funciones de Spark.

Programa Spark Scala

Ejecuta código de Spark proporcionado por el usuario en Scala.

Spark

Ejecuta código de Spark proporcionado por el usuario en Scala que opera en un RDD o DataFrame de entrada con acceso completo a todas las funciones de Spark.

Compresión

Complementos para compresión.

Compresor

Comprime campos configurados con diferentes algoritmos de compresión, como SNAPPY, ZIP y GZIP.

Descomprimir Azure

El complemento action de descompresión se usa para expandir los archivos archivados o comprimidos (.zip, .gz, .tar, .tar.gz, etc.) antes de seguir procesando en una canalización.

Descompresor de campo

Descomprime los campos configurados mediante algoritmos de compresión, como SNAPPY, ZIP y GZIP.

Condicionales

Las canalizaciones también ofrecen complementos del flujo de control en forma de condiciones. Los complementos condicionales permiten dividir una canalización en dos rutas separadas, según el predicado de condición especificado resulte verdadero o falso.

Condicionales

Un complemento de flujo de control que permite la ejecución condicional dentro de las canalizaciones según las expresiones.

Recolector de errores

Recopila errores emitidos en la etapa anterior y agrega un mensaje de error, un código y una etapa al registro.

Canalización con errores

Receptor por lotes que hace que una canalización falle de inmediato después de recibir el primer registro.

Divisor de campos nulos

Este complemento envía registros con un valor nulo para un campo determinado al puerto Null y aquellos con un valor distinto de nulo al puerto NonNull.

Descomprimir

Enruta un registro a un puerto adecuado según la evaluación de una expresión a partir del valor de uno o más de sus campos.

Divisor de unión

El divisor de unión se usa para dividir datos según un esquema de unión, de modo que la lógica específica del tipo se pueda realizar downstream.

Flujo de control

Complementos para el flujo de control.

Función Anaplan

Realiza una acción o un proceso predefinido en un modelo de Anaplan específico. Por lo general, se usa para preparar la importación y exportación de datos.

Ejecución de BigQuery

Ejecuta una consulta en SQL al principio o al final de una canalización.

Base de datos

Complemento action que ejecuta un comando de base de datos.

Consulta de base de datos

Ejecuta una consulta de base de datos cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución DB2

Complemento action que ejecuta un comando DB2.

Descomprimir Azure

El complemento action de descompresión se usa para expandir los archivos archivados o comprimidos (.zip, .gz, .tar, .tar.gz, etc.) antes de seguir procesando en una canalización.

Verificador de contenido de archivos

Este complemento Action se puede usar para verificar si un archivo está vacío o si su contenido coincide con un patrón determinado.

Borrado de archivos

Borra uno o más archivos.

Transferencia de archivos

Mueve uno o varios archivos.

Copia de FTP

Copia archivos del servidor FTP al destino especificado.

Depósito en FTP

Copia archivos al servidor FTP desde un destino especificado.

Borrado de Cloud Storage

Este complemento borra objetos de un bucket de Cloud Storage.

Copia de Cloud Storage

Este complemento copia los objetos de un bucket de Cloud Storage a otro. Se puede copiar un solo objeto o un directorio de objetos.

Creación de Cloud Storage

Este complemento crea objetos en un bucket de Cloud Storage.

Traslado de Cloud Storage

Este complemento mueve objetos de un bucket de Cloud Storage a otro. Se puede mover un solo objeto o un directorio de objetos.

HTTP a HDFS

Complemento action para recuperar datos desde un extremo HTTP externo y crear un archivo en HDFS.

Ejecución de MariaDB

Complemento action que ejecuta un comando de MariaDB.

Ejecución de MySQL

Complemento action que ejecuta un comando de MySQL.

Ejecución de Netezza

Complemento action que ejecuta un comando de Netezza.

Ejecución de Oracle

Complemento action que ejecuta un comando de Oracle.

Exportación de Oracle

Complemento action para exportar datos de Oracle de forma eficiente a un sistema de archivos mediante las herramientas de línea de comandos de Oracle.

Ejecución de PostgreSQL

Complemento action que ejecuta un comando de PostgreSQL.

Redshift a S3

El complemento action de Redshift a S3 ejecuta el comando UNLOAD en AWS para guardar los resultados de una consulta de Redshift en uno o más archivos en Amazon S3.

Ejecutor de programas remotos

Establece una conexión SSH con una máquina remota para ejecutar un comando en esa máquina.

S3 a Redshift

Complemento action de S3 a Redshift que cargará los datos del bucket de AWS S3 en la tabla de AWS Redshift.

Copia de SFTP

La copia de SFTP permite copiar los archivos del directorio especificado en los servidores SFTP al destino indicado.

Borrar SFTP

Complemento action de CDAP para borrar los archivos especificados de un servidor SFTP.

Depósito en SFTP

El depósito en SFTP permite subir archivos desde el sistema de archivos (local/HDFS) al servidor FTP. La regex de archivos también se puede usar para filtrar solo los archivos que te interesan.

Ejecución de SQL en Snowflake

Ejecuta una consulta en SQL especificada en Snowflake.

Ejecución de SQL Server

Complemento action que ejecuta un comando de SQL Server

Ejecución de Teradata

Complemento action que ejecuta un comando de Teradata.

Copia de Windows Share

Copia uno o más archivos en un recurso compartido de Microsoft Windows en un sistema de archivos.

CRM

Complementos para plataformas CRM como Salesforce.

HubSpot

Complemento para escribir datos en HubSpot CRM en canalizaciones por lotes y de transmisión.

HubSpot

Lee datos de HubSpot CRM en canalizaciones de transmisión.

HubSpot

Lee datos de HubSpot CRM en canalizaciones por lotes.

Salesforce

Esta fuente lee sObjects como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc. de Salesforce por lotes.

Salesforce

Un receptor por lotes que inserta sObjects, como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc., en Salesforce.

Salesforce

Esta fuente realiza un seguimiento de las actualizaciones en los sObjects de Salesforce. Algunos ejemplos de sObjects son oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etcétera.

Marketing Cloud de Salesforce

Esta fuente realiza un seguimiento de las actualizaciones en los sObjects de Salesforce, como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etcétera.

Marketing Cloud de Salesforce

Este receptor inserta registros en una extensión de datos de Salesforce Marketing Cloud (SFMC) mediante la integración de servidor a servidor con la API de SFMC.

Objetos múltiples de Salesforce

Esta fuente lee varios sObjects de Salesforce. Debe usarse en conjunto con receptores múltiples.

CSV

Complementos para CSV.

Formateador CSV

Establece el formato de entrada en un registro CSV mediante formatos como DELIMITED, EXCEL, MYSQL, RFC4180 y TDF.

Analizador de CSV

Analiza un registro CSV con el formato DEFAULT, EXCEL, MYSQL, RFC4180, delimitado por tabulaciones y delimitado por barras en un registro estructurado.

Archivo

Escribe en un sistema de archivos en diversos formatos.

Archivo

Esta fuente se usa siempre que necesites leer desde un sistema de archivos distribuido.

Cloud Storage

Este complemento de receptor escribe registros en uno o más archivos de un directorio de Cloud Storage en varios formatos, como CSV, Avro, Parquet y JSON.

Productor de Kafka

Receptor de Kafka que permite escribir eventos en CSV o JSON en Kafka.

Base de datos

Complementos para tus bases de datos.

Cloud Bigtable

Receptor por lotes que escribe datos en Cloud Bigtable.

Cloud Bigtable

Esta fuente lee datos de Cloud Bigtable.

Base de datos

Complemento action que ejecuta un comando de base de datos.

Base de datos

Lee de una base de datos mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Base de datos

Escribe registros en una tabla de base de datos. Cada registro se escribirá en una fila de la tabla.

Método set de argumentos de base de datos

Lee desde una tabla de base de datos relacional para recuperar argumentos que se deben configurar en la canalización.

Consulta de base de datos

Ejecuta una consulta de base de datos cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

DB2

Lee de DB2 mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

DB2

Ejecuta una consulta de DB2 cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución DB2

Complemento action que ejecuta un comando DB2.

IBM DB2

Escribe registros en una tabla DB2. Cada registro se escribirá en una fila de la tabla.

MariaDB

Escribe registros en una tabla de MariaDB. Cada registro se escribirá en una fila de la tabla.

MariaDB

Lee de MariaDB mediante una consulta en SQL configurable. La salida es un registro por cada fila que muestra la consulta.

MariaDB

Ejecuta una consulta de MariaDB cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de MariaDB

Complemento action que ejecuta un comando de MariaDB.

Tabla de varias bases de datos

Lee de varias tablas dentro de una base de datos. Se usa con complementos de varios receptores, como los de Cloud Storage y BigQuery, para cargar datos de toda la base de datos en una sola canalización.

Consulta de MySQL

Ejecuta una consulta de MySQL cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

MySQL

Escribe registros en una tabla de MySQL. Cada registro se escribirá en una fila de la tabla.

MySQL

Lee de una instancia de MySQL mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Ejecución de MySQL

Complemento action que ejecuta un comando de MySQL.

Oracle

Lee de una tabla de Oracle mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Oracle

Escribe registros en una tabla de Oracle. Cada registro se escribirá en una fila de la tabla.

Oracle

Ejecuta una consulta de Oracle cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de Oracle

Complemento action que ejecuta un comando de Oracle.

Exportación de Oracle

Complemento action para exportar datos de Oracle de forma eficiente a un sistema de archivos mediante las herramientas de línea de comandos de Oracle.

PostgreSQL

Lee de PostgreSQL mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

PostgreSQL

Escribe registros en una tabla de PostgreSQL. Cada registro se escribirá en una fila de la tabla.

PostgreSQL

Ejecuta una consulta de PostgreSQL cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de PostgreSQL

Complemento Action que ejecuta un comando de PostgreSQL.

Spanner

Este receptor escribe en una tabla de Cloud Spanner.

Spanner

Esta fuente lee de una tabla de Cloud Spanner.

SQL Server

Escribe registros en una tabla de SQL Server. Cada registro se escribirá en una fila de la tabla.

SQL Server

Ejecuta una consulta en SQL Server cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

SQL Server

Lee de SQL Server con una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Ejecución de SQL Server

Complemento Action que ejecuta un comando de SQL Server

IBM DB2

DB2 ejecuta una consulta de DB2 cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Almacén de datos

Complementos para tu almacén de datos.

BigQuery

Esta fuente lee todo el contenido de una tabla de BigQuery.

Método set para argumentos de BigQuery

Lee de una tabla de BigQuery para recuperar argumentos que se deben configurar en la canalización.

Ejecución de BigQuery

Este complemento ejecuta una consulta en SQL de BigQuery.

Tabla múltiple de BigQuery

Este receptor escribe en varias tablas de BigQuery. Los datos se escriben primero en una ubicación temporal en Cloud Storage y, luego, se cargan en BigQuery desde allí.

Tabla de BigQuery

Este receptor escribe en una tabla de BigQuery. Los datos se escriben primero en una ubicación temporal en Cloud Storage y, luego, se cargan en BigQuery desde allí.

Cloud Storage a Snowflake

Carga datos desde archivos internos o externos publicados en etapa de pruebas de Cloud Storage a una tabla existente de Snowflake.

Exportación masiva de Hive

La exportación de Hive toma una consulta seleccionada como entrada para ejecutarla en la tabla de Hive y almacena los resultados en la ubicación especificada.

Importación masiva de Hive

Importa datos de un directorio o un archivo a una tabla de Hive mediante una declaración de carga de Hive.

Netezza

Escribe registros en una tabla de Netezza. Cada registro se escribirá en una fila de la tabla.

Netezza

Lee de Netezza mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Netezza

Ejecuta una consulta de Netezza cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de Netezza

Complemento Action que ejecuta un comando de Netezza.

Redshift a S3

El complemento action de Redshift a S3 ejecuta el comando UNLOAD en AWS para guardar los resultados de una consulta de Redshift en uno o más archivos en Amazon S3.

S3 a Redshift

Complemento action de S3 a Redshift que cargará los datos del bucket de AWS S3 en la tabla de AWS Redshift.

Procesamiento de SCD2 Spark

Crea una representación de SCD2 de un registro agrupando los registros de origen según la clave especificada y generando las fechas de inicio y finalización (vencimiento) del registro.

Snowflake

Escribe datos en una tabla de Snowflake en canalizaciones por lotes.

Snowflake

Lee datos de tablas de Snowflake en canalizaciones por lotes.

Ejecución de SQL en Snowflake

Ejecuta una consulta en SQL especificada en Snowflake.

Snowflake a Cloud Storage

Descarga los datos de una tabla de Snowflake a una ubicación interna o externa de Cloud Storage (almacenamiento en etapa intermedia).

Teradata

Escribe registros en una tabla de Teradata. Cada registro se escribirá en una fila de la tabla.

Teradata

Lee de Teradata mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Teradata

Ejecuta una consulta de Teradata cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Teradata

Complemento action que ejecuta un comando de Teradata.

Complemento Action de exportación masiva de Vertica

Exporta de forma masiva los datos en una tabla de Vertica a un archivo.

Complemento action de importación masiva de Vertica

El complemento action de importación masiva de Vertica lee todos los archivos de un directorio determinado y, luego, importa el contenido de forma masiva a una tabla de Vertica.

DLP

Complementos para Cloud Data Loss Prevention (DLP).

Desencriptación de Cloud DLP

Desencripta los datos sensibles que Cloud Data Loss Prevention (DLP) encriptó anteriormente mediante una transformación de encriptación reversible, como la encriptación de preservación de formato.

Filtro de PII de Cloud DLP

Separa los registros sensibles según su correspondencia con una plantilla definida por el usuario mediante las APIs de Cloud Data Loss Prevention (DLP).

Ocultamiento de Cloud DLP

Se ocultan los registros sensibles con Cloud Data Loss Prevention (DLP) según la correspondencia con algunos filtros predefinidos de DLP o una plantilla personalizada definida por el usuario.

Dinámicos

Complementos dinámicos.

Método set de argumentos

Realiza una solicitud HTTP para recuperar argumentos que se deben configurar en la canalización.

Método set de argumentos de base de datos

Lee desde una tabla de base de datos relacional para recuperar argumentos que se deben configurar en la canalización.

Método set para argumentos de Cloud Storage

Lee de un archivo de Cloud Storage para recuperar argumentos que se deben configurar en la canalización.

Correo electrónico

Complementos para correo electrónico.

Correo electrónico

Se envía un correo electrónico cuando termina de ejecutarse una canalización.

Correo electrónico de SendGrid

Complemento action para enviar un correo electrónico cuando termina de ejecutarse una canalización.

SendGrid

Lee datos sobre campañas de marketing existentes, estadísticas de correo electrónico, rebotes e informes de spam de SendGrid.

SendGrid

Escribe datos en SendGrid en canalizaciones por lotes y de transmisión.

Archivo

Complementos de archivos.

Formateador CSV

Establece el formato de entrada en un registro CSV mediante formatos como DELIMITED, EXCEL, MYSQL, RFC4180 y TDF.

Analizador de CSV

Analiza un registro CSV con el formato DEFAULT, EXCEL, MYSQL, RFC4180, delimitado por tabulaciones y delimitado por barras en un registro estructurado.

Archivo

Escribe en un sistema de archivos en diversos formatos.

Archivo

Esta fuente se usa siempre que necesites leer desde un sistema de archivos distribuido.

Archivo

Fuente de transmisión de archivos que analiza un directorio y transmite el contenido de cualquier archivo nuevo que se agregue al directorio.

Adjuntador de archivos

Este complemento receptor se adjunta a un archivo existente hasta que alcanza un umbral de tamaño o antigüedad.

Verificador de contenido de archivos

Este complemento Action se puede usar para verificar si un archivo está vacío o si su contenido coincide con un patrón determinado.

Borrado de archivos

Borra uno o más archivos.

Transferencia de archivos

Mueve uno o varios archivos.

FTP

Fuente por lotes para leer desde FTP (ftp://…) o SFTP (sftp://…).

Copia de FTP

Copia archivos del servidor FTP al destino especificado.

Depósito en FTP

Copia archivos al servidor FTP desde un destino especificado.

Extractor de PDF

Esta transformación aprovecha la biblioteca Apache PDF Box para extraer texto y metadatos de un archivo PDF.

Redshift a S3

El complemento action de Redshift a S3 ejecuta el comando UNLOAD en AWS para guardar los resultados de una consulta de Redshift en uno o más archivos en Amazon S3.

Amazon S3

Este receptor se usa para escribir en Amazon S3 en diversos formatos.

S3 a Redshift

Complemento action de S3 a Redshift que cargará los datos del bucket de AWS S3 en la tabla de AWS Redshift.

Copia de SFTP

La copia de SFTP permite copiar los archivos del directorio especificado en los servidores SFTP al destino indicado.

Borrar SFTP

Complemento action de CDAP para borrar los archivos especificados de un servidor SFTP.

Depósito en SFTP

El depósito en SFTP permite subir archivos desde el sistema de archivos (local/HDFS) al servidor FTP. La regex de archivos también se puede usar para filtrar solo los archivos que te interesan.

Filtro

Complementos de filtro.

Anulación de duplicación

Anula la duplicación de registros mediante uno o más campos, o bien mediante el registro como un todo. Además, admite la elección lógica de un registro de entre los registros duplicados según un campo de filtro. Las funciones lógicas compatibles son max, min, first y last.

Distinto

Anula la duplicación de registros de entrada para que todos los registros de salida sean distintos.

Filtro rápido

Filtra los mensajes según un criterio especificado.

Filtro de PII de Cloud DLP

Separa los registros sensibles según su correspondencia con una plantilla definida por el usuario mediante las APIs de Cloud Data Loss Prevention (DLP).

Divisor de campos nulos

Este complemento envía registros con un valor nulo para un campo determinado al puerto Null y aquellos con un valor distinto de nulo al puerto NonNull.

Muestreo

Muestrea un gran conjunto de datos que fluye a través de este complemento para extraer registros aleatorios mediante el muestreo sistemático o de reserva.

N de valor más alto

N de valor más alto muestra los “n” registros de valor más alto en el conjunto de entrada, según los criterios especificados en la configuración del complemento.

FTP

Complementos de FTP.

FTP

Fuente por lotes para leer desde FTP (ftp://…) o SFTP (sftp://…).

Copia de FTP

Copia archivos del servidor FTP al destino especificado.

Depósito en FTP

Copia archivos al servidor FTP desde un destino especificado.

Copia de SFTP

La copia de SFTP permite copiar los archivos del directorio especificado en los servidores SFTP al destino indicado.

Borrar SFTP

Complemento action de CDAP para borrar los archivos especificados de un servidor SFTP.

Depósito en SFTP

El depósito en SFTP permite subir archivos desde el sistema de archivos (local/HDFS) al servidor FTP. La regex de archivos también se puede usar para filtrar solo los archivos que te interesan.

Google Ads

Complementos para Google Ads.

Varios informes de Google Ads

Lee todos los informes de una cuenta de Google Ads en canalizaciones por lotes.

Informe único de Google Ads

Lee el tipo de informe especificado de las cuentas de Google Ads en canalizaciones por lotes.

Google Search Console

Lee de Google Search Console en canalizaciones por lotes.

Google Analytics 360

Complementos para Google Analytics 360.

Lotes de Google Analytics

Lee de Google Analytics 360 en canalizaciones por lotes.

Transmisión de Google Analytics

Lee de Google Analytics 360 en canalizaciones de transmisión.

Google Workspace

Complementos para Google Workspace, incluidos Hojas de cálculo de Google y Google Drive.

Google Drive

Lee de archivos del directorio de Google Drive especificado mediante la API de Google Drive.

Google Drive

El complemento de receptor guarda archivos de una canalización en un directorio de Google Drive mediante la API de Google Drive.

Hojas de cálculo de Google

Lee hojas de cálculo del directorio de Google Drive especificado.

Hojas de cálculo de Google

Escribe hojas de cálculo en el directorio de Google Drive especificado.

Hadoop

Complementos para Hadoop.

HBase

Escribe registros en una tabla de HBase, asignando un campo a la clave de fila y todos los demás campos de registro a calificadores de columnas.

HBase

Fuente por lotes que lee de una familia de columnas en una tabla de HBase.

Exportación masiva de Hive

La exportación de Hive toma una consulta seleccionada como entrada para ejecutarla en la tabla de Hive y almacena los resultados en la ubicación especificada.

Importación masiva de Hive

Importa datos de un directorio o un archivo a una tabla de Hive mediante una declaración de carga de Hive.

HTTP a HDFS

Complemento action para recuperar datos desde un extremo HTTP externo y crear un archivo en HDFS.

HDFS

Complementos para HDFS.

Lector de XML

Complemento de origen que permite a los usuarios leer archivos XML almacenados en HDFS.

HTTP a HDFS

Complemento action para recuperar datos desde un extremo HTTP externo y crear un archivo en HDFS.

HP

Complementos para HP.

Complemento action de exportación masiva de Vertica

Exporta de forma masiva los datos en una tabla de Vertica a un archivo.

Complemento action de importación masiva de Vertica

El complemento action de importación masiva de Vertica lee todos los archivos de un directorio determinado y, luego, importa el contenido de forma masiva a una tabla de Vertica.

HTTP

Complementos para HTTP.

Método set de argumentos

Realiza una solicitud HTTP para recuperar argumentos que se deben configurar en la canalización.

IBM

Complementos para IBM.

DB2

Lee de DB2 mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

DB2

Ejecuta una consulta de DB2 cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución DB2

Complemento action que ejecuta un comando DB2.

IBM DB2

Escribe registros en una tabla DB2. Cada registro se escribirá en una fila de la tabla.

Netezza

Escribe registros en una tabla de Netezza. Cada registro se escribirá en una fila de la tabla.

Netezza

Lee de Netezza mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Netezza

Ejecuta una consulta de Netezza cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de Netezza

Complemento action que ejecuta un comando de Netezza.

JDBC

Complementos para JDBC.

Base de datos

Lee de una base de datos mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Base de datos

Escribe registros en una tabla de base de datos. Cada registro se escribirá en una fila de la tabla.

MongoDB

Lee documentos de una colección de MongoDB y convierte cada documento en un StructuredRecord con la ayuda de un esquema especificado.

MongoDB

Este receptor escribe en una colección de MongoDB.

Consulta de MySQL

Ejecuta una consulta de MySQL cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

MySQL

Escribe registros en una tabla de MySQL. Cada registro se escribirá en una fila de la tabla.

MySQL

Lee de una instancia de MySQL mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Ejecución de MySQL

Complemento action que ejecuta un comando de MySQL.

Netezza

Escribe registros en una tabla de Netezza. Cada registro se escribirá en una fila de la tabla.

Netezza

Lee de Netezza mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Netezza

Ejecuta una consulta de Netezza cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de Netezza

Complemento action que ejecuta un comando de Netezza.

Oracle

Lee de una tabla de Oracle mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Oracle

Escribe registros en una tabla de Oracle. Cada registro se escribirá en una fila de la tabla.

Oracle

Ejecuta una consulta de Oracle cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de Oracle

Complemento action que ejecuta un comando de Oracle.

Exportación de Oracle

Complemento action para exportar datos de Oracle de forma eficiente a un sistema de archivos mediante las herramientas de línea de comandos de Oracle.

PostgreSQL

Lee de PostgreSQL mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

PostgreSQL

Escribe registros en una tabla de PostgreSQL. Cada registro se escribirá en una fila de la tabla.

PostgreSQL

Ejecuta una consulta de PostgreSQL cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de PostgreSQL

Complemento Action que ejecuta un comando de PostgreSQL.

SQL Server

Escribe registros en una tabla de SQL Server. Cada registro se escribirá en una fila de la tabla.

SQL Server

Ejecuta una consulta en SQL Server cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

SQL Server

Lee de SQL Server con una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Ejecución de SQL Server

Complemento Action que ejecuta un comando de SQL Server

Teradata

Escribe registros en una tabla de Teradata. Cada registro se escribirá en una fila de la tabla.

Teradata

Lee de Teradata mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Teradata

Ejecuta una consulta de Teradata cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de Teradata

Complemento action que ejecuta un comando de Teradata.

JSON

Complementos para JSON.

Elasticsearch

Escribe datos en Elasticsearch como una cadena JSON y, luego, los indexa mediante el índice, el tipo y el idField que especifica el usuario.

Cloud Storage

Escribe registros en uno o más archivos de un directorio en Cloud Storage en varios formatos, como CSV, Avro, Parquet y JSON.

Formateador JSON

Da formato a un registro estructurado como un objeto JSON.

Analizador de JSON

Analiza un evento de JSON de entrada a un registro mediante rutas JSON para extraer campos de JSON de entrada anidado y complejo.

Productor de Kafka

Receptor de Kafka que permite escribir eventos en CSV o JSON en Kafka.

XML a JSON

Acepta un campo que contenga una cadena XML con el formato correcto y genera una versión de los datos en una string JSON con el formato correcto.

Kafka

Complementos para Kafka.

Confluent

Lee de Confluent Kafka en las canalizaciones de transmisión.

Confluent

Complemento para escribir en Confluent Kafka en canalizaciones de transmisión.

Consumidor de Kafka

Fuente por lotes de Kafka que lee de eventos de Apache Kafka en canalizaciones por lotes.

Consumidor de Kafka

Fuente de transmisión de Kafka que lee de eventos de Apache Kafka en canalizaciones de transmisión.

Publicador de alertas de Kafka

Publicador de alertas de Kafka que te permite publicar alertas en Kafka como objetos JSON.

Productor de Kafka

Receptor de Kafka que permite escribir eventos en CSV o JSON en Kafka.

Registros

Complementos para registros.

Splunk

Lee de Splunk en canalizaciones por lotes.

Splunk

Lee de Splunk en canalizaciones de transmisión.

Analizador de registros de Webserver

Analiza registros de cualquier fuente de entrada para obtener información relevante, como URI, IP, navegador, dispositivo, código de estado HTTP y marca de tiempo.

Asignación

Complementos para la asignación.

Agregar campo

Agrega un campo nuevo a cada registro. El valor del campo puede ser un UUID nuevo o se puede configurar directamente mediante la configuración.

Clonar registro

Realiza una copia de cada registro de entrada recibido una cierta cantidad de veces configurada en el resultado.

Crear registro

Complemento para generar estructuras jerárquicas a partir de esquemas planos.

Transformación de fecha

Esta transformación toma una fecha en una marca de tiempo de Unix o una string y la convierte en una cadena con formato (usa macros).

Ocultamiento de Cloud DLP

Se ocultan los registros sensibles con Cloud Data Loss Prevention (DLP) según la correspondencia con algunos filtros predefinidos de DLP o una plantilla personalizada definida por el usuario.

Búsqueda

Realiza una búsqueda de un campo determinado dentro de un conjunto de datos de búsqueda; para ello, lo hace coincidir con el conjunto de datos de entrada e incluye el campo y su valor en el conjunto de datos resultante.

Agregador de varios campos

La transformación de Agregador de varios campos te permite agregar uno o más campos al resultado.

Procesamiento de Spark NGramTransform

Transforma los atributos de entrada en n-gramas.

Proyección

La transformación Proyección te permite soltar, conservar, cambiar el nombre y convertir los campos en un tipo diferente.

Divisor de registros

Con un campo y un delimitador, emite un registro por cada división del campo.

Desnormalizador de filas

Convierte datos sin procesar en datos desnormalizados basados en una columna de clave.

Procesamiento de SCD2 Spark

Crea una representación de SCD2 de un registro agrupando los registros de origen según la clave especificada y generando las fechas de inicio y finalización (vencimiento) del registro.

Transposición

Normaliza datos convirtiendo columnas en filas.

Asignador de valor

Complemento de transformación que asigna valores de cadena de un campo en el registro de entrada a un valor de asignación mediante un conjunto de datos de asignación.

Wrangler

Este complemento aplica directivas de transformación de datos generadas mediante una IU interactiva o de forma manual en tus registros de datos.

Enmascaramiento

Complementos para el enmascaramiento.

Decodificador de campos

Decodifica campos configurados con métodos de decodificación como STRING_BASE64, BASE64, BASE32, STRING_BASE32 y HEX.

Desencriptador de campos

Desencripta uno o más campos en los registros de entrada con un almacén de claves que debe estar presente en todos los nodos del clúster.

Encriptador de campos

Encripta uno o más campos en registros de entrada mediante un almacén de claves Java que debe estar presente en todos los nodos del clúster.

Codificador de campos

Codifica campos configurados con métodos de codificación como STRING_BASE64, BASE64, BASE32, STRING_BASE32 y HEX.

Codificador de campos MD5/SHA

Codifica valores de campo mediante algoritmos de resumen como MD2, MD5, SHA1, SHA256, SHA384 y SHA512.

Microsoft

Complementos para Microsoft Excel y Windows.

Excel

El complemento de Excel proporciona al usuario la capacidad de leer datos de uno o más archivos de Excel.

Copia de Windows Share

Copia uno o más archivos en un recurso compartido de Microsoft Windows en un sistema de archivos.

Microsoft Azure

Complementos para el almacén de datos, las bases de datos, el almacenamiento en la nube y mucho más de Microsoft Azure.

ADLS

Escribe datos en el directorio de Azure Data Lake Store en formato avro, orc o de texto.

Archivo múltiple de ADLS

Este receptor escribe en varios directorios de Azure Data Lake.

Borrado de ADLS

Borra uno o varios archivos en el sistema de archivos ADLS.

Azure Blob Store

Fuente por lotes para usar Microsoft Azure Blob Storage como fuente.

Azure Data Lake Store

Azure Data Lake Store Batch Source lee los datos de los archivos de Azure Data Lake Store y los convierte en StructuredRecord.

Descomprimir Azure

El complemento action de descompresión de Azure descomprime los archivos gz de un contenedor en el servicio Azure Blob Storage en otro contenedor.

Extractor de rostros de Azure

Esta transformación aprovecha las APIs de Azure Cognitive para extraer rostros y otros metadatos, incluidas las emociones, de un conjunto de imágenes.

Borrado de Microsoft Azure

El complemento action de borrado de Azure borra un contenedor en el servicio de Azure Blob Storage.

SQL Server

Ejecuta una consulta en SQL Server cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

SQL Server

Lee de SQL Server con una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

SQL Server

Escribe registros en una tabla de SQL Server. Cada registro se escribirá en una fila de la tabla.

Ejecución de SQL Server

Complemento action que ejecuta un comando de SQL Server

Anidados

Complementos para datos anidados.

Aplanar registro

Complemento para transformar datos anidados en datos planos.

NoSQL

Complementos para NoSQL.

Cassandra

Receptor por lotes que escribe datos en Apache Cassandra.

Cassandra

Fuente por lotes que lee de Apache Cassandra.

Datastore

Esta fuente lee datos de Datastore. Datastore es una base de datos de documentos NoSQL creada para ofrecer alto rendimiento y ajuste de escala automático.

Datastore

Este receptor escribe datos en Cloud Datastore. Datastore es una base de datos de documentos NoSQL creada para ofrecer alto rendimiento y ajuste de escala automático.

Firestore

Lee de Cloud Firestore en canalizaciones por lotes.

Firestore

Complemento para escribir en Cloud Firestore en canalizaciones por lotes y de transmisión.

HBase

Escribe registros en una tabla de HBase, asignando un campo a la clave de fila y todos los demás campos de registro a calificadores de columnas.

HBase

Fuente por lotes que lee de una familia de columnas en una tabla de HBase.

MongoDB

Lee documentos de una colección de MongoDB y convierte cada documento en un StructuredRecord con la ayuda de un esquema especificado.

MongoDB

Este receptor escribe en una colección de MongoDB.

Oracle

Complementos para Oracle.

Oracle

Lee de una tabla de Oracle mediante una consulta en SQL configurable. La salida es un registro por cada fila que devuelve la consulta.

Oracle

Escribe registros en una tabla de Oracle. Cada registro se escribirá en una fila de la tabla.

Oracle

Ejecuta una consulta de Oracle cuando termina de ejecutarse una canalización. Se puede configurar para que se ejecute solo en caso de éxito, solo si se produce un error o siempre al final de la ejecución.

Ejecución de Oracle

Complemento action que ejecuta un comando de Oracle.

Exportación de Oracle

Complemento action para exportar datos de Oracle de forma eficiente a un sistema de archivos mediante las herramientas de línea de comandos de Oracle.

Parquet

Complementos para Parquet

Archivo

Escribe en un sistema de archivos en diversos formatos.

Archivo

Esta fuente se usa siempre que necesites leer desde un sistema de archivos distribuido.

Cloud Storage

Escribe registros en uno o más archivos de un directorio en Cloud Storage en diversos formatos, como CSV, Avro, Parquet y JSON.

Python

Complementos para Python.

Programa PySpark

Ejecuta código de Spark proporcionado por el usuario en Python.

Evaluador de Python

Ejecuta código de Python proporcionado por el usuario para transformar registros de entrada que están disponibles como un diccionario de Python.

S3

Complementos para S3.

Amazon S3

Esta fuente se usa cada vez que necesitas realizar operaciones de lectura desde Amazon S3.

SAP

Acelerador: pedido a efectivo en SAP

Acelera la función Fuente de lotes de tablas de SAP para tu proceso de pedido a efectivo.

Acelerador: adquisición a pago en SAP

Acelera la función Fuente de lotes de tablas de SAP para tu proceso de adquisición a pago.

SAP Ariba

Se conecta a una fuente de SAP Ariba para las integraciones de datos por lotes en Google Cloud.

Fuente de lotes de SAP BW Open Hub

Se conecta a una fuente de SAP para la extracción basada en lotes y delta mediante BW Open Hub Service.

SAP OData

Se conecta a una fuente de SAP para la extracción de datos por lotes mediante el protocolo de datos abiertos (OData).

SAP ODP

Se conecta a una fuente de SAP para la extracción de datos por lotes y por delta mediante el aprovisionamiento de datos operativos (ODP).

Replicación de SLT de SAP

Se conecta a una fuente de SAP para replicar datos en Google Cloud mediante SAP Landscape Transformation (SLT).

Fuente de lotes de SAP SuccessFactors

Se conecta a una fuente de SAP para la extracción de datos por lotes.

Fuente de lotes de tablas de SAP

Se conecta a una fuente SAP para transferencias de datos masivas de tablas y vistas SAP.

SaaS

Complementos para productos comunes de SaaS, como Salesforce, ServiceNow, Zendesk y Zuora.

Anaplan

Complemento de origen para cargar datos de un modelo de Anaplan en una canalización de datos.

Anaplan

Complemento de receptor para importar datos de CDAP al servidor de Anaplan.

Función Anaplan

Realiza una acción o un proceso predefinido en un modelo de Anaplan específico. Por lo general, se usa para preparar la importación y exportación de datos.

HubSpot

Complemento para escribir datos en HubSpot CRM en canalizaciones por lotes y de transmisión.

HubSpot

Lee datos de HubSpot CRM en canalizaciones de transmisión.

HubSpot

Lee datos de HubSpot CRM en canalizaciones por lotes.

Salesforce

Esta fuente lee sObjects como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc. de Salesforce por lotes.

Salesforce

Un receptor por lotes que inserta sObjects, como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etc., en Salesforce.

Marketing Cloud de Salesforce

Esta fuente realiza un seguimiento de las actualizaciones en los sObjects de Salesforce, como oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etcétera.

Marketing Cloud de Salesforce

Este receptor inserta registros en una extensión de datos de Salesforce Marketing Cloud (SFMC) mediante la integración de servidor a servidor con la API de SFMC.

Objetos múltiples de Salesforce

Esta fuente lee varios sObjects de Salesforce. Debe usarse en conjunto con receptores múltiples.

ServiceNow

Lee de una o varias tablas en ServiceNow.

Zendesk

Lee objetos, como comentarios de artículos, comentarios de publicaciones, comentarios de solicitudes, comentarios de tickets, grupos, organizaciones, calificaciones de satisfacción, etiquetas, campos de tickets, métricas de tickets, eventos de métricas de tickets, tickets y usuarios de Zendesk.

Varios objetos de Zendesk

Fuente múltiple que lee varios objetos de Zendesk y los enruta a destinos específicos. Debe usarse en conjunto con un receptor múltiple.

Zuora

Complemento para escribir datos en Zuora en canalizaciones de transmisión y por lotes.

Zuora

Lee datos de Zuora en canalizaciones por lotes.

Búsqueda

Complementos para la búsqueda.

Elasticsearch

Extrae documentos de Elasticsearch de acuerdo con la consulta que especifica el usuario.

Elasticsearch

Escribe datos en Elasticsearch como una cadena JSON y, luego, los indexa mediante el índice, el tipo y el idField que especifica el usuario.

Google Search Console

Lee de Google Search Console en canalizaciones por lotes.

Snowflake

Complementos para Snowflake.

Cloud Storage a Snowflake

Carga datos desde archivos internos o externos publicados en etapa de pruebas de Cloud Storage a una tabla existente de Snowflake.

Snowflake

Escribe datos en una tabla de Snowflake en canalizaciones por lotes.

Snowflake

Lee datos de tablas de Snowflake en canalizaciones por lotes.

Ejecución de SQL en Snowflake

Ejecuta una consulta en SQL especificada en Snowflake.

Snowflake a Cloud Storage

Descarga los datos de una tabla de Snowflake a una ubicación interna o externa de Cloud Storage (almacenamiento en etapa intermedia).

Spark

Complementos para Spark.

Analizador de registros

Analiza registros de cualquier fuente de entrada para obtener información relevante, como URI, IP, navegador, dispositivo, código de estado HTTP y marca de tiempo.

Programa PySpark

Ejecuta código de Spark proporcionado por el usuario en Python.

Reparticionador

Este complemento vuelve a particionar un RDD de Spark.

Procesamiento de Spark Scala

Ejecuta código de Spark proporcionado por el usuario en Scala que transforma el RDD en un RDD con acceso completo a todas las funciones de Spark.

Programa Spark Scala

Ejecuta código de Spark proporcionado por el usuario en Scala.

Spark

Ejecuta código de Spark proporcionado por el usuario en Scala que opera en un RDD o DataFrame de entrada con acceso completo a todas las funciones de Spark.

SSH

Complementos para SSH.

Ejecutor de programas remotos

Establece una conexión SSH con una máquina remota para ejecutar un comando en esa máquina.

Ejecución

Ejecuta un objeto binario ejecutable que está instalado y disponible en el sistema de archivos local de los nodos de Hadoop.

Estadísticas

Complementos para estadísticas.

Generador de perfiles de datos

Calcula estadísticas, como total, nulos, mínimo, máximo, media, desviación estándar, cero, recuento positivo y recuento negativo.

Agrupar por

Agrupa por uno o más campos y, luego, realiza funciones de agregación como avg, count, count(*), first, last, max, min, sum y collect para cada grupo.

Transmisión

Complementos para productos de transmisión.

Amazon SQS

Lee de Amazon Simple Queue Service (SQS) en canalizaciones de transmisión.

Amazon SQS

Complemento para escribir en Amazon Simple Queue Service (SQS) en canalizaciones de transmisión.

Confluent

Lee de Confluent Kafka en las canalizaciones de transmisión.

Confluent

Complemento para escribir en Confluent Kafka en canalizaciones de transmisión.

Archivo

Fuente de transmisión de archivos que analiza un directorio y transmite el contenido de cualquier archivo nuevo que se agregue al directorio.

Transmisión de Google Analytics

Lee de Google Analytics 360 en canalizaciones de transmisión.

Sondeador de HTTP

Esta es una fuente de transmisión que recuperará datos de una URL especificada en un intervalo determinado y pasará los resultados al siguiente complemento.

Transmisión de HTTP

Lee datos en formatos JSON, XML, CSV, TSV, TEXT y BLOB de las APIs de HTTP/HTTPS en canalizaciones de transmisión.

HubSpot

Lee datos de HubSpot CRM en canalizaciones de transmisión.

Consumidor de Kafka

Fuente de transmisión de Kafka que lee de eventos de Apache Kafka en canalizaciones de transmisión.

Publicador de alertas de Kafka

Publicador de alertas de Kafka que te permite publicar alertas en Kafka como objetos JSON.

Productor de Kafka

Receptor de Kafka que permite escribir eventos en CSV o JSON en Kafka.

Receptor de Kinesis

Receptor de Kinesis que envía salidas a una transmisión de Amazon Kinesis especificada.

Kinesis Sourcef

Fuente de transmisión de Spark que lee de transmisiones de AWS Kinesis.

Pub/Sub

Este receptor escribe en un tema de Pub/Sub en canalizaciones de transmisión.

Pub/Sub

Esta fuente lee de una suscripción de Pub/Sub en tiempo real.

Salesforce

Esta fuente realiza un seguimiento de las actualizaciones en los sObjects de Salesforce. Algunos ejemplos de sObjects son oportunidades, contactos, cuentas, clientes potenciales, cualquier objeto personalizado, etcétera.

Splunk

Lee de Splunk en canalizaciones de transmisión.

Splunk

Complemento para escribir en Splunk en canalizaciones por lotes y de transmisión.

Flujo de tweets de Twitter

Muestrea tweets en tiempo real mediante la transmisión de Spark. Los registros de salida tendrán este esquema.

Renderizador en ventanas

El complemento de Windows se usa para renderizar ventanas de una parte de una canalización de transmisión.

Pruebas

Complementos para pruebas.

Papelera

Papelera consume todos los registros de la entrada y los come todos, lo que significa que no se genera ningún resultado o no se almacena en ningún lugar.

XML

Complementos para XML.

Analizador múltiple de XML

La transformación XML Multi Parser usa XPath para extraer campos de un documento XML.

Analizador XML

La transformación XML Parser usa XPath para extraer campos de un evento complejo de XML.

Lector de XML

Complemento de origen que permite a los usuarios leer archivos XML almacenados en HDFS.

XML a JSON

Acepta un campo que contenga una cadena XML con el formato correcto y genera una versión de los datos en una string JSON con el formato correcto.