Referensi Plugin Cloud Data Fusion

Lihat semua plugin yang tersedia untuk produk Google Cloud termasuk Cloud Storage, BigQuery, Cloud Bigtable, Datastore, Pub/Sub, dan Google Workspace.

BigQuery

Sumber ini membaca seluruh konten tabel BigQuery.

BigQuery Argument Setter

Membaca dari tabel BigQuery untuk mengambil argumen yang akan disetel di pipeline.

BigQuery Execute

Plugin ini menjalankan Kueri SQL BigQuery.

BigQuery Multi Table

Sink ini menulis ke beberapa tabel BigQuery. Data pertama-tama ditulis ke lokasi sementara di Cloud Storage, lalu dimuat ke BigQuery dari sana.

BigQuery Table

Sink ini menulis ke tabel BigQuery. Data pertama-tama ditulis ke lokasi sementara di Cloud Storage, lalu dimuat ke BigQuery dari sana.

Cloud Bigtable

Sink batch yang menulis data ke Cloud Bigtable.

Cloud Bigtable

Sumber ini membaca data dari Cloud Bigtable.

Dataplex Sink

Menyerap data ke salah satu aset yang didukung Dataplex.

Dataplex Source

Membaca data dari entitas (tabel) Dataplex yang ada di aset Cloud Storage atau BigQuery.

Datastore

Sumber ini membaca data dari Datastore. Datastore adalah database dokumen NoSQL yang dibangun untuk penskalaan otomatis dan performa tinggi.

Datastore

Sink ini menulis data ke Cloud Datastore. Datastore adalah database dokumen NoSQL yang dibangun untuk penskalaan otomatis dan performa tinggi.

Firestore

Membaca dari Cloud Firestore dalam pipeline batch.

Firestore

Plugin untuk menulis ke Cloud Firestore dalam pipeline batch dan streaming.

Cloud Storage

Plugin sink ini menulis kumpulan data ke satu atau beberapa file di direktori pada Cloud Storage dalam berbagai format seperti CSV, Avro, Parquet, dan JSON.

Cloud Storage

Plugin sumber ini membaca objek dari jalur di bucket Cloud Storage.

Cloud Storage Argument Setter

Membaca dari file Cloud Storage untuk mengambil argumen yang akan disetel dalam pipeline.

Cloud Storage Delete

Plugin ini menghapus objek di bucket Cloud Storage.

Cloud Storage Copy

Plugin ini menyalin objek dari bucket Cloud Storage ke bucket lainnya. Satu objek dapat disalin, atau direktori objek dapat disalin.

Cloud Storage Create

Plugin ini membuat objek di bucket Cloud Storage.

Cloud Storage Done File Marker

Membuat file DONE (atau SUCCESS) kosong di bucket Cloud Storage tertentu setelah pipeline selesai, berhasil, atau gagal, untuk mengatur proses dependen.

Cloud Storage Move

Plugin ini memindahkan objek dari satu bucket Cloud Storage ke bucket lainnya. Satu objek dapat dipindahkan, atau direktori objek dapat dipindahkan.

Cloud Storage Multi FIle

Plugin ini digunakan bersamaan dengan sumber MultiTableDatabase untuk menulis kumpulan data dari beberapa database ke dalam direktori terpisah.

Cloud DLP Decrypt

Mendekripsi data sensitif yang sebelumnya dienkripsi oleh Cloud Data Loss Prevention (DLP) menggunakan transformasi enkripsi yang dapat dibalik, seperti Format Preserving Encryption.

Cloud DLP PII Filter

Memisahkan kumpulan data sensitif berdasarkan apakah data tersebut cocok dengan template yang ditentukan pengguna menggunakan API Cloud Data Loss Prevention (DLP).

Cloud DLP Redact

Menyamarkan kumpulan data sensitif menggunakan Cloud Data Loss Prevention (DLP) dengan mencocokkan beberapa filter DLP yang telah ditentukan sebelumnya atau template kustom yang ditentukan pengguna.

Google Drive

Membaca file dari direktori Google Drive tertentu melalui Google Drive API.

Google Drive

Plugin sink menyimpan file dari pipeline ke direktori Google Drive melalui Google Drive API.

Google Spreadsheet

Menulis spreadsheet ke direktori Google Drive yang ditentukan.

Google Spreadsheet

Membaca spreadsheet dari direktori Google Drive yang ditentukan.

Pub/Sub

Sink ini menulis ke topik Pub/Sub di pipeline streaming.

Pub/Sub

Sumber ini membaca dari langganan Pub/Sub secara realtime.

Spanner

Sink ini menulis ke tabel Cloud Spanner.

Spanner

Sumber ini membaca dari tabel Cloud Spanner.

Speech To Text

Plugin ini melakukan konversi file audio menjadi teks dengan menggunakan Speech-to-Text.

Aggregate

Plugin untuk menggabungkan fungsi seperti avg, count, count(*), first, last, max, min, sum, collect termasuk gabungan tabel, dll.

Group By

Mengelompokkan menurut satu atau beberapa kolom, lalu melakukan fungsi agregat seperti avg, count, count(*), first, last, max, min, sum, collect di setiap grup.

Joiner

Menggabungkan kumpulan data dari satu atau beberapa input berdasarkan kunci gabungan. Mendukung gabungan dalam dan luar, pemilihan, dan penggantian nama kolom output.

Top N

Top N menampilkan kumpulan data "n" teratas dari kumpulan input, berdasarkan kriteria yang ditentukan dalam konfigurasi plugin.

Window Aggregation

Menerapkan fungsi agregasi pada jendela data.

Alerting

Plugin untuk pemberitahuan.

Email

Mengirim email di akhir proses pipeline.

Email by SendGrid

Tindakan untuk mengirim email di akhir proses pipeline.

Cloud Storage Done File Marker

Membuat file DONE (atau SUCCESS) kosong di bucket Cloud Storage tertentu setelah pipeline selesai, berhasil, atau gagal, untuk mengatur proses dependen.

HTTP Callback

Menjalankan permintaan HTTP di akhir proses pipeline.

Kafka Alert Publisher

Kafka Alert Publisher yang memungkinkan Anda memublikasikan peringatan ke Kafka sebagai objek JSON.

MariaDB

Menjalankan kueri MariaDB di akhir proses pipeline. Dapat dikonfigurasi untuk berjalan hanya pada saat berhasil, hanya pada saat gagal, atau selalu pada akhir proses.

Netezza

Menjalankan kueri Netezza di akhir proses pipeline. Dapat dikonfigurasi untuk berjalan hanya pada saat berhasil, hanya pada saat gagal, atau selalu pada akhir proses.

Oracle

Menjalankan kueri Oracle di akhir proses pipeline. Dapat dikonfigurasi untuk berjalan hanya pada saat berhasil, hanya pada saat gagal, atau selalu pada akhir proses.

PostgreSQL

Menjalankan kueri PostgreSQL di akhir proses pipeline. Dapat dikonfigurasi untuk berjalan hanya pada saat berhasil, hanya pada saat gagal, atau selalu pada akhir proses.

SQL Server

Menjalankan kueri SQL Server di akhir proses pipeline. Dapat dikonfigurasi untuk berjalan hanya pada saat berhasil, hanya pada saat gagal, atau selalu pada akhir proses.

Teradata

Menjalankan kueri Teradata di akhir proses pipeline. Dapat dikonfigurasi untuk berjalan hanya pada saat berhasil, hanya pada saat gagal, atau selalu pada akhir proses.

TMS

Menerbitkan peringatan ke CDAP Transactional Messaging System (TMS) sebagai objek JSON.

Apache

Plugin untuk Apache.

Cassandra

Sink batch yang menulis data ke Apache Cassandra.

Cassandra

Sumber batch yang membaca dari Apache Cassandra.

HBase

Menulis kumpulan data ke tabel HBase dengan satu kolom yang dipetakan ke row key, dan semua kolom kumpulan data lainnya yang dipetakan ke penentu kolom.

HBase

Sumber batch yang membaca dari grup kolom dalam tabel HBase.

Hive Bulk Export

Hive Export akan mengambil kueri yang dipilih sebagai input untuk menjalankan kueri tersebut pada tabel hive dan menyimpan hasilnya di lokasi yang ditentukan.

Hive Bulk Import

Mengimpor data dari direktori/file ke tabel Hive menggunakan Hive Load Statement.

HTTP to HDFS

Tindakan untuk mengambil data dari endpoint http eksternal dan membuat file di HDFS.

Kafka Alert Publisher

Kafka Alert Publisher yang memungkinkan Anda memublikasikan peringatan ke Kafka sebagai objek JSON.

Kafka Consumer

Sumber batch Kafka yang membaca peristiwa dari Apache Kafka dalam pipeline batch.

Kafka Consumer

Sumber streaming Kafka yang membaca peristiwa dari Apache Kafka dalam pipeline streaming.

Kafka Producer

Sink Kafka yang memungkinkan Anda menulis peristiwa ke CSV atau JSON ke Kafka.

Kudu

Plugin CDAP untuk menyerap data ke Apache Kudu. Plugin dapat dikonfigurasi untuk pipeline batch dan real-time.

Kudu

Plugin CDAP untuk membaca data dari tabel Apache Kudu.

PySpark Program

Menjalankan kode Spark yang disediakan pengguna di Python.

Repartitioner

Plugin ini mempartisi ulang RDD Spark.

Scala Spark Compute

Menjalankan kode Spark yang disediakan pengguna di Scala yang mentransformasi RDD menjadi RDD dengan akses penuh ke semua fitur Spark.

Scala Spark Program

Menjalankan kode Spark yang disediakan pengguna di Scala.

Spark

Menjalankan kode Spark yang disediakan pengguna di Scala yang beroperasi pada RDD input atau Dataframe dengan akses penuh ke semua fitur Spark.

Webserver Log Parser

Mengurai log dari sumber input apa pun untuk informasi yang relevan seperti URI, IP, browser, perangkat, kode status HTTP, dan stempel waktu.

API

Plugin untuk berbagai API.

Anaplan

Plugin sumber untuk memuat data dari model Anaplan ke dalam pipeline data.

Anaplan

Plugin sink untuk mendukung impor data dari CDAP ke server Anaplan.

Anaplan Function

Melakukan Tindakan/Proses yang telah ditentukan sebelumnya dalam model Anaplan tertentu. Ini biasa digunakan untuk mempersiapkan impor dan ekspor data.

Facebook Ads

Membaca Data iklan dari Facebook Insights API dalam pipeline batch.

GitHub

Membaca dari GitHub dalam pipeline batch.

Google Ads Multiple Reports

Membaca semua laporan Google Ads dari akun Google Ads dalam pipeline batch.

Google Ads Single Report

Membaca jenis laporan tertentu dari akun Google Ads dalam pipeline batch.

Google Analytics Batch

Membaca dari Google Analytics 360 dalam pipeline batch.

Google Analytics Streaming

Membaca dari Google Analytics 360 dalam pipeline streaming.

Google Drive

Membaca file dari direktori Google Drive tertentu melalui Google Drive API.

Google Drive

Plugin sink menyimpan file dari pipeline ke direktori Google Drive melalui Google Drive API.

Google Search Console

Membaca dari Google Search Console dalam pipeline batch.

Google Spreadsheet

Menulis spreadsheet ke direktori Google Drive yang ditentukan.

Google Spreadsheet

Membaca spreadsheet dari direktori Google Drive yang ditentukan.

HTTP

Membaca data dalam format JSON, XML, CSV, TSV, TEXT, dan BLOB dari API HTTP/HTTPS dalam pipeline batch.

HTTP

Plugin sink untuk mengirim pesan dari pipeline ke endpoint http eksternal.

HTTP Callback

Menjalankan permintaan HTTP di akhir proses pipeline.

HTTP Poller

Ini adalah sumber streaming yang akan mengambil data dari URL tertentu pada interval tertentu dan meneruskan hasilnya ke plugin berikutnya.

HTTP Streaming

Membaca data dalam format JSON, XML, CSV, TSV, TEXT, dan BLOB dari API HTTP/HTTPS di pipeline streaming.

HTTP to HDFS

Tindakan untuk mengambil data dari endpoint http eksternal dan membuat file di HDFS.

HubSpot

Plugin untuk menulis data ke CRM HubSpot dalam pipeline batch dan streaming.

HubSpot

Membaca data dari CRM HubSpot di pipeline streaming.

HubSpot

Membaca data dari CRM HubSpot dalam pipeline batch.

Salesforce

Sumber ini membaca sObject seperti peluang, kontak, akun, prospek, objek kustom apa pun, dll. dari Salesforce dalam batch.

Salesforce

Sumber ini melacak pembaruan di sObject Salesforce. Contoh sObject adalah peluang, kontak, akun, prospek, objek kustom apa pun, dll.

Salesforce

Sink batch yang menyisipkan sObject seperti peluang, kontak, akun, prospek, objek kustom apa pun, dll. ke dalam Salesforce.

Salesforce Marketing Cloud

Sumber ini melacak pembaruan di sObject Salesforce seperti peluang, kontak, akun, prospek, objek kustom apa pun, dll.

Salesforce Marketing Cloud

Sink ini menyisipkan kumpulan data ke dalam Ekstensi Data Salesforce Marketing Cloud (SFMC) melalui integrasi server-ke-server dengan SFMC API.

Salesforce Multi Objects

Sumber ini membaca beberapa sObject dari Salesforce. Ini harus digunakan bersama dengan multi-sink.

ServiceNow

Membaca dari satu atau beberapa tabel dalam ServiceNow.

Speech To Text

Plugin ini melakukan konversi file audio menjadi teks dengan menggunakan Speech-to-Text.

Splunk

Membaca dari Splunk di pipeline streaming.

Splunk

Membaca dari Splunk dalam pipeline batch.

Zendesk

Membaca objek seperti Komentar Artikel, Komentar Postingan, Komentar Permintaan, Komentar Tiket, Grup, Organisasi, Rating Kepuasan, Tag, Kolom Tiket, Metrik Tiket, Peristiwa Metrik Tiket, Tiket, Pengguna dari Zendesk.

Zendesk Multi Objects

Multi-sumber yang membaca beberapa objek dari Zendesk dan merutekannya ke tujuan tertentu. Harus digunakan bersama dengan multi-sink.

Zuora

Plugin untuk menulis data ke Zuora dalam pipeline batch dan streaming.

Zuora

Membaca data dari Zuora dalam pipeline batch.

Avro

Plugin untuk Avro.

File

Menulis ke sistem file dalam berbagai format.

File

Sumber ini digunakan kapan pun Anda perlu membaca dari sistem file terdistribusi.

Cloud Storage

Menulis kumpulan data ke satu atau beberapa file dalam direktori di Cloud Storage dalam berbagai format seperti CSV, Avro, Parquet, dan JSON.

AWS

Plugin yang tersedia untuk AWS.

Amazon S3

Sumber ini digunakan kapan pun Anda perlu membaca dari Amazon S3.

Amazon S3

Sink ini digunakan untuk menulis ke Amazon S3 dalam berbagai format.

Amazon S3 Client

Amazon S3 Client Action digunakan untuk bekerja dengan bucket dan objek S3 sebelum atau setelah eksekusi pipeline.

Kinesis Sink

Sink Kinesis yang menghasilkan output ke Amazon Kinesis Stream tertentu.

Kinesis Source

Sumber streaming Spark yang membaca dari aliran data AWS Kinesis.

Redshift to S3

Redshift To S3 Action menjalankan perintah UNLOAD di AWS untuk menyimpan hasil kueri dari Redshift ke satu atau beberapa file di Amazon S3.

S3 to Redshift

S3 To Redshift Action yang akan memuat data dari bucket AWS S3 ke dalam tabel AWS Redshift.

Cleansing

Plugin untuk pembersihan.

Deduplicate

Menghapus duplikat kumpulan data menggunakan satu atau beberapa kolom atau dengan menggunakan kumpulan data secara keseluruhan. Selain itu, ini mendukung pemilihan kumpulan data secara logis dari kumpulan data duplikat berdasarkan kolom filter. Fungsi logis yang didukung adalah max, min, first, dan last.

Distinct

Menghapus duplikat kumpulan data input sehingga semua kumpulan data output berbeda.

Fast Filter

Memfilter pesan berdasarkan kriteria tertentu.

Cloud DLP PII Filter

Memisahkan kumpulan data sensitif berdasarkan apakah data tersebut cocok dengan template yang ditentukan pengguna menggunakan API Cloud Data Loss Prevention (DLP).

Wrangler

Plugin ini menerapkan perintah transformasi data yang dihasilkan melalui UI interaktif atau secara manual pada kumpulan data Anda.

Cloud Storage

Plugin yang tersedia untuk penyimpanan cloud.

Amazon S3

Sumber ini digunakan kapan pun Anda perlu membaca dari Amazon S3.

Azure Blob Store

Sumber batch untuk menggunakan Microsoft Azure Blob Storage sebagai sumber.

Azure Decompress

Plugin Azure Decompress Action membuka file gz dari container di layanan Azure Storage Blob ke container lain.

Cloud Storage to Snowflake

Memuat data dari file stage eksternal atau internal di Cloud Storage ke tabel Snowflake yang ada.

Cloud Storage

Plugin sink ini menulis kumpulan data ke satu atau beberapa file di direktori pada Cloud Storage dalam berbagai format seperti CSV, Avro, Parquet, dan JSON.

Cloud Storage

Plugin ini membaca objek dari jalur di bucket Cloud Storage.

Cloud Storage Argument Setter

Membaca dari file Cloud Storage untuk mengambil argumen yang akan disetel dalam pipeline.

Cloud Storage Delete

Plugin ini menghapus objek di bucket Cloud Storage.

Cloud Storage Copy

Plugin ini menyalin objek dari bucket Cloud Storage ke bucket lainnya. Satu objek dapat disalin, atau direktori objek dapat disalin.

Cloud Storage Create

Plugin ini membuat objek di bucket Cloud Storage.

Cloud Storage Move

Plugin ini memindahkan objek dari satu bucket Cloud Storage ke bucket lainnya. Satu objek dapat dipindahkan, atau direktori objek dapat dipindahkan.

Cloud Storage Multi FIle

Plugin ini digunakan bersamaan dengan sumber MultiTableDatabase untuk menulis kumpulan data dari beberapa database ke dalam direktori terpisah.

Cloud Storage Done File Marker

Membuat file DONE (atau SUCCESS) kosong di bucket Cloud Storage tertentu setelah pipeline selesai, berhasil, atau gagal, untuk mengatur proses dependen.

Microsoft Azure Delete

Plugin Azure Delete Action menghapus container di layanan Azure Storage Blob.

Snowflake to Cloud Storage

Memindahkan muatan data dari tabel Snowflake ke lokasi Cloud Storage (stage) internal atau eksternal.

Code

Plugin untuk menjalankan kode Anda sendiri.

JavaScript

Menjalankan JavaScript yang disediakan pengguna yang mentransformasi satu kumpulan data menjadi nol atau beberapa kumpulan data.

PySpark Program

Menjalankan kode Spark yang disediakan pengguna di Python.

Python Evaluator

Menjalankan kode Python yang disediakan pengguna untuk mentransformasi kumpulan data input, yang tersedia sebagai kamus Python.

Scala Spark Compute

Menjalankan kode Spark yang disediakan pengguna di Scala yang mentransformasi RDD menjadi RDD dengan akses penuh ke semua fitur Spark.

Scala Spark Program

Menjalankan kode Spark yang disediakan pengguna di Scala.

Spark

Menjalankan kode Spark yang disediakan pengguna di Scala yang beroperasi pada RDD input atau Dataframe dengan akses penuh ke semua fitur Spark.

Compression

Plugin untuk kompresi.

Compressor

Mengompresi kolom yang dikonfigurasi menggunakan algoritma kompresi yang berbeda seperti SNAPPY, ZIP, dan GZIP.

Azure Decompress

Decompress Action digunakan untuk memperluas file yang diarsipkan atau dikompresi (.zip, .gz, .tar, .tar.gz, dll.) sebelum diproses lebih lanjut dalam pipeline.

Field Decompresser

Mendekompresi kolom yang dikonfigurasi menggunakan algoritma kompresi seperti SNAPPY, ZIP, dan GZIP.

Conditional

Pipeline juga menawarkan plugin aliran kontrol dalam bentuk kondisi. Plugin kondisi memungkinkan Anda membuat cabang pipeline Anda menjadi dua jalur terpisah, tergantung pada apakah predikat kondisi tertentu bernilai benar atau salah.

Conditional

Plugin aliran kontrol yang memungkinkan eksekusi kondisional dalam pipeline berdasarkan ekspresi.

Error Collector

Mengumpulkan kesalahan yang dikeluarkan dari stage sebelumnya dan menambahkan pesan error kode, dan stage ke kumpulan data.

Fail Pipeline

Sink batch yang menyebabkan pipeline gagal segera setelah menerima kumpulan data pertama.

Null Field Splitter

Plugin ini mengirimkan kumpulan data dengan nilai null untuk kolom tertentu ke port null dan kumpulan data dengan nilai bukan null ke port bukan null.

Decompress

Merutekan kumpulan data ke port yang sesuai berdasarkan evaluasi ekspresi pada nilai salah satu kolomnya atau lebih.

Union Splitter

Pemisah union digunakan untuk memisahkan data berdasarkan skema union, sehingga logika khusus jenis dapat dilakukan di downstream.