Ringkasan konektivitas terkelola

Dokumen ini memberikan ringkasan tentang pipeline konektivitas terkelola yang dapat Anda gunakan untuk mengimpor metadata dari sumber pihak ketiga ke Dataplex Universal Catalog.

Konektivitas terkelola memungkinkan Anda mengimpor metadata ke Katalog Universal Dataplex dalam skala besar. Pipeline konektivitas terkelola mengekstrak metadata dari sumber data Anda, lalu mengimpor metadata ke Katalog Universal Dataplex. Jika perlu, pipeline juga akan membuat grup entri Katalog Universal Dataplex di projectGoogle Cloud Anda. Anda dapat mengatur alur kerja, dan menjadwalkan tugas impor berdasarkan persyaratan Anda.

Anda membuat konektor kustom sendiri untuk mengekstrak metadata dari sumber pihak ketiga. Misalnya, Anda dapat membuat konektor untuk mengekstrak metadata dari sumber seperti MySQL, SQL Server, Oracle, Snowflake, Databricks, dan lainnya. Untuk mengetahui langkah-langkah dalam mem-build contoh konektor kustom, lihat Mengembangkan konektor kustom untuk impor metadata. Anda juga dapat menggunakan konektor kustom kontribusi komunitas yang tersedia untuk berbagai sumber pihak ketiga.

Untuk mengetahui langkah-langkah menjalankan pipeline konektivitas terkelola, lihat Mengimpor metadata dari sumber kustom menggunakan Alur Kerja.

Cara kerja konektivitas terkelola

Diagram berikut menunjukkan pipeline konektivitas terkelola.

Pipeline konektivitas terkelola.

Pada tingkat tinggi, berikut cara kerja konektivitas terkelola:

  1. Anda mem-build konektor untuk sumber data.

    Konektor harus berupa image Artifact Registry yang dapat berjalan di Dataproc Serverless.

  2. Anda menjalankan pipeline konektivitas terkelola di Workflows, sebuah platform orkestrasi.

  3. Pipeline konektivitas terkelola melakukan hal berikut:

    1. Membuat grup entri target berdasarkan konfigurasi Anda, jika grup entri belum ada.
    2. Menjalankan konektor. Konektor mengekstrak metadata dari sumber data Anda dan membuat file impor metadata yang dapat diimpor ke Katalog Universal Dataplex.
    3. Memantau progres ekstraksi metadata.
    4. Menjalankan tugas impor metadata untuk mengimpor metadata ke Katalog Universal Dataplex.
    5. Memantau progres tugas impor metadata.

Pipeline konektivitas terkelola menggunakan Dataproc Serverless untuk menjalankan konektor, dan metode API impor metadata Katalog Universal Dataplex untuk menjalankan tugas impor metadata.

Metadata yang Anda impor terdiri dari entri Katalog Universal Dataplex dan aspeknya. Untuk informasi selengkapnya tentang metadata Katalog Universal Dataplex, lihat Tentang pengelolaan katalog data di Katalog Universal Dataplex.

Konektor kustom yang dikontribusikan komunitas

Untuk mengimpor metadata dari sumber pihak ketiga, Anda dapat menggunakan konektor kustom yang dikontribusikan oleh komunitas. Lihat file README setiap konektor untuk mengetahui petunjuk penyiapan dan informasi selengkapnya tentang konektor.

Sumber data Repositori
MySQL mysql-connector
Oracle oracle-connector
PostgreSQL postgresql-connector
Snowflake snowflake-connector
SQL Server sql-server-connector

Langkah berikutnya