Konsep Mesh Data
Sebelum mempelajari panduan mendetail tentang men-deploy Mesh Data dengan Google Cloud Cortex Framework, halaman ini memberikan dasar tentang cara konsep Mesh Data yang relevan umumnya diterapkan dalam produk dan khususnya dengan konteks Cortex Framework. Google Cloud Setelah memahami konsep Data Mesh, lihat Panduan Pengguna Data Mesh untuk Data Foundation Cortex Framework.
Katalog Universal Dataplex
Tabel berikut mendefinisikan konsep Mesh Data dalam Dataplex Universal Catalog:
Konsep | Deskripsi | Konteks Cortex Framework |
Lake | Unit tingkat teratas untuk mengatur data dalam Mesh Data. Mengelola Dataplex Universal Catalog - Lakes. | Sumber data, misalnya, SAP ECC , Salesforce , Google Ads .
|
Zona | Unit tingkat kedua untuk mengatur data dalam Lake. | Lapisan pemrosesan tertentu dalam sumber data, seperti data mentah versus CDC. |
Aset Dataplex Universal Catalog | Referensi ke data yang disimpan di Cloud Storage atau BigQuery yang terkait dengan zona. Ini adalah referensi ke aset data, bukan data itu sendiri. | Referensi ke set data BigQuery yang terdaftar di zona. |
Label | Pasangan nilai kunci arbitrer yang dapat diterapkan ke lake atau zona. | Beri label pada seluruh data lake atau zona (bukan tabel atau kolom) dengan metadata yang dapat dilihat di Dataplex Universal Catalog atau digunakan untuk aplikasi kustom. |
Data Catalog | Metadata bisnis teknis yang dapat digunakan untuk membantu menemukan, memahami, atau mengelola aset data dalam warehouse. | Anotasikan tabel atau kolom (bukan data lake atau zona) dengan tag metadata lengkap yang dapat digunakan dalam penelusuran Dataplex Universal Catalog atau aplikasi kustom. |
Template Tag Katalog | Template yang menentukan kolom yang tersedia dan jenisnya dalam tag. Mengelola Dataplex Universal Catalog - Tag Templates | Tentukan sekumpulan template untuk penggunaan seperti memberi tag pada aset data dengan lini bisnis. |
Tag Katalog | Kumpulan kolom dan nilainya yang berisi metadata yang berlaku untuk tabel atau kolom. Instance template tag. | Anotasikan tabel atau kolom dengan nilai metadata yang relevan dengan aset tersebut, seperti lini bisnis tertentu. |
Glosarium Katalog | Kamus istilah yang dapat ditentukan dan dikaitkan dengan kolom BigQuery. Mengelola Dataplex Universal Catalog - Glosarium. | Tentukan istilah atau akronim yang digunakan di Aset BigQuery. Perhatikan bahwa fitur ini direncanakan untuk masa mendatang dan tidak didukung. |
Urutan Data | Grafik yang merepresentasikan dependensi Aset BigQuery. | Namun, alat ini tidak ditentukan oleh Cortex Data Mesh, tetapi merupakan alat Katalog Universal Dataplex yang relevan untuk membantu pengguna menemukan sumber data Aset BigQuery. |
Peristiwa Silsilah | Titik waktu saat operasi terjadi untuk memindahkan data antar-Aset BigQuery. Berisi daftar Link. | Dibuat secara otomatis untuk operasi BigQuery dan Composer yang didukung. |
Link Silsilah | Edge yang merepresentasikan aliran data dari aset sumber ke target sebagai bagian dari Peristiwa Silsilah. | Data ini dapat dianalisis untuk mendukung kasus penggunaan di luar grafik visualisasi silsilah yang ditampilkan di konsol. |
BigQuery
Tabel berikut mendefinisikan konsep Data Mesh dalam BigQuery:
Konsep | Deskripsi | Konteks Cortex Framework |
Taksonomi Kebijakan | Hierarki tag kebijakan. Kelola BigQuery - Tag Kebijakan. | Atur tag kebijakan terkait yang dapat digunakan untuk kontrol akses ke dalam hierarki dengan izin yang diwariskan. |
Tag Kebijakan | Tag yang diterapkan ke kolom tertentu dalam tabel atau tampilan BigQuery. Tag kebijakan di tingkat mana pun dalam hierarki dapat diterapkan. Hanya satu tag kebijakan yang dapat diterapkan ke kolom tertentu. | Anotasikan kolom dengan tag yang digunakan untuk kontrol akses tingkat kolom. Akun utama pada tag kebijakan menentukan Pembaca 'Perincian' atau 'Tidak Disamarkan' yang dapat melihat data kolom mentah. |
Kebijakan Data | Kebijakan yang diterapkan ke Tag Kebijakan yang menentukan cara dan siapa yang dapat melihat data kolom yang disamarkan. | Akun utama di Kebijakan Data menentukan 'Pembaca yang disamarkan' yang dapat melihat data kolom yang disamarkan. Siapa pun yang tidak memiliki hak istimewa pembaca bertopeng atau tidak bertopeng tidak akan dapat mengkueri kolom. |
Aturan Penyamaran | Aturan yang diterapkan pada Kebijakan Data yang menentukan cara data disamarkan, misalnya, hashing, menampilkan nilai default, empat karakter terakhir, dan lainnya. | Diterapkan secara situasional ke kolom sensitif. |
Kebijakan Akses Baris | Pernyataan SQL yang menentukan grup mana yang dapat membuat kueri baris dalam tabel berdasarkan nilai kolom tertentu. | Digunakan untuk kontrol akses tingkat baris saat kontrol tingkat aset dan kolom tidak memadai. |
Konsep Cortex Data Mesh
Tabel berikut menentukan konsep Data Mesh tertentu dalam Cortex Framework:
Konsep | Deskripsi | Konteks Cortex Framework |
Resource Metadata | Entitas metadata yang dapat digunakan kembali di beberapa aset BigQuery. Contohnya adalah Lakes, Catalog Tag Templates, dan Policy Taxonomies. Ini secara khusus adalah metadata dan bukan data di BigQuery itu sendiri. | Menentukan resource yang dapat digunakan kembali untuk memungkinkan pengelolaan Cortex Data Mesh yang konsisten. |
Aset BigQuery | Tabel atau tampilan BigQuery. | Objek BigQuery Cortex yang ada yang diatur dengan Data Mesh. |
Anotasi Aset BigQuery | Metadata yang diterapkan ke tabel atau tampilan BigQuery tertentu. Hal ini mencakup deskripsi, kebijakan akses, dan pemetaan ke Resource Metadata. | Mengaitkan metadata dengan Aset BigQuery untuk mengaktifkan penemuan dan kontrol akses. |
Spesifikasi Resource (spec) | File YAML yang menentukan Resource Metadata atau Anotasi Aset BigQuery. | Set lengkap spesifikasi resource mengodekan konfigurasi Data Mesh yang akan di-deploy. |