Concetti di data mesh

Prima di passare alla guida dettagliata sull'implementazione di Data Mesh con Google Cloud Cortex Framework, questa pagina fornisce una base su come i concetti di Data Mesh pertinenti vengono generalmente implementati all'interno di un prodotto e in particolare con il contesto di Cortex Framework. Google Cloud Dopo aver compreso i concetti di Data Mesh, consulta la Guida per l'utente di Data Mesh per Cortex Framework Data Foundation.

Dataplex Universal Catalog

La seguente tabella definisce i concetti di data mesh in Dataplex Universal Catalog:

Concept Descrizione Contesto di Cortex Framework
Lake Unità di primo livello per l'organizzazione dei dati all'interno di un Data Mesh. Gestisci Dataplex Universal Catalog - Lakes. Un'origine dati, ad esempio SAP ECC, Salesforce, Google Ads.
Zona Unità di secondo livello per l'organizzazione dei dati all'interno di un lake. Livelli di elaborazione specifici all'interno di un'origine dati, ad esempio dati non elaborati e CDC.
Asset del Catalogo universale Dataplex Riferimento ai dati archiviati in Cloud Storage o BigQuery associati a una zona. Si tratta di un riferimento all'asset di dati e non ai dati stessi. Riferimento ai set di dati BigQuery registrati nelle zone.
Etichetta Coppie chiave-valore arbitrarie che possono essere applicate a laghi o zone. Etichetta interi lake o zone (anziché tabelle o colonne) con metadati che possono essere visualizzati in Dataplex Universal Catalog o utilizzati per applicazioni personalizzate.
Data Catalog Metadati aziendali tecnici che possono essere utilizzati per individuare, comprendere o gestire gli asset di dati all'interno di un warehouse. Annota tabelle o colonne (anziché lakes o zone) con tag di metadati avanzati che possono essere utilizzati nella ricerca di Dataplex Universal Catalog o in applicazioni personalizzate.
Modelli di tag catalogo Un modello che definisce i campi disponibili e i relativi tipi in un tag. Gestisci Dataplex Universal Catalog - Tag Templates Definisci un insieme di modelli per utilizzi come l'assegnazione di tag agli asset di dati con linee di business.
Tag catalogo Un insieme di campi e relativi valori che contengono metadati applicabili a una tabella o a una colonna. Un'istanza di un modello di tag. Annota una tabella o una colonna con valori di metadati pertinenti all'asset, ad esempio una particolare linea di business.
Glossario del catalogo Un dizionario di termini che possono essere definiti e associati alle colonne BigQuery. Gestisci Dataplex Universal Catalog - Glossaries. Definisci i termini o gli acronimi utilizzati in BigQuery Assets. Tieni presente che questa funzionalità è pianificata per il futuro e non è supportata.
Data Lineage Un grafico che rappresenta le dipendenze degli asset BigQuery. Questi non sono definiti da Cortex Data Mesh, ma è uno strumento pertinente di Dataplex Universal Catalog per aiutare gli utenti a scoprire le origini dati degli asset BigQuery.
Evento di derivazione Un momento specifico in cui si è verificata un'operazione per spostare i dati tra gli asset BigQuery. Contiene un elenco di link. Creati automaticamente per le operazioni BigQuery e Composer supportate.
Link di derivazione Un arco che rappresenta il flusso di dati da una risorsa di origine a una di destinazione nell'ambito di un evento di derivazione. Può essere analizzato per supportare casi d'uso oltre ai grafici di visualizzazione della derivazione presentati nella console.

BigQuery

La seguente tabella definisce i concetti di Data Mesh in BigQuery:

Concept Descrizione Contesto di Cortex Framework
Tassonomia dei criteri Una gerarchia di tag di policy. Gestisci BigQuery - Policy Tags. Organizza i tag policy correlati che possono essere utilizzati per controllo dell'accesso in una gerarchia con autorizzazioni ereditate.
Tag di policy Un tag applicato a colonne specifiche all'interno di una tabella o una vista BigQuery. I tag dei criteri a qualsiasi livello della gerarchia possono essere applicati. A una determinata colonna può essere applicato un solo tag di criteri. Annota le colonne con tag utilizzati per controllo dell'accesso a livello di colonna. Le entità nel tag di criteri definiscono i lettori "granulari" o "non mascherati" che possono visualizzare i dati delle colonne non elaborate.
Policy relative ai dati Policy applicate a un tag di criteri che definiscono come e chi può visualizzare i dati delle colonne mascherate. Le entità nei criteri dei dati definiscono i "lettori mascherati" che possono visualizzare i dati delle colonne mascherate. Chiunque non disponga dei privilegi di lettura mascherati o non mascherati non potrà eseguire query sulla colonna.
Regola di mascheramento Regole applicate a un criterio dei dati che definiscono la modalità di mascheramento dei dati, ad esempio hashing, visualizzazione di un valore predefinito, degli ultimi quattro caratteri e altri. Applicato in base alla situazione alle colonne sensibili.
Policy di accesso alle righe Istruzioni SQL che definiscono quali gruppi possono eseguire query sulle righe all'interno delle tabelle in base a valori di colonne specifici. Utilizzato per controllo dell'accesso a livello di riga quando il controllo a livello di asset e colonna non è sufficiente.

Concetto di Cortex Data Mesh

La tabella seguente definisce concetti specifici di Data Mesh all'interno di Cortex Framework:

Concept Descrizione Contesto di Cortex Framework
Risorsa metadati Entità di metadati riutilizzabili in più asset BigQuery. Esempi sono laghi, modelli di tag del catalogo e tassonomie delle norme. Si tratta in particolare dei metadati e non dei dati in BigQuery. Definisce risorse riutilizzabili per consentire una gestione coerente di Cortex Data Mesh.
Asset BigQuery Tabella o visualizzazione BigQuery. Oggetti BigQuery Cortex esistenti gestiti con il Data Mesh.
BigQuery Asset Annotation Metadati applicati a una specifica tabella o vista BigQuery. Sono inclusi descrizioni, criteri di accesso e mappature alle risorse dei metadati. Associa i metadati agli asset BigQuery per consentire il rilevamento e controllo dell'accesso.
Specifiche delle risorse Un file YAML che definisce una risorsa di metadati o un'annotazione di asset BigQuery. L'insieme completo delle specifiche delle risorse codifica la configurazione del data mesh da implementare.