Conceptos de malla de datos

Antes de consultar la guía detallada sobre cómo implementar Data Mesh con Google Cloud Cortex Framework, esta página explica cómo se implementan generalmente los conceptos relevantes de Data Mesh en un producto y, en concreto, en el contexto de Cortex Framework. Google Cloud Una vez que hayas comprendido los conceptos de Data Mesh, consulta la guía de usuario de Data Mesh de Cortex Framework Data Foundation.

Dataplex Universal Catalog

En la siguiente tabla se definen los conceptos de malla de datos en Dataplex Universal Catalog:

Concepto	Descripción	Contexto de Cortex Framework
Lake	Unidad de nivel superior para organizar los datos en una malla de datos. Gestionar Dataplex Universal Catalog - Lakes.	Una fuente de datos, por ejemplo, SAP ECC, Salesforce o Google Ads.
Zona	Unidad de segundo nivel para organizar los datos de un lago.	Capas de procesamiento específicas de una fuente de datos, como datos sin procesar o CDC.
Recurso de Dataplex Universal Catalog	Referencia a los datos almacenados en Cloud Storage o BigQuery que están asociados a una zona. Se trata de una referencia al recurso de datos, no a los datos en sí.	Referencia a conjuntos de datos de BigQuery registrados en zonas.
Etiqueta	Pares clave-valor arbitrarios que se pueden aplicar a lagos o zonas.	Etiqueta lagos o zonas enteros (en lugar de tablas o columnas) con metadatos que se pueden ver en Dataplex Universal Catalog o usar en aplicaciones personalizadas.
Data Catalog	Metadatos técnicos empresariales que se pueden usar para descubrir, comprender o gestionar recursos de datos en un almacén.	Anota tablas o columnas (en lugar de lagos o zonas) con etiquetas de metadatos enriquecidas que se pueden usar en la búsqueda de Dataplex Universal Catalog o en aplicaciones personalizadas.
Plantillas de etiquetas de catálogo	Plantilla que define los campos disponibles y sus tipos en una etiqueta. Gestionar Dataplex Universal Catalog - Tag Templates (Dataplex Universal Catalog - Plantillas de etiquetas)	Define un conjunto de plantillas para usos como etiquetar recursos de datos con líneas de negocio.
Etiqueta de catálogo	Conjunto de campos y sus valores que contienen metadatos aplicables a una tabla o columna. Una instancia de una plantilla de etiqueta.	Anota una tabla o una columna con valores de metadatos relevantes para ese recurso, como una línea de negocio concreta.
Glosario de Catalog	Diccionario de términos que se pueden definir y asociar a columnas de BigQuery. Gestionar Dataplex Universal Catalog - Glosarios.	Define los términos o acrónimos que se usan en los recursos de BigQuery. Ten en cuenta que esto está previsto para el futuro y no se admite.
Linaje de datos	Gráfico que representa las dependencias de los recursos de BigQuery.	No están definidos por Cortex Data Mesh, pero son una herramienta relevante del catálogo universal de Dataplex que ayuda a los usuarios a descubrir fuentes de datos de recursos de BigQuery.
Evento de linaje	Un momento en el que se ha producido una operación para mover datos entre recursos de BigQuery. Contiene una lista de enlaces.	Se crea automáticamente para las operaciones compatibles de BigQuery y Composer.
Enlace de linaje	Arista que representa el flujo de datos de un elemento de origen a un elemento de destino como parte de un evento de linaje.	Se puede analizar para admitir casos prácticos más allá de los gráficos de visualización de linaje que se presentan en la consola.

BigQuery

En la siguiente tabla se definen los conceptos de Data Mesh en BigQuery:

Concepto	Descripción	Contexto de Cortex Framework
Taxonomía de políticas	Una jerarquía de etiquetas de política. Gestionar BigQuery - Etiquetas de política.	Organiza las etiquetas de política relacionadas que se pueden usar para controlar el acceso en una jerarquía con permisos heredados.
Etiqueta de política	Etiqueta que se aplica a columnas específicas de una tabla o una vista de BigQuery. Se pueden aplicar etiquetas de política en cualquier nivel de la jerarquía. Solo se puede aplicar una etiqueta de política a una columna concreta.	Anota las columnas con etiquetas que se usan para el control de acceso a nivel de columna. Las entidades de seguridad de la etiqueta de política definen los lectores "Granular" o "Sin máscara" que pueden ver los datos de las columnas sin procesar.
Política de Datos	Políticas aplicadas a una etiqueta de política que definen cómo y quién puede ver los datos de la columna enmascarada.	Las entidades de seguridad de la política de datos definen los lectores enmascarados que pueden ver los datos de las columnas enmascaradas. Cualquier persona que no tenga privilegios de lector enmascarado o sin enmascarar no podrá consultar la columna.
Regla de enmascaramiento	Reglas aplicadas a una política de datos que definen cómo se enmascaran los datos (por ejemplo, mediante hash, mostrando un valor predeterminado o los cuatro últimos caracteres, entre otros).	Se aplica de forma puntual a las columnas sensibles.
Política de acceso a las filas	Instrucciones SQL que definen qué grupos pueden consultar filas de tablas en función de valores de columna específicos.	Se usa para el control de acceso a nivel de fila cuando el control a nivel de recurso y de columna no es suficiente.

Concepto de malla de datos de Cortex

En la siguiente tabla se definen conceptos específicos de Data Mesh en Cortex Framework:

Concepto	Descripción	Contexto de Cortex Framework
Recurso de metadatos	Entidades de metadatos que se pueden reutilizar en varios recursos de BigQuery. Por ejemplo, Lakes, Catalog Tag Templates y Policy Taxonomies. Se trata específicamente de los metadatos y no de los datos de BigQuery.	Define recursos reutilizables para permitir la gestión coherente de Cortex Data Mesh.
Recurso de BigQuery	Tabla o vista de BigQuery.	Objetos de BigQuery de Cortex que se rigen por la malla de datos.
Anotación de recursos de BigQuery	Metadatos aplicados a una tabla o vista de BigQuery específica. Esto incluye descripciones, políticas de acceso y asignaciones a recursos de metadatos.	Asocia metadatos a los recursos de BigQuery para habilitar la detección y el control de acceso.
Especificación de recursos (spec)	Un archivo YAML que define un recurso de metadatos o una anotación de recurso de BigQuery.	El conjunto completo de especificaciones de recursos codifica la configuración de la malla de datos que se va a implementar.