Información general sobre Dataplex Universal Catalog

Dataplex Universal Catalog es una solución de gobernanza unificada e inteligente para los recursos de datos y de IA en Google Cloud. Con Dataplex Universal Catalog, puedes usar la IA para simplificar las consultas de datos, el control de calidad y las estadísticas empresariales.

Dataplex Universal Catalog lleva a cabo la gobernanza a gran escala. Por ejemplo, imagina una empresa minorista internacional que genera grandes cantidades de datos de ventas, inventario y clientes que se almacenan en Cloud Storage, Spanner y Pub/Sub. Si los datos están distribuidos en varios sistemas, puede ser complejo y llevar mucho tiempo gestionar la gobernanza, asegurar la calidad y mantener el cumplimiento. Dataplex Universal Catalog simplifica este proceso al proporcionar una vista centralizada para descubrir, perfilar, validar, monitorizar el linaje y controlar el acceso a los recursos de datos de la organización.

¿Por qué usar Dataplex Universal Catalog?

Dataplex Universal Catalog gobierna los datos mediante las siguientes funciones:

  • Catalogación de metadatos. Recupera metadatos de recursos (en BigQuery, Cloud SQL, Spanner, Vertex AI, Pub/Sub, Dataform y Dataproc Metastore) y de recursos de terceros que incorpores al catálogo universal de Dataplex para obtener una vista general de tus recursos de datos. Google Cloud
  • Descubrimiento de datos. Analiza datos estructurados y no estructurados en segmentos de Cloud Storage para extraer y catalogar sus metadatos.
  • Estadísticas de datos. Usa la IA para generar preguntas en lenguaje natural sobre tus datos, identificar patrones, evaluar la calidad de los datos y realizar análisis estadísticos.
  • Perfilado de datos. Identifica las características comunes de los datos de las columnas de tus tablas de BigQuery, como los valores de datos típicos, la distribución de los datos y el número de valores nulos, que pueden ayudarte a clasificar los datos y a asegurar su calidad.
  • Calidad de los datos. Define y mide la calidad de los datos de tus tablas de BigQuery validando los datos con las políticas de la organización y registrando alertas si los datos no cumplen los criterios de calidad.
  • Glosario empresarial. Gestiona la terminología y las definiciones relacionadas con la empresa en toda tu organización y asocia términos a las columnas de las tablas para fomentar una comprensión coherente del uso de los datos.
  • Linaje de datos. Monitoriza cómo se mueven los datos por tus sistemas: de dónde proceden, a dónde se transfieren y qué transformaciones se les aplican.

Dataplex Universal Catalog admite un ciclo de vida de los datos completo, desde el descubrimiento distribuido hasta las estadísticas empresariales. Las funciones de gobernanza también están disponibles en BigQuery.

Casos prácticos

Puede usar Dataplex Universal Catalog para hacer lo siguiente:

  • Descubre y comprende tus datos. Dataplex Universal Catalog te permite ver los recursos de datos de toda la organización. Te permite encontrar recursos relevantes para tus necesidades de consumo de datos. Proporciona contexto sobre los recursos de datos, lo que te ayuda a determinar si son adecuados para las necesidades de tus consumidores de datos.

  • Habilita el gobierno y la gestión de datos. Dataplex Universal Catalog proporciona metadatos que pueden informar y potenciar tus funciones de gobernanza y gestión de datos.

  • Mantener un repositorio extensible y completo para tus metadatos. Dataplex Universal Catalog almacena metadatos y proporciona acceso a ellos. Estos metadatos se recopilan automáticamente de tus Google Cloud recursos. Puedes integrar tus propios metadatos de sistemas que no sean deGoogle Cloud . Puede enriquecer todos los metadatos con anotaciones de metadatos técnicos y empresariales adicionales.

Empezar

Si es la primera vez que trabajas con Dataplex Universal Catalog, te recomendamos que sigas una guía de inicio rápido:

Siguientes pasos