Pasar de Data Catalog a Dataplex Universal Catalog

Si usas Data Catalog, puedes migrar tu contenido y uso de Data Catalog a Dataplex Universal Catalog siguiendo los pasos que se describen en este documento.

Si no has usado nunca el catálogo, empieza con Dataplex Universal Catalog configurándolo como tu experiencia de catálogo predeterminada.

Este documento está dirigido a administradores y responsables de datos.

Dataplex Universal Catalog tiene una interfaz web y una API unificadas. Al cambiar a Dataplex Universal Catalog, tus cargas de trabajo y usuarios actuales y futuros podrán beneficiarse de sus funciones y capacidades mejoradas. Para obtener más información, consulta el artículo Acerca de la gestión de metadatos en Dataplex Universal Catalog.

Para comparar Dataplex Universal Catalog y Data Catalog, consulta Dataplex Universal Catalog y Data Catalog.

Antes de iniciar la transición, consulta las funciones de gestión de metadatos que no se admiten en el catálogo universal de Dataplex.

Resumen de la transición

La página Gestionar la transición a Dataplex Universal Catalog de la Google Cloud consola proporciona un único punto de acceso para gestionar la transición.

En esta sección se describen los distintos casos de transición y se explica el proceso de transición de cada uno de ellos.

Si no tiene metadatos personalizados en Data Catalog o nunca ha usado Data Catalog

Si usa Data Catalog y no tiene metadatos personalizados, como etiquetas, plantillas de etiquetas, entradas personalizadas o grupos de entradas, o si nunca ha usado Data Catalog, complete la transición configurando la experiencia predeterminada de la interfaz de usuario de Catalog como Data Catalog en Dataplex.

Si tienes metadatos personalizados o cargas de trabajo programáticas de Data Catalog

Si usa Data Catalog con metadatos personalizados (como etiquetas, plantillas de etiquetas, entradas personalizadas o grupos de entradas), Dataplex Universal Catalog puede importar automáticamente estos metadatos personalizados como read-only. Para habilitar esta función, es necesario hacer cambios en la configuración, tal como se indica en la fase preparatoria.

La segunda fase es la fase de actualización, en la que el estado activo (read-write) de tus metadatos personalizados se traslada a Universal Catalog de Dataplex. Durante esta fase, también debes actualizar las cargas de trabajo programáticas (como las APIs, las bibliotecas de cliente, los módulos de Terraform y los comandos de Google Cloud CLI) para que interactúen con el catálogo universal de Dataplex.

A continuación, se ofrece más información sobre cada fase del proceso de transición:

  1. Fase preparatoria: lleva a cabo las tareas de configuración necesarias para que el contenido de Data Catalog esté disponible simultáneamente en Dataplex Universal Catalog como read-only. Durante esta fase, Data Catalog sigue siendo la fuente autorizada del contenido de los metadatos.

    La fase preparatoria incluye las siguientes tareas:

    1. Actualiza las plantillas de etiquetas privadas de Data Catalog a públicas.
    2. Si tu proyecto está en Assured Workloads, habilita las plantillas de etiquetas y las etiquetas para que los metadatos estén disponibles simultáneamente en Dataplex Universal Catalog.
    3. Configura los permisos de gestión de identidades y accesos de Dataplex Universal Catalog para tus metadatos personalizados.

    Para obtener más información, consulta Fase preparatoria.

  2. Fase de actualización: mueve el uso del catálogo y el estado activo (read-write) de tus metadatos personalizados a Dataplex Universal Catalog.

    La fase de actualización incluye las siguientes tareas:

    1. Define la experiencia de interfaz de usuario predeterminada del catálogo como Dataplex Universal Catalog.

    2. Actualiza los metadatos personalizados de Data Catalog a Dataplex Universal Catalog.

      Debes esperar al menos 48 horas después de habilitar las plantillas de etiquetas y las etiquetas, así como después de hacer públicas las plantillas de etiquetas, para poder actualizar los metadatos personalizados. Este tiempo es necesario para el procesamiento interno.

    3. Actualiza las cargas de trabajo programáticas.

    Cuando completes la fase de actualización, Universal Catalog de Dataplex se convertirá en la fuente oficial de todos tus metadatos y no tendrás que usar Data Catalog.

    Para obtener más información, consulta la sección Fase de actualización.

Roles obligatorios

Para obtener los permisos que necesitas para pasar de Data Catalog a Dataplex Universal Catalog, concede los siguientes roles de gestión de identidades y accesos en el recurso:

  • Cambiar plantillas de etiquetas privadas a públicas: Propietario de valores TagTemplate de Data Catalog (roles/datacatalog.tagTemplateOwner)

    Este rol predefinido contiene el permiso datacatalog.tagTemplates.update, que es necesario para cambiar el estado de las plantillas de etiquetas privadas a públicas.

  • Habilitar plantillas de etiquetas públicas y etiquetas para que los metadatos estén disponibles simultáneamente en Dataplex Universal Catalog: Administrador de configuración de migración de Data Catalog (roles/datacatalog.migrationConfigAdmin)

    Este rol predefinido contiene el permiso datacatalog.migrationConfig.set, que es necesario para habilitar las plantillas de etiquetas y las etiquetas.

  • Define la experiencia de interfaz de usuario predeterminada del catálogo como Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Este rol predefinido contiene el permiso datacatalog.migrationConfig.set, que es necesario para definir la experiencia de interfaz de usuario del catálogo predeterminada.

  • Actualiza las plantillas de etiquetas públicas de Data Catalog a Dataplex Universal Catalog: Propietario de valores TagTemplate de Data Catalog (roles/datacatalog.tagTemplateOwner)

    Este rol predefinido contiene el permiso datacatalog.tagTemplates.update, que es necesario para actualizar las plantillas de etiquetas públicas.

  • Actualiza los grupos de entradas de Data Catalog a Dataplex Universal Catalog: Propietario de EntryGroup de DataCatalog (roles/datacatalog.entryGroupOwner)

    Este rol predefinido contiene el permiso datacatalog.entryGroups.update, que es necesario para actualizar grupos de entradas.

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios con roles personalizados u otros roles predefinidos.

Fase preparatoria

Esta fase incluye tareas para que el contenido de los metadatos de Data Catalog esté disponible simultáneamente en Dataplex Universal Catalog en el modo read-only.

Estos son los puntos clave que debes recordar durante la fase preparatoria:

  • Data Catalog sigue siendo la fuente oficial de tus metadatos personalizados.
  • La página Búsqueda de Dataplex Universal Catalog apunta a la búsqueda de Data Catalog de forma predeterminada, que solo incluye metadatos de Data Catalog y no metadatos de Dataplex Universal Catalog.
  • Es posible que la búsqueda de Dataplex Universal Catalog no incluya todas las plantillas de etiquetas y etiquetas públicas de Data Catalog hasta que completes la fase preparatoria.

Los grupos de entradas personalizadas de Data Catalog y sus entradas ya están disponibles simultáneamente en Dataplex Universal Catalog como read-only. Cuando habilite las plantillas y las etiquetas públicas en la fase preparatoria, su contenido estará disponible simultáneamente en Dataplex Universal Catalog como read-only.

En la siguiente tabla se muestra la asignación entre los recursos de Data Catalog y Dataplex Universal Catalog cuando los recursos de Data Catalog están disponibles simultáneamente en Dataplex Universal Catalog:

Asignación entre Data Catalog y Dataplex Universal Catalog
Recurso de Data Catalog Recurso de Dataplex Universal Catalog correspondiente Descripción
Plantilla de etiqueta Tipo de aspecto (global)

Las plantillas de etiquetas de Data Catalog son recursos regionales. Cuando habilitas las plantillas de etiquetas, su contenido se pone a disposición simultáneamente como tipos de aspectos globales en Dataplex Universal Catalog. De esta forma, se conservan las referencias entre regiones de las etiquetas y las plantillas de etiquetas. Las definiciones de los tipos de aspectos globales se replican en todas las regiones de Google Cloud .

Los conceptos estándar, como Schema, se representan mediante tipos de aspectos del sistema, que proporciona Dataplex Universal Catalog. Para obtener más información, consulta Categorías de tipos de aspectos.

Etiqueta Aspecto opcional Cuando habilita las plantillas de etiquetas, sus etiquetas se ponen a disposición simultáneamente como aspectos opcionales en Dataplex Universal Catalog. Para obtener más información, consulta Categorías de aspectos.
Grupo de entradas Grupo de entradas Los grupos de entradas de las entradas del sistema se establecen por proyecto y por región en Dataplex Universal Catalog. Los grupos de entradas creados en Data Catalog están disponibles simultáneamente en Dataplex Universal Catalog.
Entrada personalizada Entrada personalizada Todas las entradas personalizadas de Data Catalog están disponibles simultáneamente como entradas de GenericEntryType en Dataplex Universal Catalog. Para obtener más información, consulta Categorías de tipos de entrada.
Entrada del sistema (Google Cloud) Aspecto de entrada del sistema obligatorio Los metadatos que describen las entradas del sistema, como Schema para las tablas de BigQuery, se registran en los aspectos obligatorios de los tipos de aspectos definidos por el sistema.

Actualizar plantillas de etiquetas privadas de Data Catalog a públicas

Dataplex Universal Catalog no admite el concepto de aspectos privados (equivalentes a las etiquetas privadas). Por lo tanto, las plantillas de etiquetas privadas y las etiquetas no están disponibles simultáneamente en Dataplex Universal Catalog. Para propagar plantillas de etiquetas y etiquetas privadas en Dataplex Universal Catalog, debe actualizarlas a públicas.

Antes de continuar, revisa la estructura de las plantillas de etiquetas privadas para verificar que su estructura y sus metadatos sean coherentes con la visibilidad de las etiquetas públicas.

Para cambiar el estado de las plantillas de etiquetas y las etiquetas privadas a públicas, sigue estos pasos:

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haga clic en Gestionar la transición a Dataplex Universal Catalog.

  3. Haga clic en la pestaña Plantillas de etiquetas privadas.

  4. Haz clic en Gestionar plantillas de etiqueta.

  5. En la página Plantillas de etiquetas, haga clic en la plantilla de etiqueta privada que quiera actualizar.

  6. En la página Detalles de la plantilla, haga clic en Editar.

  7. En la sección Visibilidad, selecciona Público.

  8. Haz clic en Actualizar.

REST

Para actualizar las plantillas de etiquetas privadas a públicas, usa el método tagTemplates.patch.

Habilitar plantillas de etiquetas y etiquetas públicas para que los metadatos estén disponibles simultáneamente en Dataplex Universal Catalog

Si habilita esta opción, el contenido de las plantillas y las etiquetas públicas de Data Catalog se propagará de forma automática y continua a Dataplex Universal Catalog en toda su Google Cloud organización o proyecto. Las plantillas y las etiquetas públicas de Data Catalog se propagan a Dataplex Universal Catalog como tipos de aspectos y aspectos públicos, respectivamente. Las definiciones de los tipos de aspectos globales se replican en todas las regiones de Google Cloud .

Para habilitar las plantillas y las etiquetas públicas, sigue estos pasos:

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haga clic en Gestionar la transición a Dataplex Universal Catalog.

  3. Haz clic en la pestaña Habilitar.

  4. Haz clic en Proporcionar consentimiento.

  5. En el cuadro de diálogo de confirmación, introduce el texto que se muestra y haz clic en Confirmar.

REST

Para habilitar las plantillas de etiquetas y las etiquetas, usa el método setConfig.

Tanto en las organizaciones como en los proyectos, puede revocar la aceptación que se proporcionó originalmente haciendo clic en Revocar aceptación. Google Cloud Cuando revocas la aceptación, se detiene el proceso de propagación de las plantillas de etiquetas y las etiquetas de Data Catalog a Dataplex Universal Catalog. Se eliminan los tipos y aspectos de Dataplex Universal Catalog que se crean mediante el proceso de habilitación, pero que no se actualizan a Dataplex Universal Catalog. El proceso de eliminación puede tardar hasta 12 horas.

Configurar los permisos de gestión de identidades y accesos de Dataplex Universal Catalog para los metadatos personalizados

Los tipos de aspectos y los grupos de entradas personalizados de Dataplex Universal Catalog que representan plantillas de etiquetas y grupos de entradas de Data Catalog no heredan los permisos de gestión de identidades y accesos originales de Data Catalog. Los permisos de gestión de identidades y accesos específicos necesarios también varían entre Dataplex Universal Catalog y Data Catalog.

Por ejemplo, si quieres crear aspectos con un tipo de aspecto propagado (que representa una plantilla de etiqueta de Data Catalog), debes configurar los permisos de gestión de identidades y accesos necesarios para ese tipo de aspecto. Del mismo modo, cuando ingieres metadatos personalizados, para crear entradas personalizadas en un grupo de entradas personalizadas propagado, debes configurar los permisos de gestión de identidades y accesos necesarios para ese grupo de entradas.

Si usas roles de gestión de identidades y accesos de Data Catalog para gestionar el acceso a Data Catalog a nivel de proyecto o superior, los permisos necesarios de Universal Catalog de Dataplex se incluyen automáticamente. Sin embargo, si usas roles personalizados o asignas roles de gestión de identidades y accesos directamente a recursos específicos, debes configurar manualmente los permisos de catálogo universal de Dataplex para esos aspectos específicos y grupos de entradas personalizados.

Para obtener más información sobre cómo se corresponden los permisos de gestión de identidades y accesos de Data Catalog con los de Dataplex Universal Catalog, consulta Asignación de permisos de gestión de identidades y accesos entre Data Catalog y Dataplex Universal Catalog.

Para configurar los permisos de gestión de identidades y accesos de Dataplex Universal Catalog necesarios para los tipos de aspectos y los grupos de entradas personalizadas, sigue estos pasos:

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haga clic en Gestionar la transición a Dataplex Universal Catalog.

  3. Haz clic en la pestaña Permisos de gestión de identidades y accesos de Dataplex.

  4. Para configurar los permisos de gestión de identidades y accesos de Dataplex Universal Catalog para los tipos de aspectos, haga clic en Tipos de aspectos y plantillas de etiquetas.

    1. En la plantilla de etiqueta propagada desde el catálogo de datos, haga clic en > Permisos.

    2. Haz clic en Añadir principales.

    3. Añade una cuenta principal y asigna los roles necesarios.

    4. Haz clic en Guardar.

  5. Para configurar los permisos de gestión de identidades y accesos de Dataplex Universal Catalog para grupos de entradas, haga clic en Grupos de entradas.

    1. En el grupo de entradas propagado desde Data Catalog, haz clic en > Permisos.

    2. Haz clic en Añadir principales.

    3. Añade una cuenta principal y asigna los roles necesarios.

    4. Haz clic en Guardar.

REST

Para configurar los permisos de gestión de identidades y accesos de Dataplex Universal Catalog para los tipos de aspectos, usa el método aspectTypes.setIamPolicy.

Para configurar los permisos de gestión de identidades y accesos de Dataplex Universal Catalog para grupos de entradas, usa el método entryGroups.setIamPolicy.

Fase de actualización

En esta fase, se realizan tareas para cambiar el estado activo (read-write) de los metadatos personalizados de Data Catalog a Dataplex Universal Catalog.

Estos son los puntos clave que debes recordar durante la fase de actualización:

  • La página Búsqueda de Dataplex Universal Catalog apunta a la búsqueda de Dataplex Universal Catalog de forma predeterminada.
  • Puedes descubrir y leer los metadatos de Data Catalog y Dataplex Universal Catalog en Dataplex Universal Catalog.
  • Para actualizar los metadatos en la Google Cloud consola, se te redirigirá a su fuente. Por ejemplo, si actualiza las plantillas de etiquetas de Data Catalog, se le redirigirá a la página de plantillas de etiquetas de Data Catalog.

Definir la experiencia de interfaz de usuario del catálogo predeterminada en Dataplex Universal Catalog

Si se define la experiencia de la interfaz de usuario del catálogo predeterminada como Dataplex Universal Catalog, ocurrirá lo siguiente:

  • Cuando accedes a la página Búsqueda de Dataplex Universal Catalog en laGoogle Cloud consola, la búsqueda de Dataplex Universal Catalog (Dataplex Catalog) se muestra de forma predeterminada. La búsqueda de Dataplex Universal Catalog se realiza en Dataplex Universal Catalog y encuentra todo tu contenido de metadatos, incluido el contenido creado en Dataplex Universal Catalog y el contenido importado de Data Catalog.

    La búsqueda de Data Catalog solo encuentra contenido de Data Catalog, no de Dataplex Universal Catalog. Por lo tanto, te recomendamos que uses la búsqueda de Dataplex Universal Catalog.

  • La interfaz web te anima a crear recursos en Dataplex Universal Catalog. Por ejemplo, se selecciona de forma predeterminada Crear tipos de aspectos en lugar de Crear plantillas de etiquetas y Crear grupo de entradas (Dataplex Universal Catalog) en lugar de Crear grupo de entradas (Data Catalog).

  • Definir la experiencia de interfaz de usuario del catálogo predeterminada en Dataplex Universal Catalog suele ser una operación unidireccional. Sin embargo, Dataplex Universal Catalog te permite deshacer los cambios en casos excepcionales, por ejemplo, cuando quieras volver a cambiar la experiencia predeterminada de la interfaz de usuario de Catalog a Data Catalog. Si deshaces los cambios, no podrás acceder a ningún contenido creado en Dataplex Universal Catalog desde la interfaz web de Data Catalog.

Para definir la experiencia de interfaz de usuario del catálogo predeterminada en Dataplex Universal Catalog, sigue estos pasos:

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haga clic en Gestionar la transición a Dataplex Universal Catalog.

  3. Haga clic en la pestaña Experiencia de interfaz de usuario del catálogo predeterminada.

  4. Haga clic en Definir la experiencia de interfaz de usuario del catálogo predeterminada en Dataplex Universal Catalog.

REST

Para definir la experiencia de interfaz de usuario del catálogo predeterminada en Dataplex Universal Catalog, usa el método setConfig.

Actualizar los metadatos personalizados de Data Catalog a Dataplex Universal Catalog

Puedes actualizar las plantillas de etiquetas públicas de Data Catalog (para las que has habilitado la opción) y los grupos de entradas personalizadas a Dataplex Universal Catalog. Asegúrate de actualizar cada plantilla de etiqueta y cada grupo de entradas personalizadas por separado.

A continuación, se resume el proceso de actualización:

  • Efecto

    • Transfiere el estado activo de los recursos de Data Catalog a Dataplex Universal Catalog. Después de la actualización, para modificar el recurso o acceder a su estado actual, debes usar Dataplex Universal Catalog.

  • Cambios en el contenido y el flujo de datos

    • Marca el recurso como read-only en Data Catalog.
    • Marca el recurso como read-write en Dataplex Universal Catalog.
    • Detiene la disponibilidad simultánea de este recurso.

  • Dependencias

    • Al actualizar una plantilla de etiqueta, también se actualizan todas las etiquetas que la usan.
    • Si actualizas un grupo de entradas, también se actualizarán todas las entradas que contenga.
    • La actualización de las entradas no afecta al estado de actualización de sus etiquetas ni de sus plantillas de etiquetas.

Antes de la actualización, para modificar el contexto empresarial de una entrada (por ejemplo, overview, contacts), puede usar tanto la API Data Catalog como la API Dataplex. Después de la actualización, solo debes usar la API Dataplex.

A continuación, se describen las operaciones permitidas para una entrada de Data Catalog personalizada etiquetada, en función del estado de actualización del grupo de entradas personalizadas y de la plantilla de etiqueta relacionados:

  • Cuando una plantilla de etiqueta está activa en Data Catalog, puede usarla para crear etiquetas. Una vez que hayas actualizado la plantilla de etiqueta a Dataplex Universal Catalog, no podrás usarla para crear etiquetas en Data Catalog.
  • Solo puede crear aspectos con tipos de aspecto que se propaguen desde plantillas de etiquetas de Data Catalog después de actualizar las plantillas de etiquetas.

Para actualizar las plantillas de etiquetas y los grupos de entradas personalizadas de Data Catalog a Dataplex Universal Catalog, sigue estos pasos:

Consola

  1. Asegúrese de que hayan transcurrido al menos 48 horas después de habilitar la función y de que las plantillas de etiquetas se hayan hecho públicas antes de actualizar las plantillas de etiquetas de Data Catalog a Dataplex Universal Catalog. Este tiempo es necesario para el procesamiento interno.

  2. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  3. Haga clic en Gestionar la transición a Dataplex Universal Catalog.

  4. Haga clic en la pestaña Actualizar a Dataplex.

  5. Para actualizar las plantillas de etiquetas de Data Catalog a Dataplex Universal Catalog, haz clic en Ver tipos de aspectos y plantillas de etiquetas.

    1. Seleccione las plantillas de etiqueta que quiera actualizar.

    2. Haz clic en Actualizar.

    3. En el cuadro de diálogo de confirmación, haz clic en Confirmar.

  6. Para actualizar los grupos de entradas personalizadas de Data Catalog a Dataplex Universal Catalog, haz clic en Ver grupos de entradas.

    1. Selecciona los grupos de entradas que quieras actualizar.

    2. Haz clic en Actualizar.

    3. En el cuadro de diálogo de confirmación, haz clic en Confirmar.

REST

Asegúrese de que hayan transcurrido al menos 48 horas después de habilitar y de hacer públicas las plantillas de etiquetas antes de actualizar las plantillas de etiquetas de Data Catalog a Dataplex Universal Catalog. Este tiempo es necesario para el procesamiento interno.

Después, para actualizar las plantillas de etiquetas de Data Catalog y los grupos de entradas personalizadas a Dataplex Universal Catalog, usa el método tagTemplates.patch.

Cuando completes la fase de actualización, Dataplex Universal Catalog se convertirá en la fuente oficial de todos tus metadatos y no tendrás que usar Data Catalog.

Actualizar cargas de trabajo programáticas

Dataplex Universal Catalog incluye una nueva API, bibliotecas de cliente, módulos de Terraform y comandos de Google Cloud CLI. Por lo tanto, debe actualizar las cargas de trabajo que utilicen Data Catalog de forma programática a Dataplex Universal Catalog. Consulta los ejemplos de código de Dataplex Universal Catalog.

Asegúrate de que la actualización de las cargas de trabajo programáticas se corresponda con la actualización de los recursos dependientes, como las plantillas de etiquetas y los grupos de entradas personalizadas. Esto es necesario porque la actualización cambia el estado activo (read-write) de un recurso de Data Catalog a Dataplex Universal Catalog.

A continuación, se muestra una secuencia de ejemplo para actualizar las cargas de trabajo programáticas para que interactúen con Dataplex Universal Catalog, coordinada con la actualización de los recursos dependientes:

  1. Si tus cargas de trabajo pueden tolerar la coherencia final, mueve las operaciones read de las cargas de trabajo a Dataplex Universal Catalog.

  2. Mueve las cargas de trabajo que realizan operaciones de etiquetado write a Dataplex Universal Catalog y coordina la actualización de sus plantillas de etiquetas correspondientes.

  3. Mueve las cargas de trabajo que realizan operaciones de ingestión personalizadas write a Dataplex Universal Catalog y actualiza los grupos de entradas personalizadas correspondientes.

Si necesitas desacoplar la actualización de las cargas de trabajo y la actualización de los recursos correspondientes, puedes implementar lógica en las cargas de trabajo para enrutar read-write a Data Catalog o Dataplex Universal Catalog en función del estado de la actualización de los recursos. Por lo tanto, las cargas de trabajo funcionarán independientemente del estado de actualización del recurso relacionado.

Siguientes pasos