Fazer a transição do Data Catalog para o Dataplex Universal Catalog

Se você estiver usando o Data Catalog, poderá fazer a transição do conteúdo e do uso do Data Catalog para o Dataplex Universal Catalog seguindo as etapas descritas neste documento.

Se você não conhece o catálogo, comece com o Dataplex Universal Catalog configurando-o como sua experiência de catálogo padrão.

Este documento é destinado a administradores e responsáveis por dados.

O Dataplex Universal Catalog tem uma interface da Web e uma API unificadas. A transição para o Catálogo Universal do Dataplex permite que suas cargas de trabalho e usuários atuais e futuros se beneficiem dos recursos e funcionalidades aprimorados. Para mais informações, consulte Sobre o gerenciamento de metadados no Dataplex Universal Catalog.

Para uma comparação entre o Dataplex Universal Catalog e o Data Catalog, consulte Dataplex Universal Catalog x Data Catalog.

Antes de iniciar a transição, revise os recursos de gerenciamento de metadados que não são compatíveis com o Dataplex Universal Catalog.

Visão geral da transição

A página Gerenciar a transição para o Dataplex Universal Catalog no console do Google Cloud oferece um único ponto de acesso para gerenciar a transição.

Esta seção descreve os vários cenários de transição e o processo de transição para cada um deles.

Se você não tiver metadados personalizados no Data Catalog ou nunca tiver usado o Data Catalog

Se você usa o Data Catalog e não tem metadados personalizados, como tags, modelos de tags, entradas ou grupos de entradas personalizados, ou se nunca usou o Data Catalog, conclua a transição definindo a experiência padrão da UI do catálogo como Dataplex Universal Catalog.

Se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog

Se você estiver usando o Data Catalog com metadados personalizados (como tags, modelos de tags, entradas personalizadas ou grupos de entradas), o Dataplex Universal Catalog poderá importar automaticamente esses metadados personalizados como read-only. Para ativar essa capacidade, são necessárias mudanças na configuração, conforme descrito na fase preparatória.

A segunda fase é a de upgrade, em que o estado ativo (read-write) dos metadados personalizados é movido para o Catálogo Universal do Dataplex. Durante essa fase, também é necessário atualizar todas as cargas de trabalho programáticas (como API, bibliotecas de cliente, módulos do Terraform e comandos da Google Cloud CLI) para interagir com o catálogo universal do Dataplex.

Confira mais detalhes sobre cada fase do processo de transição:

1. Fase preparatória: execute as tarefas de configuração necessárias para disponibilizar o conteúdo do Data Catalog simultaneamente no Dataplex Universal Catalog como read-only. Durante essa fase, o Data Catalog continua sendo a fonte confiável do conteúdo de metadados.

   A fase preparatória inclui as seguintes tarefas:

   1. Atualize os modelos de tag particulares do Data Catalog para públicos.
   2. Se o projeto estiver no Assured Workloads, ative os modelos de tag e as tags para disponibilidade simultânea de metadados no Dataplex Universal Catalog.
   3. Configure as permissões do IAM do Dataplex Universal Catalog para seus metadados personalizados.

   Para mais informações, consulte Fase preparatória.

2. Fase de upgrade: mova o uso do catálogo e o estado ativo (read-write) dos metadados personalizados para o Dataplex Universal Catalog.

   A fase de upgrade inclui as seguintes tarefas:

   1. Defina a experiência padrão da UI do catálogo como Dataplex Universal Catalog.

   2. Faça upgrade dos metadados personalizados do Data Catalog para o Dataplex Universal Catalog.

      Aguarde pelo menos 48 horas após ativar os modelos de tag e as tags e depois de tornar os modelos de tag públicos para atualizar os metadados personalizados. Esse tempo é necessário para o processamento interno.

   3. Atualize cargas de trabalho programáticas.

   Quando você concluir a fase de upgrade, o Dataplex Universal Catalog se tornará a fonte oficial de todos os seus metadados, e você não precisará usar o Data Catalog.

   Para mais informações, consulte Fase de upgrade.

Funções exigidas

Para receber as permissões necessárias para fazer a transição do Data Catalog para o Dataplex Universal Catalog, conceda os seguintes papéis do IAM no recurso:

• Atualizar modelos de tag particulares para públicos: Proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner)

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para atualizar modelos de tag particulares para públicos.

• Ative tags e modelos de tags públicos para disponibilidade simultânea de metadados no Dataplex Universal Catalog: Administrador de configuração de migração do DataCatalog (roles/datacatalog.migrationConfigAdmin)

  Esse papel predefinido contém a permissão datacatalog.migrationConfig.set, que é necessária para ativar os modelos e tags.

• Defina a experiência padrão da UI do catálogo como Dataplex Universal Catalog: Administrador de configuração de migração do DataCatalog (roles/datacatalog.migrationConfigAdmin)

  Esse papel predefinido contém a permissão datacatalog.migrationConfig.set, que é necessária para definir a experiência padrão da UI do catálogo.

• Fazer upgrade dos modelos de tag públicos do Data Catalog para o Dataplex Universal Catalog: Proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner)

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para fazer upgrade dos modelos de tag pública.

• Fazer upgrade dos grupos de entradas do Data Catalog para o Dataplex Universal Catalog: Proprietário de entryGroups do Data Catalog (roles/datacatalog.entryGroupOwner)

  Esse papel predefinido contém a permissão datacatalog.entryGroups.update, que é necessária para fazer upgrade de grupos de entradas.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Fase preparatória

Esta fase envolve tarefas para disponibilizar simultaneamente o conteúdo de metadados do Data Catalog no Dataplex Universal Catalog, no modo read-only.

Confira abaixo os principais pontos a serem lembrados durante a fase preparatória:

• O Data Catalog continua sendo a fonte confiável dos seus metadados personalizados.
• Por padrão, a página Pesquisar do Dataplex Universal Catalog aponta para a pesquisa do Data Catalog, que inclui apenas metadados do Data Catalog, e não do Dataplex Universal Catalog.
• A pesquisa do Dataplex Universal Catalog pode não incluir todos os modelos de tag e tags públicos do Data Catalog até que você conclua a fase preparatória.

Atualizar modelos de tag particulares do Data Catalog para públicos

O Dataplex Universal Catalog não oferece suporte ao conceito de aspectos particulares (equivalentes a tags particulares). Por isso, as tags e os modelos de tags particulares não são disponibilizados simultaneamente no Dataplex Universal Catalog. Para propagar tags e modelos de tags particulares no Catálogo Universal do Dataplex, torne-os públicos.

Antes de continuar, revise a estrutura dos modelos de tags particulares para verificar se a estrutura e os metadados são consistentes com a visibilidade das tags públicas.

Para atualizar modelos de tag e tags particulares para públicos, siga estas etapas:

Ativar tags e modelos de tags públicos para disponibilidade simultânea de metadados no Catálogo Universal do Dataplex

Depois da aceitação, o conteúdo de tags e modelos de tags públicos do Data Catalog é propagado de forma automática e contínua para o Dataplex Universal Catalog em toda a sua Google Cloud organização ou projeto. Os modelos de tag e tags públicas do Data Catalog são propagados para o Dataplex Universal Catalog como tipos de aspecto e aspectos públicos, respectivamente. As definições de tipos de aspecto globais são replicadas para todas as regiões do Google Cloud .

Para ativar tags e modelos de tags públicos, siga estas etapas:

Para organizações e projetos do Google Cloud , é possível revogar a permissão original clicando em Revogar permissão. Quando você revoga a aceitação, o processo de propagação de modelos de tag e tags do Data Catalog para o Catálogo Universal do Dataplex é interrompido. Os tipos de aspecto e aspectos do Catálogo Universal do Dataplex que são criados pelo processo de ativação, mas não são atualizados para o Catálogo Universal do Dataplex, são excluídos. A exclusão pode levar até 12 horas.

Configurar permissões do IAM do Dataplex Universal Catalog para seus metadados personalizados

Os tipos de aspecto e os grupos de entrada personalizados do Dataplex Universal Catalog que representam modelos de tags e grupos de entrada do Data Catalog não herdam as permissões originais do IAM do Data Catalog. Você precisa configurar manualmente as permissões do IAM do Dataplex Universal Catalog para esses tipos de aspecto e grupos de entrada personalizados.

Por exemplo, se você quiser criar aspectos usando um tipo de aspecto propagado (que representa um modelo de tag do Data Catalog), configure as permissões necessárias do IAM para esse tipo de aspecto. Da mesma forma, ao ingerir metadados personalizados, para criar entradas personalizadas em um grupo de entradas personalizadas propagado, é necessário configurar as permissões necessárias do IAM para esse grupo.

Para mais informações sobre como as permissões do IAM no Data Catalog correspondem às do Dataplex Universal Catalog, consulte Mapeamento de permissões do IAM entre o Data Catalog e o Dataplex Universal Catalog.

Para configurar as permissões necessárias do IAM do Dataplex Universal Catalog para tipos de aspecto e grupos de entrada personalizados, siga estas etapas:

Fase de upgrade

Esta fase envolve tarefas para mover o estado ativo (read-write) dos metadados personalizados do Data Catalog para o Dataplex Universal Catalog.

Estes são os principais pontos a serem lembrados durante a fase de upgrade:

• Por padrão, a página Pesquisa do Dataplex Universal Catalog aponta para a pesquisa do Dataplex Universal Catalog.
• É possível descobrir e ler os metadados do Data Catalog e do Dataplex Universal Catalog no Dataplex Universal Catalog.
• Para atualizar os metadados no console Google Cloud , você será redirecionado para a fonte deles. Por exemplo, se você estiver atualizando modelos de tag do Data Catalog, será redirecionado para a página de modelos de tag no Data Catalog.

Definir a experiência padrão da UI do catálogo como Dataplex Universal Catalog

Definir a experiência padrão da UI do catálogo como Dataplex Universal Catalog significa o seguinte:

• Quando você acessa a página Pesquisa do Universal Catalog do Dataplex no console doGoogle Cloud , a pesquisa do Universal Catalog do Dataplex (Catálogo do Dataplex) é mostrada por padrão. A pesquisa do Dataplex Universal Catalog opera no Dataplex Universal Catalog e encontra todo o conteúdo de metadados, incluindo o conteúdo criado no Dataplex Universal Catalog e o conteúdo importado do Data Catalog.

  A pesquisa do Data Catalog encontra apenas conteúdo do Data Catalog, não do Dataplex Universal Catalog. Por isso, recomendamos usar a pesquisa do Dataplex Universal Catalog.

• A interface da Web incentiva você a criar novos recursos no Dataplex Universal Catalog. Por exemplo, o padrão é Criar tipos de aspecto em vez de Criar modelos de tag e Criar grupo de entrada (Dataplex Universal Catalog) em vez de Criar grupo de entrada (Data Catalog).

• Definir a experiência padrão da UI do catálogo como Dataplex Universal Catalog é normalmente uma operação unidirecional. No entanto, o Dataplex Universal Catalog permite reverter mudanças em casos excepcionais, por exemplo, quando você quer mudar a experiência padrão da UI do catálogo de volta para o Data Catalog. Se você reverter as mudanças, não poderá acessar nenhum conteúdo criado no Catálogo Universal do Dataplex na interface da Web do Data Catalog.

Para definir a experiência padrão da UI do catálogo como Dataplex Universal Catalog, siga estas etapas:

Fazer upgrade dos metadados personalizados do Data Catalog para o Dataplex Universal Catalog

É possível fazer upgrade dos modelos de tag públicos do Data Catalog (que você ativou) e dos grupos de entrada personalizados para o Dataplex Universal Catalog. Faça upgrade de cada modelo de tag e grupo de entradas personalizadas separadamente.

Confira um resumo do processo de upgrade:

• Efeito

  • Transfere o estado ativo dos recursos do Data Catalog para o Dataplex Universal Catalog. Depois do upgrade, para modificar o recurso ou acessar o estado atual dele, use o Catálogo Universal do Dataplex.

• Mudanças no conteúdo e no fluxo de dados

  • Marca o recurso como read-only no Data Catalog.
  • Marca o recurso como read-write no Dataplex Universal Catalog.
  • Interrompe a disponibilidade simultânea deste recurso.

• Dependências

  • Ao fazer upgrade de um modelo de tag, todas as tags que usam esse modelo também são atualizadas.
  • Ao fazer upgrade de grupos de entrada, todas as entradas associadas também são atualizadas.
  • O upgrade de entradas não afeta o status de upgrade das tags e dos respectivos modelos de tag.

Antes do upgrade, para modificar o contexto comercial de uma entrada (por exemplo, overview, contacts), use a API Data Catalog e a API Dataplex. Depois do upgrade, use apenas a API Dataplex.

A seguir, descrevemos quais operações são permitidas para uma entrada personalizada do Data Catalog com tag, dependendo do status de upgrade do grupo de entradas personalizadas e do modelo de tag relacionados:

• Quando um modelo de tag está ativo no Data Catalog, é possível usá-lo para criar tags. Depois de atualizar o modelo de tag para o Catálogo Universal do Dataplex, não é possível usá-lo para criar tags no Data Catalog.
• Só é possível criar aspectos usando tipos de aspecto propagados de modelos de tag do Data Catalog depois de fazer upgrade dos modelos de tag.

Para fazer upgrade dos modelos de tags e grupos de entrada personalizados do Data Catalog para o Catálogo Universal do Dataplex, siga estas etapas:

Quando você concluir a fase de upgrade, o Dataplex Universal Catalog vai se tornar a fonte oficial de todos os seus metadados, e você não precisará usar o Data Catalog.

Atualizar cargas de trabalho programáticas

O Dataplex Universal Catalog vem com uma nova API, bibliotecas de cliente, módulos do Terraform e comandos da Google Cloud CLI. Portanto, é necessário atualizar todas as cargas de trabalho atuais com uso programático do Data Catalog para o Dataplex Universal Catalog. Consulte exemplos de código do Dataplex Universal Catalog.

Alinhe a atualização das cargas de trabalho programáticas com a atualização dos recursos dependentes, como modelos de tags e grupos de entradas personalizadas. Isso é necessário porque o upgrade move o estado ativo (read-write) de um recurso do Data Catalog para o Dataplex Universal Catalog.

Confira um exemplo de sequência de atualização de cargas de trabalho programáticas para interagir com o Catálogo Universal do Dataplex, coordenado com o upgrade dos recursos dependentes:

1. Se as cargas de trabalho puderem tolerar a consistência posterior, mova as operações read das cargas de trabalho para o Dataplex Universal Catalog.

2. Mova as cargas de trabalho que realizam operações de inclusão de tags write para o Catálogo Universal do Dataplex, coordenando com o upgrade dos modelos de tag correspondentes.

3. Mova as cargas de trabalho que realizam operações de ingestão personalizada write para o Catálogo Universal do Dataplex, coordenando com o upgrade dos respectivos grupos de entrada personalizados.

Se você precisar desacoplar a atualização de cargas de trabalho e o upgrade dos recursos correspondentes, considere implementar uma lógica nas cargas de trabalho para encaminhar read-write ao Data Catalog ou ao Catálogo Universal do Dataplex no status de upgrade do recurso. Assim, as cargas de trabalho vão operar de forma independente do status de upgrade do recurso relacionado.

A seguir

• Saiba mais sobre o gerenciamento de metadados no Dataplex Universal Catalog.
• Saiba como pesquisar recursos no Dataplex Universal Catalog.
• Saiba como gerenciar aspectos e enriquecer metadados.
• Saiba como gerenciar entradas e ingerir fontes personalizadas.
• Consulte a referência da API Dataplex.