Fazer a transição do Data Catalog para o catálogo universal (Dataplex Catalog)

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Se você estiver usando o Data Catalog, poderá fazer a transição do conteúdo e do uso do Data Catalog para o catálogo universal do BigQuery seguindo as etapas descritas neste documento.

Se você não sabe como usar o catálogo, comece com o catálogo universal, configurando-o como sua experiência de catálogo padrão.

Este documento é destinado a administradores e responsáveis pelos dados.

O catálogo universal tem uma nova interface da Web e uma API. A transição para o catálogo universal permite que as cargas de trabalho e os usuários atuais e futuros se beneficiem dos recursos aprimorados. Para mais informações, consulte Visão geral do catálogo universal.

Para uma comparação entre o catálogo universal e o Data Catalog, consulte Catálogo universal x Data Catalog.

Antes de iniciar a transição, consulte os recursos que não têm suporte no catálogo universal.

Visão geral da transição

A página Gerenciar transição para o Dataplex no console do Google Cloud fornece um único ponto de acesso para gerenciar a transição.

Esta seção descreve os vários cenários de transição e descreve o processo de transição para cada um deles.

Se você não tiver metadados personalizados no Data Catalog ou nunca tiver usado o Data Catalog

Se você estiver usando o Data Catalog e não tiver metadados personalizados, como tags, modelos de tags, entradas personalizadas ou grupos de entradas, ou se nunca tiver usado o Data Catalog, conclua a transição definindo a experiência de interface de catálogo padrão como catálogo universal.

Se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog

Se você estiver usando o Data Catalog com metadados personalizados (como tags, modelos de tags, entradas personalizadas ou grupos de entradas), o Dataplex poderá importar automaticamente esses metadados personalizados para o catálogo universal como read-only. Para ativar esse recurso, são necessárias mudanças na configuração, conforme descrito na fase preparatória.

A segunda fase é a fase de transferência, em que o estado ativo (read-write) dos metadados personalizados é movido para o catálogo universal. Durante essa fase, também é necessário atualizar todas as cargas de trabalho programáticas (como API, bibliotecas de cliente, módulos do Terraform e comandos da CLI do Google Cloud) para interagir com o catálogo universal.

Confira a seguir mais detalhes sobre cada fase do processo de transição:

1. Fase preparatória: realize as tarefas de configuração necessárias para disponibilizar o conteúdo do Data Catalog simultaneamente no catálogo universal como read-only. Durante essa fase, o Data Catalog continua sendo a fonte confiável do conteúdo de metadados.

   A fase preparatória inclui as seguintes tarefas:

   1. Atualize os modelos de tags particulares do Data Catalog para públicos.
   2. Ative a disponibilidade simultânea de metadados em modelos e tags no catálogo universal.
   3. Configure as permissões do IAM do Dataplex para seus metadados personalizados.

   Para mais informações, consulte Fase preparatória.

2. Fase de transferência: mova o uso do catálogo e o estado ativo (read-write) dos metadados personalizados para o catálogo universal.

   A fase de transferência inclui as seguintes tarefas:

   1. Defina a experiência padrão da interface do catálogo como catálogo universal.

   2. Transfira os metadados personalizados do Data Catalog para o catálogo universal.

      Aguarde pelo menos 48 horas após ativar os modelos e as tags para transferir os metadados personalizados. Esse tempo é necessário para processamento interno.

   3. Atualizar cargas de trabalho programáticas.

   Quando você conclui a fase de transferência, o catálogo universal se torna a fonte confiável de todos os metadados, e você não precisa usar o Data Catalog.

   Para mais informações, consulte a Fase de transferência.

Funções exigidas

Para receber as permissões necessárias para fazer a transição do Data Catalog para o catálogo universal, conceda os seguintes papéis do IAM no recurso:

• Atualizar modelos de tag particulares para públicos: Proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner)

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para atualizar os modelos de tags privadas para públicas.

• Ative os modelos de tags públicas e as tags para disponibilidade simultânea de metadados no catálogo universal: Administrador de configuração de migração do DataCatalog (roles/datacatalog.migrationConfigAdmin).

  Esse papel predefinido contém a permissão datacatalog.migrationConfig.set, que é necessária para ativar os modelos e as tags.

• Definir a experiência padrão da interface do catálogo como catálogo universal: Administrador de configuração de migração do DataCatalog (roles/datacatalog.migrationConfigAdmin)

  Esse papel predefinido contém a permissão datacatalog.migrationConfig.set, que é necessária para definir a experiência de interface padrão do catálogo.

• Transferir modelos de tag públicos do Data Catalog para o catálogo universal: Proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner).

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para transferir modelos de tags públicas.

• Transferir grupos de entrada do Data Catalog para o catálogo universal: proprietário do DataCatalog EntryGroup (roles/datacatalog.entryGroupOwner).

  Esse papel predefinido contém a permissão datacatalog.entryGroups.update, que é necessária para transferir grupos de entrada.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Fase preparatória

Essa fase envolve tarefas para disponibilizar o conteúdo de metadados do Data Catalog simultaneamente no catálogo universal, no modo read-only.

Confira a seguir os principais pontos a serem lembrados durante a fase preparatória:

• O Data Catalog continua sendo a fonte oficial dos metadados personalizados.
• A página Pesquisa do Dataplex aponta para a pesquisa do Data Catalog, que inclui apenas metadados do Data Catalog, e não do catálogo universal.
• A pesquisa do catálogo universal pode não incluir todos os modelos de tags e tags públicas do Data Catalog até que você conclua a fase preparatória.

Atualizar os modelos de tags particulares do Data Catalog para públicos

O catálogo universal não oferece suporte ao conceito de aspectos particulares (equivalentes a tags particulares). Portanto, os modelos de tag e as tags particulares não são disponibilizados simultaneamente no catálogo universal. Para propagar modelos de tags e tags particulares no catálogo universal, torne-as públicas.

Antes de continuar, revise a estrutura dos modelos de tags particulares para garantir que a estrutura e os metadados sejam consistentes com a visibilidade das tags públicas.

Para atualizar modelos de tag e tags particulares para públicos, siga estas etapas:

Ativar tags e modelos de tags públicos para disponibilidade simultânea de metadados no catálogo universal

Quando você ativa essa opção, o conteúdo de tags e modelos de tags públicas do Data Catalog é copiado de forma automática e contínua para o catálogo universal em toda a Google Cloud organização ou projeto (sem uma organização). Os modelos de tag e as tags públicas do Data Catalog são propagados para o catálogo universal como tipos de aspecto e aspectos públicos, respectivamente. As definições de tipos de aspecto globais são replicadas para todas as Google Cloud regiões.

Para ativar tags e modelos de tags públicas, siga estas etapas:

Para Google Cloud organizações e projetos sem uma organização, é possível revogar a permissão concedida originalmente clicando em Revogar permissão. Quando você revoga a ativação, o processo de propagação de tags e modelos de tags do Data Catalog para o catálogo universal é interrompido. Os tipos de aspecto e aspectos do catálogo universal que são criados pelo processo de ativação, mas não são transferidos para o catálogo universal, são excluídos. O processo de exclusão pode levar até 12 horas.

Configurar as permissões do IAM do Dataplex para seus metadados personalizados

Os tipos de aspecto do catálogo universal e os grupos de entrada personalizados que representam modelos de tag e grupos de entrada do Data Catalog não herdam as permissões originais do IAM do Data Catalog. É necessário configurar manualmente as permissões do IAM do Dataplex para esses tipos de aspecto e grupos de entrada personalizados.

Por exemplo, se você quiser criar aspectos usando um tipo de aspecto propagado (que representa um modelo de tag do Data Catalog), configure as permissões necessárias do IAM para esse tipo de aspecto. Da mesma forma, ao transferir metadados personalizados, para criar entradas personalizadas em um grupo de entrada propagado, é necessário configurar as permissões necessárias do IAM para esse grupo.

Para mais informações sobre como as permissões do IAM no Data Catalog correspondem às do catálogo universal, consulte Mapeamento de permissões do IAM entre o Data Catalog e o catálogo universal.

Para configurar as permissões necessárias do IAM do Dataplex para tipos de aspecto e grupos de entrada personalizados, siga estas etapas:

Fase de transferência

Essa fase envolve tarefas para mover o estado ativo (read-write) dos metadados personalizados do Data Catalog para o catálogo universal.

Confira os pontos principais a serem lembrados durante a fase de transferência:

• A página Pesquisa do Dataplex aponta para a pesquisa universal do catálogo por padrão.
• É possível descobrir e ler os metadados do Data Catalog e do catálogo universal no catálogo universal.
• Para atualizar os metadados no console do Google Cloud, você será redirecionado para a fonte. Por exemplo, se você estiver atualizando modelos de tag do Data Catalog, vai ser redirecionado para a página de modelos de tag no Data Catalog.

Definir a experiência padrão da interface do catálogo como catálogo universal

Definir a experiência padrão da interface de catálogo como o catálogo universal significa o seguinte:

• Quando você acessa a página Pesquisa do Dataplex no console do Google Cloud, a pesquisa de catálogo universal (Dataplex Catalog) é exibida por padrão. A pesquisa do catálogo universal opera no catálogo universal e encontra todo o conteúdo de metadados, incluindo o conteúdo criado no catálogo universal e o conteúdo importado do Data Catalog.

  A pesquisa do Data Catalog encontra apenas conteúdo do Data Catalog, não do catálogo universal. Portanto, recomendamos usar a pesquisa universal do catálogo.

• A interface da Web incentiva a criação de novos recursos no catálogo universal (Dataplex Catalog). Por exemplo, o padrão é Criar tipos de aspecto em vez de Criar modelos de tag e Criar grupo de entrada (Catálogo do Dataplex) em vez de Criar grupo de entrada (Data Catalog).

• Definir a experiência de interface de catálogo padrão como catálogo universal é normalmente uma operação de mão única. No entanto, o Dataplex permite reverter mudanças em casos excepcionais, por exemplo, quando você quer mudar a experiência padrão da interface de catálogo de volta para o Data Catalog. Se você reverter as mudanças, não vai poder acessar nenhum conteúdo criado no catálogo universal na interface da Web do Data Catalog.

Para definir a experiência padrão da interface do catálogo como o catálogo universal, siga estas etapas:

Transferir metadados personalizados do Data Catalog para o catálogo universal

É possível transferir os modelos de tags públicas do Data Catalog (que você ativou) e os grupos de entrada personalizados para o catálogo universal. Transfira cada modelo de tag e grupo de entrada personalizado separadamente.

Confira a seguir um resumo do processo de transferência:

• Efeito

  • Transfere o estado ativo dos recursos do Data Catalog para o catálogo universal. Depois da transferência, para modificar o recurso ou acessar o estado atual, use o catálogo universal.

• Mudanças no conteúdo e no fluxo de dados

  • Marca o recurso como read-only no Data Catalog.
  • Marca o recurso como read-write no catálogo universal.
  • Interrompe a disponibilidade simultânea desse recurso.

• Dependências

  • Ao transferir um modelo de tag, todas as tags que usam esse modelo também são transferidas.
  • Ao transferir grupos de entrada, todas as entradas desse grupo também são transferidas.
  • A transferência de entradas não afeta o status de transferência das tags e dos respectivos modelos de tag.

Antes da transferência, para modificar o contexto de negócios de uma entrada (por exemplo, overview, contacts), você pode usar as APIs Data Catalog e Dataplex. Após a transferência, use apenas a API Dataplex.

Confira a seguir quais operações são permitidas para uma entrada personalizada do Data Catalog que está marcada, dependendo do status de transferência do grupo de entrada personalizada e do modelo de tag relacionado:

• Quando um modelo de tag está ativo no Data Catalog, você pode usá-lo para criar tags. Depois de transferir o modelo de tag para o catálogo universal, não será possível usá-lo para criar tags no Data Catalog.
• É possível criar aspectos usando tipos de aspecto propagados de modelos de tags do Data Catalog somente depois de transferir os modelos de tags.

Para transferir os modelos de tags e os grupos de entrada personalizados do Data Catalog para o catálogo universal, siga estas etapas:

Quando você conclui a fase de transferência, o catálogo universal se torna a fonte confiável de todos os metadados, e não é necessário usar o Data Catalog.

Atualizar cargas de trabalho programáticas

O catálogo universal vem com uma nova API, bibliotecas de cliente, módulos do Terraform e comandos da CLI do Google Cloud. Portanto, é necessário atualizar as cargas de trabalho atuais com o uso programático do Data Catalog para o catálogo universal. Consulte os exemplos de código para o Dataplex.

Alinhe a atualização de cargas de trabalho programáticas com a transferência dos recursos dependentes, como modelos de tags e grupos de entradas personalizados. Isso é necessário porque a transferência move o estado ativo (read-write) de um recurso do Data Catalog para o catálogo universal.

Confira a seguir um exemplo de sequência de atualização de cargas de trabalho programáticas para interagir com o catálogo universal, coordenado com a transferência dos recursos dependentes:

1. Se as cargas de trabalho puderem tolerar a consistência posterior, mova as operações read delas para o catálogo universal.

2. Mova cargas de trabalho que executam operações de inclusão de tag write para o catálogo universal em conjunto com a transferência dos modelos de tag correspondentes.

3. Mova os workloads que executam operações de ingestão personalizada write para o catálogo universal coordenado com a transferência dos respectivos grupos de entrada personalizados.

Se você precisar desacoplar as cargas de trabalho de atualização e transferir os recursos correspondentes, considere implementar a lógica nas cargas de trabalho para encaminhar read-write ao Data Catalog ou ao catálogo universal no status de transferência de recursos. Assim, as cargas de trabalho vão operar independentemente do status de transferência do recurso relacionado.

A seguir

• Saiba mais sobre o catálogo universal.
• Saiba como pesquisar recursos no catálogo universal.
• Saiba como gerenciar aspectos e enriquecer metadados no catálogo universal.
• Saiba como gerenciar entradas e importar fontes personalizadas no catálogo universal.
• Consulte a referência da API do catálogo universal.