Mudanças nos metadados armazenados no Dataplex Universal Catalog

Entre 12 de janeiro de 2026 e 2 de fevereiro de 2026, alguns dos metadados armazenados no Dataplex Universal Catalog vão mudar.

Essa mudança traz os metadados armazenados no Dataplex Universal Catalog para a consistência com os metadados dos sistemas de origem originais.

Se as cargas de trabalho estiverem no escopo das mudanças descritas na próxima seção, siga as instruções neste documento.

Escopo das mudanças

As mudanças descritas nesta seção se aplicam a entradas dos seguintes sistemas de origem:

  • Vertex AI
  • Bigtable
  • Spanner
  • Pub/Sub
  • Dataform
  • Dataproc Metastore

Os seguintes métodos da API Dataplex são afetados por essas mudanças:

Nomes de recursos

O nome do recurso muda para o campo de entrada de nível superior entrySource.resource. O campo é modificado para conter um nome de recurso relativo em vez do nome completo com a API. O prefixo //<service_name>.googleapis.com/ é removido do nome do recurso. A tabela a seguir lista alguns exemplos de amostra.

Sistema de origem Valor antes da mudança Valor após a mudança
Vertex AI //aiplatform.googleapis.com/projects/PROJECT_ID/locations/LOCATION_ID/featureOnlineStores/REMAINING_PATH
Exemplo: //aiplatform.googleapis.com/projects/test-project-id/locations/us-central1/featureOnlineStores/test-store		 projects/PROJECT_ID/locations/LOCATION_ID/featureOnlineStores/REMAINING_PATH
Exemplo: projects/test-project-id/locations/us-central1/featureOnlineStores/test-store
Bigtable //bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID
Exemplo: //bigtable.googleapis.com/projects/test-project-id/instances/test-instance/tables/test-table		 projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID
Exemplo: projects/test-project-id/instances/test-instance/tables/test-table
Spanner //spanner.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/databases/DATABASE_ID
Exemplo: //spanner.googleapis.com/projects/test-project-id/instances/test-instance/databases/test-database		 projects/PROJECT_ID/instances/INSTANCE_ID/databases/DATABASE_ID
Exemplo: projects/test-project-id/instances/test-instance/databases/test-database
Pub/Sub //pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID
Exemplo: //pubsub.googleapis.com/projects/test-project-id/topics/test-topic		 projects/PROJECT_ID/topics/TOPIC_ID
Exemplo: projects/test-project-id/topics/test-topic
Dataform //dataform.googleapis.com/projects/PROJECT_ID/locations/LOCATION_ID/repositories/REPOSITORY_ID
Exemplo: //dataform.googleapis.com/projects/test-project-id/locations/us-central1/repositories/test-repo		 projects/PROJECT_ID/locations/LOCATION_ID/repositories/REPOSITORY_ID
Exemplo: projects/test-project-id/locations/us-central1/repositories/test-repo
Dataproc Metastore //metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION_ID/services/SERVICE_ID
Exemplo: //metastore.googleapis.com/projects/test-project-id/locations/us-central1/services/test-service		 projects/PROJECT_ID/locations/LOCATION_ID/services/SERVICE_ID
Exemplo: projects/test-project-id/locations/us-central1/services/test-service

Para mais informações sobre esse campo, consulte a referência da API EntrySource.

Valores do tipo ancestral

O campo de entrada de nível superior entrySource.ancestors.type muda para conter o ID do projeto do tipo Dataplex (dataplex-types) em vez do número do projeto do tipo Dataplex (655216118709). A tabela a seguir lista alguns exemplos.

Sistema de origem Valor antes da mudança Valor após a mudança
Vertex AI DATAPLEX_TYPE_PROJECT_NUMBER.global.vertexai-feature-online-store
Exemplo: 655216118709.global.vertexai-feature-online-store		 DATAPLEX_TYPE_PROJECT_ID.global.vertexai-feature-online-store
Exemplo: dataplex-types.global.vertexai-feature-online-store
Dataproc Metastore DATAPLEX_TYPE_PROJECT_NUMBER.global.DataprocMetastoreDatabase
Exemplo: 655216118709.global.DataprocMetastoreDatabase		 DATAPLEX_TYPE_PROJECT_ID.global.dataproc-metastore-database
Exemplo: dataplex-types.global.dataproc-metastore-database
Spanner DATAPLEX_TYPE_PROJECT_NUMBER.global.cloud-spanner-instance
Exemplo: 655216118709.global.cloud-spanner-instance		 DATAPLEX_TYPE_PROJECT_ID.global.cloud-spanner-instance
Exemplo: dataplex-types.global.cloud-spanner-instance
Bigtable DATAPLEX_TYPE_PROJECT_NUMBER.global.cloud-bigtable-instance
Exemplo: 655216118709.global.cloud-bigtable-instance		 DATAPLEX_TYPE_PROJECT_ID.global.cloud-bigtable-instance
Exemplo: dataplex-types.global.cloud-bigtable-instance

Para mais informações sobre esse campo, consulte a referência da API Ancestor.

O que é preciso fazer

O período de lançamento começa em 12 de janeiro de 2026 e termina em 2 de fevereiro de 2026. As mudanças nos metadados são aplicadas gradualmente durante o período de lançamento.

Veja o que você precisa fazer:

  • Antes de 12 de janeiro de 2026, atualize suas cargas de trabalho para interpretar a versão legada e a atualizada dos metadados.

  • Durante o período de lançamento, as entradas podem capturar a versão legada ou atualizada dos metadados. Suas cargas de trabalho precisam ser capazes de interpretar as duas versões.

  • Depois de 2 de fevereiro de 2026, atualize suas cargas de trabalho para interpretar apenas a nova versão dos metadados.

Como determinar a versão dos metadados

Para determinar se uma entrada usa os metadados atualizados, procure o objeto aspects da entrada e localize o tipo de aspecto relevante. No objeto aspectSource do tipo de aspecto, se o campo dataVersion estiver presente e definido como Ingestion/1.0.0, a entrada usará a versão atualizada dos metadados. Para mais informações, consulte as APIs lookupEntry e getAspectType.

Suporte

Em caso de dúvidas, entre em contato com dataplex-msa-support@google.com.

Mais informações