Este documento descreve como importar metadados de um sistema de terceiros para o catálogo universal do Dataplex usando os métodos da API de importação de metadados e seu próprio pipeline. Os metadados do Dataplex Universal Catalog consistem em entradas e aspectos delas.
Se você quiser usar um pipeline de orquestração gerenciado por Google Cloud para extrair e importar metadados, sugerimos usar um pipeline de conectividade gerenciada. Com um pipeline de conectividade gerenciada, você traz seu próprio conector que extrai metadados e gera saída em um formato que pode ser usado como entrada pelos métodos da API de importação de metadados (o arquivo de importação de metadados). Em seguida, use o Workflows para orquestrar as tarefas do pipeline.
É possível executar os seguintes tipos de jobs de importação de metadados:
- Sincronização completa de entradas com importação incremental dos aspectos delas. Compatível com entradas personalizadas.
- Importação incremental apenas de aspectos. Compatível com aspectos que pertencem a entradas personalizadas e do sistema. Para entradas personalizadas, é possível modificar aspectos opcionais e obrigatórios. Para entradas do sistema, é possível modificar aspectos opcionais.
Etapas avançadas
Para importar metadados usando a API de importação de metadados, siga estas etapas gerais:
Determine o escopo do job.
Além disso, entenda como o Dataplex Universal Catalog aplica a lógica de comparação e o modo de sincronização para entradas e aspectos.
Crie um ou mais arquivos de importação de metadados que definam os dados a serem importados.
Salve os arquivos de importação de metadados em um bucket do Cloud Storage.
Execute um job de importação de metadados.
As etapas nesta página pressupõem que você conhece os conceitos de metadados do Dataplex Universal Catalog, incluindo grupos de entrada, tipos de entrada e tipos de aspecto. Para mais informações, consulte Sobre o gerenciamento do catálogo de dados no Dataplex Universal Catalog.
Antes de começar
Antes de importar metadados, conclua as tarefas desta seção.
Funções exigidas
Para garantir que a conta de serviço do Dataplex Universal Catalog tenha as permissões necessárias para acessar o bucket do Cloud Storage, peça ao administrador para conceder a ela o papel do IAM de Leitor de objetos do Storage (roles/storage.objectViewer
) e a permissão storage.buckets.get
no bucket.
Para receber as permissões necessárias para gerenciar jobs de importação de metadados, peça ao administrador para conceder a você os seguintes papéis do IAM:
-
Modifique entradas e aspectos em um job de metadados de sincronização de entrada completa:
-
Usuário de tipos de entradas do Dataplex (
roles/dataplex.entryTypeUser
) no tipo de entrada ou no projeto em que o tipo de entrada está definido -
Usuário de tipos de aspectos do Dataplex (
roles/dataplex.aspectTypeUser
) no tipo de aspecto ou no projeto em que ele está definido.
-
Usuário de tipos de entradas do Dataplex (
-
Modifique os aspectos necessários em uma tarefa de metadados somente de aspectos:
-
Usuário de tipos de entradas do Dataplex (
roles/dataplex.entryTypeUser
) no tipo de entrada ou no projeto em que o tipo de entrada está definido -
Usuário de tipos de aspectos do Dataplex (
roles/dataplex.aspectTypeUser
) no tipo de aspecto ou no projeto em que ele está definido.
-
Usuário de tipos de entradas do Dataplex (
-
Modifique aspectos opcionais em um job de metadados somente de aspecto:
Usuário de tipos de aspectos do Dataplex (
roles/dataplex.aspectTypeUser
) no tipo de aspecto ou no projeto em que ele está definido. Ao modificar aspectos opcionais em um job de metadados somente de aspectos, não é necessário ter permissões para o tipo de entrada associado. -
Criar jobs de importação de metadados:
-
Importador de grupo de entrada do Dataplex (
roles/dataplex.entryGroupImporter
) no projeto ou no recurso -
Proprietário de entradas do Dataplex (
roles/dataplex.entryOwner
) no projeto ou no recurso
-
Importador de grupo de entrada do Dataplex (
-
Acessar jobs de metadados:
Leitor de jobs de metadados do Dataplex (
roles/dataplex.metadataJobViewer
) no projeto -
Criar, visualizar e cancelar jobs de metadados:
Proprietário do job de metadados do Dataplex (
roles/dataplex.metadataJobOwner
) no projeto
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Create Google Cloud resources
Prepare os seguintes recursos Google Cloud :
- Crie um grupo de entrada para as entradas que você quer importar.
- Crie tipos de aspecto para os aspectos que você quer importar.
- Crie tipos de entrada para as entradas que você quer importar.
- Se você estiver executando um job de metadados somente de aspectos, crie entradas para os aspectos que você quer importar.
- Crie um bucket do Cloud Storage para armazenar os arquivos de importação de metadados.
Componentes de um job de importação de metadados
Ao importar metadados, considere os seguintes componentes de um job de metadados:
- Escopo do job: o grupo de entradas, os tipos de entradas e os tipos de aspectos a serem incluídos no job.
- Modo de sincronização: como as entradas e os aspectos no job são atualizados.
- Arquivo de importação de metadados: um arquivo que define os valores a serem definidos para as entradas e os aspectos no job. É possível fornecer vários arquivos de importação de metadados no mesmo job de metadados. Você salva os arquivos no Cloud Storage.
- Lógica de comparação: como o Dataplex Universal Catalog determina quais entradas e aspectos modificar.
Escopo do job
O escopo do job define o grupo de entradas, os tipos de entrada e os tipos de aspecto que você quer incluir em um job de importação de metadados. Ao importar metadados, você modifica as entradas e os aspectos que pertencem aos recursos no escopo do job.
Para definir o escopo do job, siga estas diretrizes:
Grupo de entrada: especifique um único grupo de entrada para incluir no job. O job modifica apenas as entradas e os aspectos que pertencem a esse grupo. O grupo de entradas e o job precisam estar na mesma região.
Tipos de entrada: especifique um ou mais tipos de entrada para incluir no job. O trabalho modifica apenas as entradas e os aspectos que pertencem a esses tipos de entrada. O local de um tipo de entrada precisa corresponder ao local do trabalho ou ser global.
Tipos de aspecto: especifique um ou mais tipos de aspecto para incluir no job. O job modifica apenas os aspectos que pertencem a esses tipos. O local de um tipo de aspecto precisa corresponder ao local do trabalho ou ser global.
O escopo do job precisa incluir todos os tipos de entrada e de aspecto especificados no arquivo de importação de metadados.
Você especifica o escopo do job ao criar um job de metadados.
Modo de sincronização
O modo de sincronização especifica como as entradas e os aspectos em um job de importação de metadados são atualizados. Você fornece um modo de sincronização para entradas e aspectos. Dependendo dos recursos que você quer importar, as seguintes combinações de modos de sincronização são compatíveis.
Meta | Modo de sincronização de entrada | Modo de sincronização de proporção | Resultados |
---|---|---|---|
Importar entradas e aspectos | FULL |
INCREMENTAL |
Todas as entradas no escopo do job são modificadas. Se uma entrada existir no Dataplex Universal Catalog, mas não estiver incluída no arquivo de importação de metadados, ela será excluída quando você executar o job de metadados. Um aspecto só é modificado se o arquivo de importação de metadados incluir uma referência a ele no campo |
Importar apenas aspectos | NONE |
INCREMENTAL |
Os aspectos são modificados se fizerem parte do escopo do job e se o arquivo de importação de metadados incluir uma referência a eles no campo Outros metadados que pertencem a entradas no escopo do job não são modificados. |
Você especifica o modo de sincronização ao criar um job de metadados.
Arquivo de importação de metadados
O arquivo de importação de metadados é uma coleção das entradas e dos aspectos que você quer modificar. Ele define os valores a serem definidos para todos os campos que pertencem a essas entradas e aspectos. Você prepara o arquivo antes de executar um job de importação de metadados.
Estas diretrizes gerais se aplicam:
- É possível fornecer vários arquivos de importação de metadados no mesmo job de metadados.
Quando você executa um job de metadados de sincronização de entrada completa, as entradas fornecidas no arquivo substituem completamente todas as entradas atuais de recursos no escopo do job. Isso significa que você precisa incluir valores para todas as entradas em um job, não apenas os valores que quer adicionar ou atualizar. Para conferir uma lista das entradas atuais no seu projeto e usar como ponto de partida, use o método da API
entries.list
.Você precisa fornecer um arquivo de importação de metadados como parte de um job de metadados. Se você quiser excluir todos os dados das entradas no escopo do job, forneça um arquivo de importação de metadados vazio.
Todas as entradas e aspectos incluídos no arquivo precisam pertencer aos grupos de entradas, tipos de entradas e tipos de aspectos definidos no escopo do job.
Use as diretrizes detalhadas nas seções a seguir para criar um arquivo de importação de metadados.
Estrutura do arquivo
Cada linha do arquivo de importação de metadados contém um objeto JSON que corresponde a um item de importação. Um item de importação é um objeto que descreve os valores a serem modificados para uma entrada e os aspectos anexados a ela.
É possível fornecer vários itens de importação em um único arquivo de importação de metadados. No entanto, não forneça o mesmo item de importação mais de uma vez em um job de metadados. Use um caractere de nova linha (0x0a
) para separar cada item de importação.
Um arquivo de importação de metadados com um caractere de nova linha entre cada item de importação tem a seguinte aparência:
{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }
Estrutura de um item de importação
Cada item de importação no arquivo de importação de metadados pode incluir os seguintes campos (consulte ImportItem
). O exemplo a seguir é formatado com quebras de linha para facilitar a leitura, mas, ao salvar o arquivo, inclua um caractere de nova linha somente após cada item de importação. Não inclua quebras de linha entre os campos de um único item de importação.
{
"entry": {
"name": "ENTRY_NAME",
"entryType": "ENTRY_TYPE",
"entrySource": {
"resource": "RESOURCE",
"system": "SYSTEM",
"platform": "PLATFORM",
"displayName": "DISPLAY_NAME",
"description": "DESCRIPTION",
"createTime": "ENTRY_CREATE_TIMESTAMP",
"updateTime": "ENTRY_UPDATE_TIMESTAMP"
},
"aspects": {
"ASPECT": {
"data": {
"KEY": "VALUE"
},
"aspectSource": {
"createTime": "ASPECT_CREATE_TIMESTAMP",
"updateTime": "ASPECT_UPDATE_TIMESTAMP"
}
},
# Additional aspect maps
},
"parentEntry": "PARENT_ENTRY",
"fullyQualifiedName": "FULLY_QUALIFIED_NAME"
},
"updateMask": "UPDATE_MASK_FIELDS",
"aspectKeys": [
"ASPECT_KEY",
# Additional aspect keys
],
}
Substitua:
entry
: informações sobre uma entrada e os aspectos anexados a ela. Em um job de importação de metadados somente de aspectos, o Dataplex Universal Catalog ignora todos os campos opcionais de uma entrada, exceto os mapas de aspectos.- ENTRY_NAME: o nome relativo do recurso da entrada,
no formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID
. - ENTRY_TYPE: o nome do recurso relativo do
tipo de entrada usado para criar esta entrada, no formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID
. entrySource
: informações do sistema de origem sobre o recurso de dados representado pela entrada:- RESOURCE: o nome do recurso no sistema de origem.
- SYSTEM: o nome do sistema de origem.
- PLATFORM: a plataforma que contém o sistema de origem.
- DISPLAY_NAME: um nome de exibição fácil de usar.
- DESCRIPTION: uma descrição da entrada.
- ENTRY_CREATE_TIMESTAMP: o momento em que a entrada foi criada no sistema de origem.
- ENTRY_UPDATE_TIMESTAMP: a hora em que a entrada foi atualizada no sistema de origem.
aspects
: os aspectos anexados à entrada. O objetoaspect
e os dados dele são chamados de mapa de aspectos.ASPECT: um aspecto anexado à entrada. Dependendo de como o aspecto está anexado à entrada, use um dos seguintes formatos:
- Se o aspecto estiver anexado diretamente à entrada, forneça o nome do recurso relativo do tipo de aspecto, no formato
PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID
. - Se o aspecto estiver anexado ao caminho da entrada, forneça o caminho do tipo de aspecto no formato
PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH
.
- Se o aspecto estiver anexado diretamente à entrada, forneça o nome do recurso relativo do tipo de aspecto, no formato
KEY e VALUE: o conteúdo do aspecto, de acordo com o modelo de metadados do tipo de aspecto. O conteúdo precisa ser codificado em UTF-8. O tamanho máximo do campo é 120 KB. O dicionário
data
é obrigatório, mesmo que esteja vazio.ASPECT_CREATE_TIMESTAMP: o momento em que o aspecto foi criado no sistema de origem.
ASPECT_UPDATE_TIMESTAMP: o momento em que o aspecto foi atualizado no sistema de origem.
PARENT_ENTRY: o nome do recurso da entrada principal.
FULLY_QUALIFIED_NAME: um nome para a entrada que pode ser referenciada por um sistema externo. Consulte Nomes totalmente qualificados.
- ENTRY_NAME: o nome relativo do recurso da entrada,
no formato
UPDATE_MASK_FIELDS: os campos a serem atualizados, em caminhos relativos ao recurso
Entry
. Separe cada campo com uma vírgula.Em um trabalho de sincronização de entrada completa, o Dataplex Universal Catalog inclui os caminhos de todos os campos de uma entrada que podem ser modificados, incluindo aspectos. O campo
updateMask
é ignorado quando uma entrada é criada ou recriada.Em um trabalho de metadados somente de aspectos, defina esse valor como
aspects
.ASPECT_KEY: os aspectos a serem modificados. Aceita as seguintes sintaxes:
ASPECT_TYPE_REFERENCE
: corresponde ao tipo de aspecto para aspectos anexados diretamente à entrada.ASPECT_TYPE_REFERENCE@PATH
: corresponde ao tipo de aspecto e ao caminho especificado.ASPECT_TYPE_REFERENCE@*
: corresponde ao tipo de aspecto para todos os caminhos.*@PATH
: corresponde a todos os tipos de aspectos no caminho especificado.
Substitua
ASPECT_TYPE_REFERENCE
por uma referência ao tipo de aspecto, no formatoPROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID
.Em um job de sincronização de entrada completa, se você deixar esse campo vazio, ele será tratado como especificando exatamente os aspectos presentes na entrada especificada. O Dataplex Universal Catalog adiciona implicitamente as chaves de todos os aspectos necessários de uma entrada.
Requisitos dos arquivos
O arquivo de importação de metadados precisa atender aos seguintes requisitos:
- O arquivo precisa estar formatado como um arquivo JSON Lines, que é um arquivo JSON delimitado por nova linha. Use um caractere de nova linha (
0x0a
) para separar cada item de importação. - O arquivo precisa usar a codificação de caracteres UTF-8.
- As extensões de arquivo compatíveis são
.jsonl
e.json
. - Cada arquivo de importação de metadados precisa ter menos de 1 GiB. O tamanho total máximo de todos os dados no job de metadados é de 3 GB. Isso inclui todos os arquivos e metadados associados ao job.
- Os tipos de entrada e de aspecto especificados no arquivo precisam fazer parte do escopo do job de metadados.
- O arquivo precisa ser enviado para um bucket do Cloud Storage. Não salve o arquivo em uma pasta chamada
CLOUD_STORAGE_URI/deletions/
.
Lógica de comparação
O Catálogo Universal do Dataplex determina quais entradas e aspectos modificar comparando os valores e carimbos de data/hora fornecidos no arquivo de importação de metadados com os valores e carimbos de data/hora que existem no seu projeto.
Em um nível alto, o Dataplex Universal Catalog atualiza os valores no seu projeto quando pelo menos uma mudança proposta no arquivo de importação de metadados altera o estado do projeto quando o job é executado, sem introduzir dados desatualizados. A mudança proposta precisa ser referenciada no campo de máscara de atualização ou no campo de chaves de aspecto no arquivo de importação de metadados.
A lógica de comparação varia de acordo com o tipo de job de importação de metadados que você executa.
Trabalho de sincronização de entrada completa
Em um job de metadados de sincronização de entrada completa, para cada entrada que faz parte do escopo do job, o Dataplex Universal Catalog faz uma das seguintes ações:
- Cria uma entrada e aspectos anexados. Se o arquivo de importação de metadados incluir uma entrada que não existe no projeto, o Dataplex Universal Catalog vai criar a entrada e os aspectos anexados.
- Exclui uma entrada e os aspectos anexados. Se uma entrada existir no seu projeto, mas o arquivo de importação de metadados não a incluir, o Dataplex Universal Catalog vai excluir a entrada e os aspectos anexados a ela do seu projeto.
Atualiza uma entrada e os aspectos anexados. Se uma entrada existir no arquivo de importação de metadados e no projeto, o Catálogo Universal do Dataplex vai avaliar os carimbos de data/hora de origem da entrada e do aspecto associados a ela para determinar quais valores modificar. Em seguida, o Dataplex Universal Catalog faz uma ou mais das seguintes ações:
- Recria a entrada. Se o carimbo de data/hora de criação da origem da entrada no arquivo de importação de metadados for mais recente do que o carimbo correspondente no seu projeto, o Dataplex Universal Catalog vai recriar a entrada no projeto.
- Atualiza a entrada. Se o carimbo de data/hora da atualização da origem da entrada no arquivo de importação de metadados for mais recente do que o carimbo correspondente no seu projeto, o Dataplex Universal Catalog vai atualizar a entrada no projeto.
- Cria um aspecto. Se um aspecto não existir no seu projeto e estiver incluído em um mapa de aspectos, no campo de máscara de atualização e no campo de chaves de aspecto no arquivo de importação de metadados, o Dataplex Universal Catalog vai criar o aspecto.
- Exclui um aspecto. Se um aspecto existir no seu projeto e for incluído no campo de máscara de atualização e no campo de chaves de aspecto no arquivo de importação de metadados, mas não estiver incluído em um mapa de aspectos, o Dataplex Universal Catalog vai excluir o aspecto.
Atualiza um aspecto. Se um aspecto existir no seu projeto e estiver incluído em um mapa de aspectos, no campo de máscara de atualização e no campo de chaves de aspecto do arquivo de importação de metadados, e o carimbo de data/hora de atualização da origem do aspecto no arquivo de importação de metadados for mais recente do que o carimbo de data/hora correspondente no seu projeto, o Dataplex Universal Catalog vai atualizar o aspecto.
Se um carimbo de data/hora de atualização da origem do aspecto não for fornecido no arquivo de importação de metadados, mas a entrada correspondente estiver marcada para uma atualização, o Catálogo Universal do Dataplex também vai atualizar o aspecto.
No entanto, se pelo menos um aspecto no arquivo de importação de metadados tiver um carimbo de data/hora mais antigo do que o carimbo correspondente no projeto, o Dataplex Universal Catalog não fará atualizações na entrada anexada.
Trabalho somente de aspecto
Em um job de metadados somente de aspectos, para cada aspecto que faz parte do escopo do job, o Dataplex Universal Catalog faz uma das seguintes ações:
- Cria um aspecto. Se um aspecto não existir no seu projeto e estiver incluído em um mapa de aspectos, no campo de máscara de atualização e no campo de chaves de aspecto no arquivo de importação de metadados, o Dataplex Universal Catalog vai criar o aspecto.
Exclui um aspecto. Para aspectos opcionais, se o aspecto existir no seu projeto e estiver incluído no campo de máscara de atualização e no campo de chaves de aspecto no arquivo de importação de metadados, mas não estiver incluído em um mapa de aspectos, o Dataplex Universal Catalog vai excluir o aspecto.
Os aspectos obrigatórios não podem ser excluídos.
Atualiza um aspecto. Se um aspecto existir no seu projeto e estiver incluído em um mapa de aspectos, no campo de máscara de atualização e no campo de chaves de aspecto do arquivo de importação de metadados, e o carimbo de data/hora de atualização da origem do aspecto no arquivo de importação de metadados for mais recente do que o carimbo de data/hora correspondente no seu projeto, o Dataplex Universal Catalog vai atualizar o aspecto.
Se um carimbo de data/hora de atualização da origem do aspecto não for fornecido no arquivo de importação de metadados, o Dataplex Universal Catalog também vai atualizar o aspecto.
O Catálogo Universal do Dataplex atualiza os aspectos com base no carimbo de data/hora da atualização da origem do aspecto, independente do carimbo de data/hora da atualização da origem da entrada correspondente.
Criar um arquivo de importação de metadados
Antes de importar metadados, crie um arquivo de importação de metadados para seu job. Siga estas etapas:
- Prepare um arquivo de importação de metadados seguindo as diretrizes descritas anteriormente neste documento.
- Faça upload do arquivo para um bucket do Cloud Storage.
É possível fornecer vários arquivos de importação de metadados no mesmo job de metadados. Para fornecer vários arquivos, salve-os no mesmo bucket do Cloud Storage. Ao executar o job, especifique um bucket, não um arquivo específico. O Dataplex Universal Catalog importa metadados de todos os arquivos salvos no bucket, incluindo aqueles que estão em subpastas.
Executar um job de importação de metadados
Depois de criar um arquivo de importação de metadados, execute um job de importação usando a API.
REST
Para importar metadados, use o
método metadataJobs.create
.
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- PROJECT_NUMBER: o número ou ID do projeto Google Cloud .
- LOCATION_ID: o Google Cloud local, como
us-central1
. - METADATA_JOB_ID: opcional. O ID do job de metadados.
CLOUD_STORAGE_URI: o URI do bucket ou da pasta do Cloud Storage que contém os arquivos de importação de metadados. Para mais informações sobre os requisitos de arquivo, consulte Arquivo de importação de metadados.
- ENTRY_GROUP: o nome do recurso relativo do grupo de entradas que
está no escopo do trabalho, no formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID
. Forneça apenas um grupo de entrada. Para mais informações, consulte Escopo do job. ENTRY_TYPE: o nome do recurso relativo de um tipo de entrada que está no escopo do trabalho, no formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID
. Para mais informações, consulte Escopo do job.- ASPECT_TYPE: o nome do recurso relativo de um tipo de aspecto
que está no escopo do trabalho, no formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID
. Opcional ao criar um job de sincronização de entrada completa, obrigatório ao criar um job somente de aspecto. Para mais informações, consulte Escopo do job. - ENTRY_SYNC_MODE: o modo de sincronização de entrada, como
FULL
ouNONE
. Para mais informações, consulte Modo de sincronização. - LOG_LEVEL: o nível de registros a serem capturados, como
INFO
ouDEBUG
. Para mais informações, consulte Ver registros de jobs e resolver problemas.
Método HTTP e URL:
POST https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID
Corpo JSON da solicitação:
{ "type": IMPORT, "import_spec": { "source_storage_uri": "gs://CLOUD_STORAGE_URI/", "scope": { "entryGroups": [ "ENTRY_GROUP" ], "entry_types": [ "ENTRY_TYPE" ], "aspect_types": [ "ASPECT_TYPE" ] }, "entry_sync_mode": ENTRY_SYNC_MODE, "aspect_sync_mode": INCREMENTAL, "log_level": LOG_LEVEL } }
Para enviar a solicitação, expanda uma destas opções:
A resposta identifica uma operação de longa duração.
Receber detalhes sobre um job de metadados
Para receber informações sobre um job de metadados, como o status dele e o número de entradas modificadas, siga estas etapas. Para mais informações sobre como resolver problemas de um job com falha, consulte a seção Ver registros de jobs e resolver problemas deste documento.
REST
Para receber informações sobre um job de metadados, use o
método metadataJobs.get
.
Receber uma lista de jobs de metadados
É possível conferir uma lista dos jobs de metadados mais recentes. Jobs mais antigos que atingiram um estado terminal são excluídos periodicamente do sistema.
REST
Para receber uma lista dos jobs de metadados mais recentes, use o
método metadataJobs.list
.
Cancelar um job de metadados
É possível cancelar um job de metadados que você não quer executar.
REST
Para cancelar um job de metadados, use o
método metadataJobs.cancel
.
Ver registros de jobs e resolver problemas
Use o Cloud Logging para ver os registros de um job de metadados. Para mais informações, consulte Monitorar registros do Dataplex Universal Catalog.
Você configura o nível de registro em log ao criar um job de metadados. Os seguintes níveis de registro estão disponíveis:
INFO
: fornece registros no nível geral do job. Inclui registros agregados sobre itens de importação, mas não especifica qual item tem um erro.DEBUG
: fornece registros detalhados para cada item de importação. Use a geração de registros no nível de depuração para resolver problemas com itens de importação específicos. Por exemplo, use o registro em nível de depuração para identificar recursos ausentes no escopo do job, entradas ou aspectos que não estão em conformidade com o tipo de entrada ou aspecto associado ou outras configurações incorretas com o arquivo de importação de metadados.
Erros de validação
O Dataplex Universal Catalog valida os arquivos de importação de metadados com os metadados atuais do seu projeto. Se houver um problema de validação, o status do job poderá retornar um dos seguintes estados:
FAILED
: acontece quando o arquivo de importação de metadados tem um erro. O Dataplex Universal Catalog não importa metadados, e o job falha. Exemplos de erros no arquivo de importação de metadados:- Não é possível analisar um item no arquivo em um item de importação válido
- Uma entrada ou um aspecto no arquivo pertence a um grupo de entradas, um tipo de entrada ou um tipo de aspecto que não faz parte do escopo do job.
- O mesmo nome de entrada foi especificado mais de uma vez no job.
- Um tipo de aspecto especificado em um mapa de aspectos ou nas chaves de aspecto não usa o formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH
- Um aspecto obrigatório está marcado para exclusão
SUCCEEDED_WITH_ERRORS
: acontece quando o arquivo de importação de metadados pode ser analisado com sucesso, mas a importação de um item no arquivo faria com que uma entrada no projeto ficasse em um estado inconsistente. O Dataplex Universal Catalog ignora essas entradas, mas importa o restante dos metadados do arquivo.
Use os registros de jobs para resolver o erro.
A seguir
- Pesquisar recursos de dados no Dataplex Universal Catalog
- Gerenciar aspectos e enriquecer metadados
- Gerenciar entradas e ingerir fontes personalizadas
- Exportar metadados