Metadados do Dataplex

Listar entidades

Para limitar a lista de entidades retornadas pelo serviço, adicione parâmetros de consulta filter ao URL da solicitação list entities.

Acessar entidade

Por padrão, a resposta Get Entity contém a entidade básica metadados. Para recuperar metadados adicionais do esquema, adicione o ver ao URL da solicitação.

Detalhes de compatibilidade: embora os metadados do Dataplex está registrado centralmente na API de metadados, apenas os metadados de tabela de entidade que são compatíveis com o BigQuery e o Apache Hive Metastore, no BigQuery e no metastore do Dataproc. A API Get Entity retorna uma Mensagem CompatibilityStatus, que indica se os metadados da tabela são compatíveis com o BigQuery e o metastore Hive. e, em caso negativo, o motivo da incompatibilidade.

Atualizar entidade

Use essa API para editar metadados de entidade, incluindo se você ou O Dataplex vai gerenciar metadados da entidade.

• Essa API executa uma substituição completa de todos os elementos mutáveis Campos Entidade. Os campos Entity a seguir não podem ser alterados. Se forem especificados em uma atualização, ela será ignorada:
  • asset
  • dataPath
  • type
  • system
• Especifique um valor para todos os campos de entidade mutáveis, incluindo todos os campos de schema, mesmo que os valores não sejam alterados.
• Forneça o etag (em inglês) . Para conseguir a etag, primeiro envie uma entities.get, que retorna o etag da entidade na resposta.
• Como atualizar campos de esquema: atualize o esquema da tabela descoberto pelo Dataplex para melhorar a precisão:
  • Se o esquema for um conjunto de arquivos, deixe todos campos de esquema vazios.
  • Para definir um campo repetido, configure a modo para REPEATED. Para definir um campo de estrutura, defina o type como RECORD.
  • É possível definir o campo userManaged do esquema para especificar se você ou o Dataplex gerencia os metadados da tabela. A configuração padrão é "Gerenciado pelo Dataplex". Se userManaged for definido como verdadeiro, essa configuração será incluído nas informações retornadas da entities.get solicitação se EntityView é definido como SCHEMA ou FULL.
• Como atualizar campos de partição:
  • Para dados particionados em um estilo diferente do Hive, a descoberta do Dataplex gera automaticamente as chaves de partição. Por exemplo, para o caminho de dados gs://root/2020/12/31, chaves de partição p0, p1 e p2 estão gerada. Para tornar as consultas mais intuitivas, é possível atualizar p0, p1 e p2 para year, month e day, respectivamente.
  • Se você atualizar o estilo da partição para o estilo HIVE, o campo da partição será imutável.
• Atualização de outros campos de metadados:é possível atualizar os campos de metadados gerados automaticamente mimeType, CompressionFormat, CsvOptions e JsonOptions para ajudar na descoberta do Dataplex. Dataplex descoberta vai usar novos valores na próxima execução.

Criar entidade

Use a API entities.create para criar entidades de metadados de tabela ou conjunto de arquivos. Preencha os campos opcionais obrigatórios e relevantes ou deixe o Dataplex do serviço de descoberta preencha os campos opcionais.

Excluir entidade

• Forneça o etag (em inglês) . Você pode receber o ETag enviando primeiro uma solicitação entities.get, que retorna o etag da entidade na resposta.

Se os dados subjacentes de uma tabela ou conjunto de arquivos em uma zona bruta forem excluídos, a tabela ou os metadados do conjunto de arquivos são excluídos automaticamente na próxima Verificação de descoberta. Se os dados subjacentes de uma tabela em uma zona selecionada forem excluídos, os metadados da tabela não serão excluídos, mas uma ação de dados ausente será relatada. Para resolver esse problema, exclua a tabela explicitamente a entidade de metadados por meio da API de metadados.

Listar partições

Para limitar a lista de partições retornadas pelo serviço, adicione filtro parâmetros de consulta ao URL de solicitação list partitions.

Exemplos:

• ?filter="Country=US AND State=CA AND City=Sunnyvale"
• ?filter="year < 2000 AND month > 12 AND Date > 10"

Receber partição

Para receber uma partição, é necessário preencher o URL da solicitação anexando os valores da chave de partição ao final do URL, formatado para ler como partitions/value1/value2/…./value10.

Exemplo: se uma partição tiver valores, {Country=US, State=CA, City=Sunnyvale}, o URL da solicitação GET precisa terminar com /partitions/US/CA/Sunnyvale.

Importante: os valores de URL anexados precisam ser codificados duas vezes. Por exemplo, url_encode(url_encode(value)) pode ser usado para codificar "US:CA/CA#Sunnyvale" para que o URL da solicitação termine com /partitions/US%253ACA/CA%2523Sunnyvale. O campo de nome na resposta mantém o formato codificado.

Criar partição

Para criar uma partição personalizada para sua fonte de dados, use o método API partitions.create. Especifique os campos local com um caminho do Cloud Storage.

Excluir partição

Complete o URL da solicitação anexando valores-chave de partição ao final do o URL da solicitação, formatado para ser lido como partitions/value1/value2/…./value10.

Exemplo: se uma partição tiver valores, {Country=US, State=CA, City=Sunnyvale}, o URL de solicitação deve terminar com /partitions/US/CA/Sunnyvale.

Importante:os valores de URL anexados precisam estar em conformidade com RFC-1034 ou eles precisam ser codificados duas vezes, por exemplo, US:/CA#/Sunnyvale como US%3A/CA%3A/Sunnyvale.