Administra los metadatos de lakes, zonas y recursos

Enumera entidades

Para limitar la lista de entidades que devuelve el servicio, agrega parámetros de consulta filter a la URL de la solicitud list entities.

Obtener entidad

De forma predeterminada, la respuesta Get Entity contiene metadatos básicos de la entidad. Para recuperar metadatos de esquema adicionales, agrega el parámetro de consulta view a la URL de la solicitud.

Detalles de compatibilidad: Si bien los metadatos del catálogo universal de Dataplex se registran de forma centralizada en la API de metadatos, solo los metadatos de la tabla de entidades que son compatibles con BigQuery y Apache Hive Metastore se publican en BigQuery y Dataproc Metastore. La API de Get Entity devuelve un mensaje de CompatibilityStatus, que indica si los metadatos de la tabla son compatibles con BigQuery y Hive Metastore, y, si no lo son, el motivo de la incompatibilidad.

Actualiza la entidad

Usa esta API para editar los metadatos de la entidad, incluido si tú o Dataplex Universal Catalog administrarán los metadatos de la entidad.

• Esta API reemplaza por completo todos los campos mutables de Entity. Los siguientes campos de Entity son inmutables y, si los especificas en una solicitud de actualización, se ignorarán:
  • asset
  • dataPath
  • type
  • system
• Especifica un valor para todos los campos de Entity mutables, incluidos todos los campos del esquema, incluso si los valores no se cambian.
• Proporciona el campo etag. Para obtener el ETag, primero debes enviar una solicitud de entities.get, que devuelve el etag de la entidad en la respuesta.
• Actualiza los campos del esquema: Puedes actualizar el esquema de la tabla que descubrió Dataplex Universal Catalog para mejorar su precisión:
  • Si el esquema es un conjunto de archivos, deja todos los campos de esquema vacíos.
  • Para definir un campo repetido, establece el modo en REPEATED. Para definir un campo de struct, establece el tipo en RECORD.
  • Puedes configurar el campo userManaged del esquema para especificar si tú o Dataplex Universal Catalog administran los metadatos de la tabla. El parámetro de configuración predeterminado es Dataplex Universal Catalog administrado. Si userManaged se establece como verdadero, este parámetro de configuración se incluye en la información que se devuelve de una solicitud de entities.get si EntityView se establece como SCHEMA o FULL.
• Actualización de los campos de partición:
  • En el caso de los datos particionados que no tienen el estilo de Hive, el descubrimiento de Dataplex Universal Catalog genera automáticamente claves de partición. Por ejemplo, para la ruta de datos gs://root/2020/12/31, se generan las claves de partición p0, p1 y p2. Para que las consultas sean más intuitivas, puedes actualizar p0, p1 y p2 a year, month y day, respectivamente.
  • Si actualizas el estilo de partición a estilo de Hive, el campo de partición será inmutable.
• Actualiza otros campos de metadatos: Puedes actualizar los campos mimeType, CompressionFormat, CsvOptions y JsonOptions generados automáticamente para facilitar el descubrimiento del Catálogo universal de Dataplex. El descubrimiento de Dataplex Universal Catalog usará los valores nuevos en su próxima ejecución.

Crear entidad

Usa la API de entities.create para crear entidades de metadatos de tablas o conjuntos de archivos. Completa los campos obligatorios y los campos opcionales pertinentes, o bien permite que el servicio de detección de Dataplex Universal Catalog complete los campos opcionales.

Borrar entidad

• Proporciona el campo etag. Para obtener el ETag, primero debes enviar una solicitud de entities.get, que devuelve el etag de la entidad en la respuesta.

Si se borran los datos subyacentes de una tabla o un conjunto de archivos en una zona sin procesar, los metadatos de la tabla o el conjunto de archivos se borran automáticamente en el siguiente análisis de Discovery. Si se borran los datos subyacentes de una tabla en una zona curada, los metadatos de la tabla no se borran de forma correspondiente, sino que se informa una acción de datos faltantes. Para resolver este problema, borra explícitamente la entidad de metadatos de la tabla a través de la API de metadatos.

Enumera particiones

Para limitar la lista de particiones que devuelve el servicio, agrega parámetros de búsqueda filter a la URL de la solicitud list partitions.

Ejemplos:

• ?filter="Country=US AND State=CA AND City=Sunnyvale"
• ?filter="year < 2000 AND month > 12 AND Date > 10"

Obtener partición

Para obtener una partición, debes completar la URL de la solicitud agregando los valores de la clave de partición al final de la URL, con el formato partitions/value1/value2/…./value10.

Ejemplo: Si una partición tiene valores, {Country=US, State=CA, City=Sunnyvale}, la URL de la solicitud get debe terminar con /partitions/US/CA/Sunnyvale.

Importante: Los valores de URL agregados deben estar codificados dos veces. Por ejemplo, url_encode(url_encode(value)) se puede usar para codificar "US:CA/CA#Sunnyvale" de modo que la URL de la solicitud termine con /partitions/US%253ACA/CA%2523Sunnyvale. El campo name de la respuesta conserva el formato codificado.

Crear una partición

Para crear una partición personalizada para tu fuente de datos, usa la API de partitions.create. Especifica el campo ubicación requerido con una ruta de acceso de Cloud Storage.

Borrar partición

Completa la URL de la solicitud agregando los valores de la clave de partición al final de la URL de la solicitud, con el formato partitions/value1/value2/…./value10.

Ejemplo: Si una partición tiene valores, {Country=US, State=CA, City=Sunnyvale}, la URL de la solicitud debe terminar con /partitions/US/CA/Sunnyvale.

Importante: Los valores de URL agregados deben cumplir con la RFC-1034 o deben estar codificados dos veces, por ejemplo, US:/CA#/Sunnyvale como US%3A/CA%3A/Sunnyvale.