En este documento, se describe cómo crear y administrar tipos de entradas, grupos de entradas y entradas personalizadas para habilitar la integración de fuentes de datos personalizadas en Dataplex Universal Catalog.
Una entrada representa un recurso para el que capturas metadatos. Un grupo de entradas es un contenedor para una o más entradas que se usa para administrar el control de acceso y la ubicación regional. Un tipo de entrada define los metadatos obligatorios para las entradas. Los tipos de entrada aportan estructura y reglas a un recurso de entrada de flujo libre y poco definido, lo que permite que las entradas sean extensibles.
Para integrar una fuente de datos personalizada en Dataplex Universal Catalog, crea una entrada personalizada con un tipo de entrada personalizado que se encuentre en un grupo de entradas personalizado. La creación de una entrada personalizada implica los siguientes pasos generales:
- Crea un grupo de entrada.
- Crea un tipo de entrada.
- Crea una entrada personalizada para el tipo de entrada dentro del grupo de entrada.
Entradas
Una entrada representa un activo de datos para el que capturas metadatos. Cada entrada es una instancia de un tipo de entrada. Cada operación en los aspectos de una entrada debe cumplir con los aspectos requeridos de su tipo de entrada. Por ejemplo, cuando creas una entrada, debes proporcionar valores para todos los tipos de aspecto definidos por el tipo de entrada. No puedes borrar los aspectos de una entrada que están marcados como required en el tipo de entrada.
Categorías de entradas
Entradas del sistema: Dataplex Universal Catalog crea entradas para los recursos de Google Cloud, como conjuntos de datos o tablas de BigQuery. Las entradas que crea Dataplex Universal Catalog se denominan entradas del sistema. Dataplex Universal Catalog mantiene automáticamente actualizadas las entradas del sistema a través de la sincronización continua de metadatos de los sistemas Google Cloud compatibles.
No puedes modificar los metadatos que se propagan automáticamente (llamados aspectos obligatorios) para las entradas del sistema. Solo puedes agregar y modificar metadatos adicionales para las entradas del sistema con aspectos opcionales. Para obtener más información, consulta Categorías de aspectos.
Entradas personalizadas: Las entradas que puedes crear y administrar para recursos personalizados se denominan entradas personalizadas. Los recursos personalizados son los recursos de servicios que no son de Google y que se alojan en Google Cloud o de forma externa (por ejemplo, de forma local).
Grupos de entrada
Un grupo de entrada es un contenedor para una o más entradas. Puedes usar grupos de entradas para administrar el control de acceso y la ubicación regional de las entradas. Cada grupo de entradas pertenece a un proyecto.
Categorías de grupos de entrada
Grupos de entradas del sistema: Para los recursos de Google Cloud , Dataplex Universal Catalog crea automáticamente grupos de entradas para cada sistema en cada proyecto y ubicación donde se encuentran los recursos. Por ejemplo,
@bigqueryes el grupo de entrada del sistema para BigQuery.Grupos de entrada personalizados: Son grupos de entrada que creas para recursos personalizados.
Tipos de entrada
Los tipos de entrada definen los metadatos obligatorios para las entradas de este tipo, con un conjunto de tipos de aspectos obligatorios.
Solo puedes especificar los tipos de aspectos obligatorios en las entradas, no en las columnas de una entrada. Cuando creas una entrada de un tipo de entrada específico, debes proporcionar valores para todos los tipos de aspectos requeridos que especifica el tipo de entrada.
Los tipos de aspectos obligatorios a los que se hace referencia dentro de un tipo de entrada deben pertenecer al mismo proyecto que el tipo de entrada.
Categorías de tipos de entrada
Tipos de entrada personalizados: Son los tipos de entrada que creas y administras. Puedes usar estos tipos de entrada para crear entradas personalizadas.
Tipos de entrada del sistema: Dataplex Universal Catalog proporciona estos tipos de entrada de forma predeterminada. Los tipos de entrada del sistema se clasifican en reutilizables y restringidos.
En la siguiente tabla, se describen las categorías de tipos de entrada del sistema y la lista de tipos de entrada que proporciona Dataplex Universal Catalog para cada una de las categorías:
Categoría del tipo de entrada del sistema Descripción Tipos de entradas que proporciona Dataplex Universal Catalog Tipo de entrada del sistema reutilizable Puedes usar este tipo de entrada para crear entradas personalizadas. generic
Tipo de entrada del sistema restringido Están reservados para el uso del sistema, como la creación de entradas para recursos deGoogle Cloud .
No puedes usar estos tipos de entrada para crear entradas, pero puedes editar entradas de estos tipos para agregar aspectos opcionales.Incluidos, sin limitaciones, los siguientes: analytics-hub-exchangeanalytics-hub-listingaspecttypebigquery-datasetbigquery-tablecloudsql-databasecloudsql-instancecloudsql-tableentrygroupentrytypesql-accessstoragestorage-bucketstorage-folder
Puedes crear un tipo de entrada personalizado en una ubicación regional específica o como un recurso global. La ubicación de un tipo de entrada afecta el alcance de su aplicabilidad. Para obtener más información, consulta Restricciones de ubicación y proyecto.
Los tipos de entrada del sistema siempre son globales. Los tipos de entrada del sistema se almacenan en un proyecto administrado por Google con el ID del proyecto 655216118709. Por ejemplo, projects/655216118709/locations/global/entryTypes/bigquery-table
Antes de comenzar
Antes de administrar entradas y transferir fuentes de datos personalizadas, asegúrate de haber completado las tareas descritas en esta sección.
Roles obligatorios
Para obtener los permisos que necesitas para crear y administrar entradas, pídele a tu administrador que te otorgue los siguientes roles de IAM en el recurso:
-
Conjunto completo de permisos sobre entradas, grupos de entradas y tipos de entradas:
Administrador de Catálogo de Dataplex (
roles/dataplex.catalogAdmin) -
Crea y administra recursos de metadatos en Dataplex Universal Catalog, incluidas entradas, grupos de entradas y tipos de entradas:
Editor del catálogo de Dataplex (
roles/dataplex.catalogEditor) -
Acceso completo a las operaciones relacionadas con las entradas:
Propietario de entrada de Dataplex (
roles/dataplex.entryOwner) -
Ver entradas, grupos de entradas y tipos de entradas, y las políticas de IAM asociadas a ellos:
Visualizador del catálogo de Dataplex (
roles/dataplex.catalogViewer) -
Usa tipos de aspectos para crear aspectos de esos tipos cuando crees entradas personalizadas:
Usuario de tipo de aspecto de Dataplex (
roles/dataplex.aspectTypeUser) -
Crear y administrar grupos de entradas:
Propietario del grupo de entradas de Dataplex (
roles/dataplex.entryGroupOwner) -
Crear y administrar tipos de entrada:
Propietario de Tipos de entrada de Dataplex (
roles/dataplex.entryTypeOwner) -
Usar tipos de entrada para crear y modificar entradas de esos tipos:
Usuario de Tipo de entrada de Dataplex (
roles/dataplex.entryTypeUser)
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Para obtener más información, consulta Roles de IAM de Dataplex Universal Catalog.
Habilita la API
Habilita la API de Dataplex en tu proyecto de Dataplex Universal Catalog.
Crea un grupo de entrada
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Grupos de entrada > Personalizado.
Haz clic en Crear grupo de entradas (Dataplex Catalog).
En la ventana Crear grupo de entrada, ingresa lo siguiente:
- Opcional: En el campo Nombre visible, ingresa un nombre visible para tu grupo de entradas.
- ID del grupo de entradas: Ingresa un ID único para tu grupo de entradas.
- Opcional: En el campo Descripción, ingresa una descripción para tu grupo de entradas.
- Ubicación: Selecciona una ubicación. No puedes modificar la ubicación después de crear el grupo de entradas.
Opcional: En la sección Etiquetas, agrega etiquetas arbitrarias como pares clave-valor a tus recursos:
- Haz clic en Agregar etiqueta.
- En el campo Clave, ingresa una clave.
- En el campo Valor, ingresa un valor para la clave.
- Para agregar más etiquetas, haz clic en Agregar etiqueta y repite los pasos.
Haz clic en Guardar.
gcloud
Para crear un grupo de entradas, usa el comando gcloud dataplex entry-groups create.
REST
Para crear un grupo de entradas, usa el método entryGroups.Create.
Crea un tipo de entrada
Para transferir una fuente nueva, debes crear un tipo de entrada.
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Tipos de entrada > Personalizado.
Haz clic en Crear.
En la ventana Crear tipo de entrada, ingresa lo siguiente:
- Opcional: En el campo Nombre visible, ingresa un nombre visible para tu tipo de entrada.
- ID del tipo de entrada: Ingresa un ID único para tu tipo de entrada. No puedes modificarlo después de crear el tipo de entrada.
- Opcional: En el campo Descripción, ingresa una descripción para tu tipo de entrada.
- Opcional: En el campo Sistema, ingresa el sistema fuente.
- Opcional: En el campo Plataforma, ingresa la plataforma a la que pertenecen las entradas de este tipo. Por ejemplo,
Google Cloud - En el campo Ubicación, selecciona una ubicación. No puedes modificar la ubicación después de crear el tipo de entrada.
Opcional: En la sección Type aliases, define el tipo de datos para tu tipo de entrada. El tipo de datos se puede usar para consultar entradas.
- Haz clic en Agregar alias de tipo.
- En el campo Alias de tipo, selecciona un tipo de datos. Puedes agregar varios alias de tipo.
En la sección Tipos de aspectos obligatorios, selecciona los tipos de aspectos que son obligatorios para este tipo de entrada. Cada entrada que se cree según este tipo tendrá asignados estos tipos de aspectos obligatorios. La lista de tipos de aspectos obligatorios no se puede modificar después de crear el tipo de entrada.
- Haz clic en Elegir tipo de aspecto.
- En la ventana Selecciona tipos de aspecto, selecciona el tipo de aspecto.
- Haz clic en Seleccionar.
No puedes borrar los aspectos obligatorios de una entrada.
Opcional: En la sección Etiquetas, agrega etiquetas arbitrarias como pares clave-valor a tus recursos:
- Haz clic en Agregar etiqueta.
- En el campo Clave, ingresa una clave.
- En el campo Valor, ingresa un valor para la clave.
- Para agregar más etiquetas, haz clic en Agregar etiqueta y repite los pasos.
Haz clic en Guardar.
gcloud
Para crear un tipo de entrada, usa el comando gcloud dataplex entry-types create.
REST
Para crear un tipo de entrada, usa el método entryTypes.create.
Cómo crear una entrada personalizada
Antes de crear una entrada personalizada, asegúrate de haber creado un grupo de entrada y un tipo de entrada.
Console
No se admite la creación de una entrada personalizada con la consola de Google Cloud . En su lugar, usa Google Cloud CLI o la API.
gcloud
Para crear una entrada personalizada, usa el comando gcloud dataplex entries create.
REST
Para crear una entrada personalizada, usa el método entries.create.
Después de crear una entrada personalizada, puedes agregarle aspectos. Para obtener más información, consulta Cómo agregar aspectos a una entrada.
Administra grupos de entradas
En esta sección, se describe cómo ver la lista de grupos de entradas disponibles, ver detalles, actualizar y borrar grupos de entradas.
Consulta la lista de grupos de entrada disponibles
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Grupos de entrada.
En esta página, se enumeran todos los grupos de entradas disponibles de Dataplex Universal Catalog y Data Catalog.
Para ver los grupos de entrada personalizados, haz clic en la pestaña Personalizado. En la pestaña Personalizado, la columna Fuente del catálogo muestra dónde reside el recurso: Dataplex Universal Catalog o Data Catalog.
Para ver los grupos de entrada del sistema, haz clic en la pestaña Sistema.
Para obtener más información sobre los grupos de entradas personalizados y del sistema, consulta la sección categorías de grupos de entradas de este documento.
Opcional: Para ver la lista de grupos de entradas en el proyecto seleccionado, haz clic en la pestaña Personalizado y, luego, en el botón de activación Mostrar desde todos los proyectos para desactivarlo.
El botón de activación Mostrar desde todos los proyectos está activado de forma predeterminada, y la lista incluye recursos de Dataplex Universal Catalog de la organización que seleccionaste y recursos de Data Catalog de todas las organizaciones a las que puedes acceder.
gcloud
Para ver la lista de grupos de entradas disponibles, usa el comando gcloud dataplex entry-groups list.
REST
Para ver la lista de grupos de entradas disponibles, usa el método entryGroups.list.
Cómo ver los detalles de un grupo de entrada
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Grupos de entrada.
Haz clic en el grupo de entradas cuyos detalles deseas ver.
Se abrirá la página de detalles del grupo de entrada. Puedes acceder a información como el nombre visible, el ID del grupo de entradas, la descripción, el ID del proyecto, la ubicación, las etiquetas, la fecha de creación y la fecha de la última modificación del grupo de entradas seleccionado.
En el caso de un grupo de entradas de Data Catalog, puedes ver los detalles en las interfaces web de Data Catalog y Dataplex Universal Catalog. Para ello, en la página de detalles del grupo de entradas, haz clic en Data Catalog o Dataplex Catalog.
En la sección Entradas de ejemplo, se muestran 10 entradas relacionadas creadas recientemente en el grupo de entradas seleccionado.
Opcional: Para ver todas las entradas relacionadas con un grupo de entradas, en la sección Entradas de muestra, haz clic en Mostrar todas las entradas relacionadas en la búsqueda.
gcloud
Para recuperar los detalles de un grupo de entradas, usa el comando gcloud dataplex entry-groups describe.
REST
Para recuperar los detalles de un grupo de entradas, usa el método entryGroups.get.
Actualiza un grupo de entrada
Puedes actualizar un grupo de entrada personalizado. No se pueden modificar los grupos de entrada del sistema.
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Grupos de entrada > Personalizado.
Haz clic en el grupo de entradas que deseas actualizar.
En la página Detalles del grupo de entradas, haz clic en Editar.
Edita el nombre visible, la descripción y las etiquetas según sea necesario.
Haz clic en Guardar.
gcloud
Para actualizar un grupo de entradas, usa el comando gcloud dataplex entry-groups update.
REST
Para actualizar un grupo de entrada, usa el método entryGroups.patch.
Borra un grupo de entradas
Puedes borrar un grupo de entradas personalizado. No se pueden borrar los grupos de entrada del sistema.
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Grupos de entrada > Personalizado.
Haz clic en el grupo de entradas que quieras borrar.
En la página Detalles del grupo de entradas, haz clic en Borrar. Confirma cuando se te solicite.
gcloud
Para borrar un grupo de entradas, usa el comando gcloud dataplex entry-groups delete.
REST
Para borrar un grupo de entradas, usa el método entryGroups.delete.
Administra tipos de entrada
En esta sección, se describe cómo ver la lista de grupos de entradas disponibles, ver detalles, actualizar y borrar tipos de entrada.
Consulta la lista de tipos de entrada disponibles
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Tipos de entrada.
Para ver los tipos de entrada personalizados, haz clic en la pestaña Personalizado. Para ver los tipos de entrada del sistema, haz clic en la pestaña Sistema. Para obtener más información sobre los tipos de entrada personalizados y del sistema, consulta la sección categorías de tipos de entrada de este documento.
Opcional: Para ver la lista de tipos de entrada en el proyecto seleccionado, haz clic en la pestaña Personalizado y, luego, en el botón de activación Mostrar desde todos los proyectos para desactivarlo.
El botón de activación Mostrar de todos los proyectos está activado de forma predeterminada, y la lista incluye tipos de entrada de todos los proyectos.
gcloud
Para ver la lista de tipos de entrada disponibles, usa el comando gcloud dataplex entry-types list.
REST
Para ver la lista de tipos de entrada disponibles, usa el método entryTypes.list.
Cómo ver los detalles de un tipo de entrada
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Tipos de entrada > Personalizado.
Haz clic en el tipo de entrada cuyos detalles deseas ver.
Se abrirá la página de detalles del tipo de entrada. Puedes acceder a información como el nombre visible, el ID del tipo de entrada, la descripción, el ID del proyecto, la ubicación, la plataforma, el sistema, los alias de tipo, las etiquetas, la fecha de creación y la fecha de la última modificación del tipo de entrada seleccionado.
Opcional: Para ver la lista de las 10 entradas relacionadas creadas recientemente, haz clic en la pestaña Entradas de muestra.
Opcional: Para ver todas las entradas relacionadas con un grupo de entradas, haz clic en la pestaña Entradas de muestra y, luego, en Mostrar todas las entradas relacionadas en la búsqueda.
gcloud
Para recuperar los detalles de un tipo de entrada, usa el comando gcloud dataplex entry-types describe.
REST
Para recuperar los detalles de un tipo de entrada, usa el método entryTypes.get.
Actualiza un tipo de entrada
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Tipos de entrada > Personalizado.
Haz clic en el tipo de entrada que deseas actualizar.
En la página Detalles del tipo de entrada, haz clic en Editar.
Edita el nombre visible, la descripción, el sistema, la plataforma, los alias de tipo y las etiquetas, según sea necesario.
Haz clic en Guardar.
gcloud
Para actualizar un tipo de entrada, usa el comando gcloud dataplex entry-types update.
REST
Para actualizar un tipo de entrada, usa el método entryTypes.patch.
Borra un tipo de entrada
Console
En la consola de Google Cloud , ve a la página Catálogo de Dataplex Universal Catalog.
Haz clic en la pestaña Tipos de entrada > Personalizado.
Haz clic en el tipo de entrada que deseas borrar.
En la página Detalles del tipo de entrada, haz clic en Borrar. Confirma cuando se te solicite.
gcloud
Para borrar un tipo de entrada, usa el comando gcloud dataplex entry-types delete.
REST
Para borrar un tipo de entrada, usa el método entryTypes.delete.
¿Qué sigue?
- Obtén más información para buscar recursos de datos en Dataplex Universal Catalog.
- Obtén más información para administrar aspectos y enriquecer metadatos.
- Obtén más información para importar metadatos a Dataplex Universal Catalog.
- Obtén más información sobre la administración de metadatos en Dataplex Universal Catalog.