En esta página, se explica cómo agregar, actualizar y quitar buckets de Cloud Storage y conjuntos de datos de BigQuery como recursos en zonas existentes de Dataplex Universal Catalog.
Descripción general
Un recurso se asigna a los datos almacenados en Cloud Storage o BigQuery. Puedes asignar los datos almacenados en proyectos Google Cloud separados como recursos a una sola zona dentro de un lake. Puedes adjuntar buckets de Cloud Storage o conjuntos de datos de BigQuery existentes para que se administren desde el lake.
Antes de comenzar
Si aún no lo hiciste, crea un lake y una zona en ese lake.
La mayoría de los comandos
gcloud lakesrequiere una ubicación. Puedes especificar la ubicación con la marca--location.
Roles requeridos
Para quitar recursos, otorga los roles de IAM que contienen los permisos
dataplex.lakes.delete,dataplex.zones.deleteodataplex.assets.deletede IAM. Se pueden usar los roles específicosroles/dataplex.adminyroles/dataplex.editorde Dataplex Universal Catalog para otorgar estos permisos.Para agregar recursos, otorga los roles de IAM que contienen los permisos
createadataplex.lakes.create,dataplex.zones.createodataplex.assets.create. Los rolesroles/dataplex.adminyroles/dataplex.editorcontienen estos permisos.También puedes otorgar permiso a usuarios o grupos con las funciones heredadas
roles/owneryroles/editor.Debes autorizar el servicio de Dataplex Universal Catalog en los recursos que se adjuntan al lago de Dataplex Universal Catalog. La autorización se otorga de forma automática e implícita para los recursos del proyecto en el que se crea el lago. Para otros proyectos, autoriza el servicio de Dataplex Universal Catalog en los recursos de forma explícita.
Para obtener más información, consulta IAM y control de acceso de Dataplex Universal Catalog.
Cómo otorgar roles para buckets de Cloud Storage
Para adjuntar un bucket de Cloud Storage de otro proyecto a tu lake, debes otorgar a la cuenta de servicio de Dataplex Universal Catalog (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, que se recupera de la página de detalles del lake en la consola) el rol de cuenta de servicio de Dataplex Universal Catalog (roles/dataplex.serviceAgent) en el proyecto que contiene el bucket. Este rol proporciona al servicio de Dataplex Universal Catalog el rol de nivel de administrador previo en el bucket para que se puedan establecer permisos en el bucket.
Otorga roles para conjuntos de datos de BigQuery
Para adjuntar un conjunto de datos de BigQuery de otro proyecto a tu lago, debes otorgarle a la cuenta de servicio del catálogo universal de Dataplex el rol de administrador de BigQuery en el conjunto de datos.
Consideraciones sobre los Controles del servicio de VPC
Dataplex Universal Catalog no incumple los perímetros de los Controles del servicio de VPC. Antes de agregar un recurso al lake, asegúrate de que el bucket o el conjunto de datos subyacente se encuentren en la misma red de Controles del servicio de VPC que el lake.
Para obtener más información, consulta Controles del servicio de VPC con Dataplex Universal Catalog.
Agrega un recurso
Si no hay superposición entre la región del lake de Dataplex Universal Catalog y la región de uno de los buckets de Cloud Storage, no podrás agregar el bucket a una zona de tu lake.
Para obtener más información sobre la ubicación regional de un recurso de Cloud Storage y cómo Dataplex Universal Catalog controla la ubicación de un bucket cuando se crea el conjunto de datos de publicación, consulta Recursos regionales.
Para agregar un recurso, sigue estos pasos:
Console
En la consola de Google Cloud , ve a la página Lakes de Dataplex Universal Catalog.
Haz clic en el lake al que deseas agregar un bucket de Cloud Storage o un conjunto de datos de BigQuery. Se abrirá la página del lago.
En la pestaña Zonas, haz clic en el nombre de la zona de datos a la que deseas agregar el recurso. Se abrirá la página de la zona de datos correspondiente.
En la pestaña Recursos, haz clic en + Agregar recursos. Se abrirá la página Agregar recursos.
Haz clic en Agregar un recurso.
En el campo Tipo, selecciona Conjunto de datos de BigQuery o Bucket de Cloud Storage.
En el campo Nombre visible, ingresa un nombre para el activo nuevo.
En el campo ID, ingresa un ID único para el activo.
Escribe una descripción (opcional).
En el campo Conjunto de datos o Bucket (según el tipo de activo), haz clic en Explorar para buscar y seleccionar tu bucket de Cloud Storage o tu conjunto de datos de BigQuery.
Opcional: Si tu tipo de recurso es Bucket de Cloud Storage y deseas que Dataplex Universal Catalog administre el recurso, selecciona la casilla de verificación Actualizar a administrado. Si eliges esta opción, no tendrás que actualizar el activo por separado. Esta opción no está disponible para los conjuntos de datos de BigQuery.
Haz clic en Continuar.
Elige el resto de los valores de los parámetros. Para obtener más información sobre la configuración de seguridad, consulta Seguridad del Lake.
Haz clic en Enviar.
Verifica que hayas regresado a la página de la zona de datos y que tu activo nuevo aparezca en la lista de activos.
REST
Para agregar un activo, usa el método lakes.zones.assets.create.
Cuando la adición se realiza con éxito, la zona de datos ingresa automáticamente al estado activo. Si falla, la zona de datos se revierte a su estado correcto anterior.
Actualiza un activo de bucket de Cloud Storage
Cuando agregas un activo del tipo bucket de Cloud Storage, Dataplex Universal Catalog publica automáticamente tablas externas de BigQuery para las tablas alojadas en el activo.
Cuando actualizas un recurso de bucket de Cloud Storage, Dataplex Universal Catalog quita las tablas externas adjuntas y crea tablas de BigLake. Las tablas de BigLake admiten una mejor seguridad detallada, incluido el enmascaramiento de datos dinámico, a nivel de fila y a nivel de columna.
Para actualizar un recurso de bucket de Cloud Storage, sigue estos pasos:
Console
En la consola de Google Cloud , ve a la página Lakes de Dataplex Universal Catalog.
Haz clic en el nombre del lago. Se abrirá la página del lago.
En la pestaña Zonas, haz clic en el nombre de la zona de datos. Se abrirá la página de la zona de datos.
En la pestaña Assets, haz clic en el nombre del activo que deseas actualizar.
Haz clic en Actualizar a administrado.
REST
Para actualizar un recurso de bucket, usa el método lakes.zones.assets.patch.
Cómo cambiar a una versión anterior de un recurso de bucket de Cloud Storage
Cuando disminuyes la versión de un recurso de bucket de Cloud Storage, Dataplex Universal Catalog quita las tablas de BigLake adjuntas y crea tablas externas.
Console
En la consola de Google Cloud , ve a la página Lakes de Dataplex Universal Catalog.
Haz clic en el nombre del lago. Se abrirá la página del lago.
En la pestaña Zonas, haz clic en el nombre de la zona de datos. Se abrirá la página de la zona de datos.
En la pestaña Assets, haz clic en el nombre del activo que deseas actualizar.
Haz clic en Cambiar a una versión inferior a la administrada.
REST
Para cambiar a una versión anterior de un activo de bucket, usa el método lakes.zones.assets.patch. Asegúrate de configurar el campo readAccessMode como DIRECT en ResourceSpec.
Cómo quitar un activo
Quita el recurso de la zona o el lago de datos antes de adjuntarlo a otro.
Para quitar un recurso, sigue estos pasos:
Console
En la consola de Google Cloud , ve a la página Lakes de Dataplex Universal Catalog.
Haz clic en el lake del que deseas quitar un bucket de Cloud Storage o un conjunto de datos de BigQuery. Se abrirá la página del lake.
En la pestaña Zonas, haz clic en el nombre de la zona de datos de la que deseas quitar el bucket de Cloud Storage o el conjunto de datos de BigQuery. Se abrirá la página de la zona de datos correspondiente.
En la pestaña Recursos, selecciona el recurso marcando la casilla a la izquierda de su nombre.
Haz clic en Borrar recurso.
En el diálogo de confirmación, haz clic en Borrar.
REST
Para quitar un bucket, usa el método lakes.zones,assets.delete.
¿Qué sigue?
- Obtén más información para descubrir datos.
- Obtén más información para crear un lago.
- Obtén más información sobre Cloud Audit Logs.