En esta página, se explica cómo agregar, actualizar y quitar buckets de Cloud Storage y Conjuntos de datos de BigQuery como recursos en zonas existentes de Dataplex.
Descripción general
Un recurso se asigna a datos almacenados en Cloud Storage o BigQuery. Tú puedes asignar como recursos los datos almacenados en proyectos separados de Google Cloud dentro de un lake. Puedes conectar buckets de Cloud Storage existentes Conjuntos de datos de BigQuery que se administrarán desde dentro del lake.
Antes de comenzar
Si aún no lo hiciste, crea un lake y un la zona de ese lake.
La mayoría de los comandos
gcloud lakesrequiere una ubicación. Puedes especificar la ubicación con la marca--location.
Control de acceso
Para quitar recursos, otorga los roles de IAM que contengan los permisos
dataplex.lakes.delete,dataplex.zones.deleteodataplex.assets.deletede IAM. Dataplex roles específicos deroles/dataplex.adminyroles/dataplex.editorse pueden usar para otorgar estos permisos.Para agregar recursos, otorga los roles de IAM que contienen los permisos
create:dataplex.lakes.create,dataplex.zones.createodataplex.assets.create. Los rolesroles/dataplex.adminyroles/dataplex.editorcontienen lo siguiente: permisos.También puedes otorgar permisos a usuarios o grupos con el
roles/owneryroles/editorroles heredados.Debes autorizar el servicio de Dataplex en los recursos que se se conecta al lake de Dataplex. La autorización se crea se otorga de manera implícita a los recursos del proyecto en el que se crea el lake. Para otros proyectos, autoriza el servicio de Dataplex en los recursos de forma explícita.
Para obtener más información, consulta IAM y control de acceso de Dataplex.
Otorga roles para los buckets de Cloud Storage
Para conectar un bucket de Cloud Storage de otro proyecto a tu lake,
debes otorgar acceso a la cuenta de servicio de Dataplex
(service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com,
recuperado de la página de detalles del lake en la consola) Dataplex
rol de cuenta de servicio (roles/dataplex.serviceAgent) en el proyecto que
que contiene el bucket. Este rol proporciona a
Servicio de Dataplex con el rol de nivel de administrador de requisitos en el bucket para que
permisos se pueden configurar en el mismo bucket.
Otorga roles para conjuntos de datos de BigQuery
Para adjuntar un conjunto de datos de BigQuery de otro proyecto a tu lake, debes otorgar a la cuenta de servicio de Dataplex, Rol de administrador de BigQuery en el conjunto de datos.
Consideraciones sobre los Controles del servicio de VPC
Dataplex no infringe los perímetros de los Controles del servicio de VPC. Antes agregar un recurso al lake, asegúrate de que el bucket o conjunto de datos subyacente esté en la misma red de Controles del servicio de VPC que el lake.
Para obtener más información, consulta Controles del servicio de VPC con Dataplex
Agrega un recurso
Para agregar un bucket de Cloud Storage o un activo de conjunto de datos de BigQuery, emite un método de la API de Dataplex lakes.zones.assets.create o agrega un bucket o un conjunto de datos en la página de zona de datos que se abre en un navegador local.
Si no hay superposición entre la región del lake de Dataplex y una de las regiones de los buckets de Cloud Storage, no puedes agregar el bucket a una zona de tu lake.
Para obtener más información sobre la ubicación de la región de un recurso de Cloud Storage y cómo Dataplex maneja la la ubicación de un bucket cuando crees el conjunto de datos de publicación, consulta Recursos regionales.
Console
En la consola de Google Cloud, abre la página de Dataplex:
En la página Administrar, haz clic en el lake al que quieres agregar un bucket de Cloud Storage de tu conjunto de datos. Se abrirá la página del lake.
En la pestaña Zonas, haz clic en el nombre de la zona de datos a la que en la que deseas agregar el recurso. La página Zona de datos de esa zona de datos se abre.
En la pestaña Recursos, haz clic en + Agregar recursos. La página Agregar recursos se abre.
Haz clic en Add an Asset.
En el campo Tipo, selecciona una de las siguientes opciones: Conjunto de datos de BigQuery o bucket de Cloud Storage.
En el campo Display name, ingresa un nombre para el recurso nuevo.
En el campo ID, ingresa un ID único para el activo.
Ingresa una Descripción (opcional).
En el campo Conjunto de datos o Bucket (según el tipo de tu recurso), haz lo siguiente: haz clic en Explorar para buscar y seleccionar tu bucket de Cloud Storage. conjunto de datos de BigQuery.
Opcional: Si el tipo de activo es Bucket de Cloud Storage y quieres que Dataplex lo administre, selecciona la casilla de verificación Upgrade to Managed. Si eliges esta opción, no debes actualizar el recurso por separado. Esta opción no está disponible para los conjuntos de datos de BigQuery.
Haga clic en Continuar.
Elige el resto de los valores de los parámetros. Para obtener más información de seguridad, consulta Seguridad del lago.
Haz clic en Enviar para agregar el recurso.
Verifica que hayas regresado a la página de la zona de datos y que tu nueva el recurso aparece en la lista de recursos.
REST
Sigue las instrucciones de la API para agregar un bucket. con el Explorador de APIs.
Cuando la adición se realiza correctamente, la zona de datos entra automáticamente como activa para cada estado. Si falla, la zona de datos se revierte a su estado correcto anterior.
Actualiza un recurso de bucket de Cloud Storage
Cuando agregas un recurso del tipo bucket de Cloud Storage, Dataplex publica BigQuery automáticamente tablas externas para las tablas alojadas en activo.
Cuando actualizas un recurso de bucket de Cloud Storage, Dataplex quita las tablas externas adjuntas y crea Tablas de BigLake. Las tablas de BigLake admiten una mejor seguridad detallada, incluidos nivel de fila, nivel de columna y enmascaramiento dinámico de datos.
Puedes actualizar un recurso de bucket de Cloud Storage en la consola de Google Cloud o emitiendo el método de la API de Dataplex Parche.
Console
En la consola de Google Cloud, abre la página de Dataplex:
En la página Administrar, haz clic en el nombre del lake. Se abrirá la página del lake.
En la pestaña Zonas, haz clic en el nombre de la zona de datos. El se abrirá la página de la zona de datos.
En la pestaña Recursos, haz clic en el nombre del activo que quieres agregar. actualización.
Haz clic en Actualizar a versión administrada.
REST
Sigue las instrucciones de la API para actualizar un recurso de bucket. con el explorador de Cloud.
Cómo cambiar un recurso de bucket de Cloud Storage a una versión inferior
Cuando rebajas la versión de un activo de bucket de Cloud Storage, Dataplex quita las tablas de BigLake adjuntas y crea tablas externas.
Puedes cambiar un recurso de bucket de Cloud Storage a una versión inferior en la consola de Google Cloud
o emitiendo el método de la API de Dataplex
Parche,
con el campo readAccessMode configurado como DIRECT en
ResourceSpec
Console
En la consola de Google Cloud, abre la página de Dataplex:
En la página Administrar, haz clic en el nombre del lake. Se abrirá la página del lake.
En la pestaña Zonas, haz clic en el nombre de la zona de datos. El se abrirá la página de la zona de datos.
En la pestaña Recursos, haz clic en el nombre del recurso que deseas actualizar.
Haz clic en Cambiar a una versión inferior de Managed.
REST
Sigue las instrucciones de la API para cambiar un recurso de bucket a una versión inferior.
con el explorador de Cloud. Asegúrate de configurar readAccessMode
a DIRECT en
ResourceSpec
Cómo quitar un recurso
Puedes quitar un bucket de Cloud Storage o un conjunto de datos de BigQuery
recurso en la consola de Google Cloud o emitiendo la API de Dataplex
método lakes.zones.assets.delete.
Quita el activo de la zona o el lago de datos antes de adjuntarlo a uno diferente.
En las siguientes instrucciones, se muestra cómo quitar un activo de Dataplex con la consola de Google Cloud o la API de Dataplex.
Console
En la consola de Google Cloud, abre la página de Dataplex:
En la página Administrar, haz clic en el lake desde el cual quieres quitar un bucket de Cloud Storage o conjunto de datos de BigQuery. Se abrirá la página del lake de ese lake.
En la pestaña Zonas, haz clic en el nombre de la zona de datos que quieres quitar el bucket de Cloud Storage o BigQuery del conjunto de datos. Se abrirá la página Zona de datos correspondiente a esa zona de datos.
En la pestaña Activos, marca la casilla de la izquierda para seleccionar el activo. del nombre del recurso.
Haz clic en Borrar recurso para quitarlo.
En el diálogo, haz clic en Borrar para confirmar la desconexión.
REST
Sigue las instrucciones de la API para quitar un bucket. con el explorador de Cloud.
Próximos pasos
- Obtén más información para descubrir datos.
- Obtén más información sobre cómo crear un lake.
- Obtén más información sobre Cloud Audit Logs.