Guía de inicio rápido: Crea un lake
En este documento, se muestra cómo comenzar a usar Dataplex Universal Catalog en la consola deGoogle Cloud . Para ello, se te guiará por el proceso de creación de un lake, la adición de una zona y la conexión de un recurso.
Antes de comenzar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataplex Universal Catalog, Dataproc, Dataproc Metastore, BigQuery, and Cloud Storage APIs.
-
Make sure that you have the following role or roles on the project:
roles/dataplex.admin
,roles/dataplex.editor
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Ir a IAM - Selecciona el proyecto.
- Haz clic en Grant access.
-
En el campo Principales nuevas, ingresa tu identificador de usuario. Esta suele ser la dirección de correo electrónico de una Cuenta de Google.
- En la lista Seleccionar un rol, elige un rol.
- Para otorgar funciones adicionales, haz clic en Agregar otro rol y agrega cada rol adicional.
- Haz clic en Guardar.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataplex Universal Catalog, Dataproc, Dataproc Metastore, BigQuery, and Cloud Storage APIs.
-
Make sure that you have the following role or roles on the project:
roles/dataplex.admin
,roles/dataplex.editor
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Ir a IAM - Selecciona el proyecto.
- Haz clic en Grant access.
-
En el campo Principales nuevas, ingresa tu identificador de usuario. Esta suele ser la dirección de correo electrónico de una Cuenta de Google.
- En la lista Seleccionar un rol, elige un rol.
- Para otorgar funciones adicionales, haz clic en Agregar otro rol y agrega cada rol adicional.
- Haz clic en Guardar.
-
- Crea un bucket de Cloud Storage:
- In the Google Cloud console, go to the Cloud Storage Buckets page.
- Click Create.
- On the Create a bucket page, enter your bucket information. To go to the next
step, click Continue.
- For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
-
In the Choose where to store your data section, do the following:
- Select a Location type.
- Choose a location where your bucket's data is permanently stored from the Location type drop-down menu.
- If you select the dual-region location type, you can also choose to enable turbo replication by using the relevant checkbox.
- To set up cross-bucket replication, select
Add cross-bucket replication via Storage Transfer Service and
follow these steps:
Set up cross-bucket replication
- In the Bucket menu, select a bucket.
In the Replication settings section, click Configure to configure settings for the replication job.
The Configure cross-bucket replication pane appears.
- To filter objects to replicate by object name prefix, enter a prefix that you want to include or exclude objects from, then click Add a prefix.
- To set a storage class for the replicated objects, select a storage class from the Storage class menu. If you skip this step, the replicated objects will use the destination bucket's storage class by default.
- Click Done.
-
In the Choose how to store your data section, do the following:
- In the Set a default class section, select the following: Standard.
- To enable hierarchical namespace, in the Optimize storage for data-intensive workloads section, select Enable hierarchical namespace on this bucket.
- In the Choose how to control access to objects section, select whether or not your bucket enforces public access prevention, and select an access control method for your bucket's objects.
-
In the Choose how to protect object data section, do the
following:
- Select any of the options under Data protection that you
want to set for your bucket.
- To enable soft delete, click the Soft delete policy (For data recovery) checkbox, and specify the number of days you want to retain objects after deletion.
- To set Object Versioning, click the Object versioning (For version control) checkbox, and specify the maximum number of versions per object and the number of days after which the noncurrent versions expire.
- To enable the retention policy on objects and buckets, click the Retention (For compliance) checkbox, and then do the following:
- To enable Object Retention Lock, click the Enable object retention checkbox.
- To enable Bucket Lock, click the Set bucket retention policy checkbox, and choose a unit of time and a length of time for your retention period.
- To choose how your object data will be encrypted, expand the Data encryption section (Data encryption method. ), and select a
- Select any of the options under Data protection that you
want to set for your bucket.
- Click Create.
Crea un lake
Un lake es una construcción lógica que representa un dominio de datos o una unidad de negocios. Por ejemplo, si necesitas organizar los datos según el uso del grupo, crearías un lake para cada departamento (por ejemplo, venta minorista, ventas y finanzas).
En los siguientes pasos, se muestra cómo crear un lago con la consola de Google Cloud .
Ve a Dataplex Universal Catalog en la Google Cloud consola.
Navega a la vista Administrar.
Haz clic en
Crear.Ingresa un nombre visible.
El ID del lago se genera automáticamente.
Especifica la región en la que se creará el lake.
En el caso de los lakes creados en una región determinada (por ejemplo,
us-central1
), se pueden adjuntar datos de una sola región (us-central1
) y datos multirregionales (us multi-region
) según la configuración de la zona.Haz clic en Crear.
Agrega una zona a tu lake
Después de crear tu lake, puedes agregarle zonas. Las zonas son agrupaciones lógicas dentro de un lake que resultan útiles para categorizar datos estructurados y no estructurados.
En la vista Administrar, haz clic en el nombre del lake al que deseas agregar una zona.
Haz clic en
Agregar zona.Ingresa un nombre visible para tu zona.
Haz clic en el menú desplegable Tipo. Elige Raw Zone o Curated Zone. Obtén más información sobre los tipos de zonas.
En Ubicaciones de datos, selecciona Regional o Multirregional. Lo que elijas no se podrá cambiar más adelante. Los datos de una sola región y multirregionales no se pueden combinar en la misma zona.
Haz clic en Crear.
La zona puede tardar unos minutos en crearse.
Cómo adjuntar un recurso
Los datos se pueden almacenar en buckets de Cloud Storage o conjuntos de datos de BigQuery, y se pueden conectar como recursos a zonas de datos dentro de un lake de Dataplex Universal Catalog.
Para adjuntar tu bucket de Cloud Storage como un recurso, sigue estos pasos:
En la vista Administrar, haz clic en el nombre del lake al que deseas adjuntar un bucket de Cloud Storage.
En la pestaña Zonas, haz clic en la zona a la que deseas agregar el activo.
En la pestaña Recursos, haz clic en
Agregar recursos.Haz clic en Agregar recurso.
En Tipo, selecciona Bucket de almacenamiento.
En Nombre visible, ingresa un nombre para el activo.
En el campo Bucket, haz clic en Explorar. Si tienes un bucket de Cloud Storage, búscalo y haz clic en Seleccionar. Si no tienes un bucket de Cloud Storage, puedes crear uno haciendo clic en el botón
.Ingresa un nombre único para el bucket. Haz clic en Continuar.
Elige un Tipo de ubicación. Haga clic en Continuar.
Elige una clase de almacenamiento predeterminada para tus datos. Haz clic en Continuar.
Elige un nivel de control de acceso. Haz clic en Continuar.
Elige una opción de protección de datos o Ninguna. Haga clic en Continuar.
Haz clic en Crear.
Haga clic en Seleccionar.
Haz clic en Listo.
Haz clic en Continuar.
En Configuración de detección, selecciona Heredar para heredar la configuración de detección del nivel de la zona.
Haz clic en Continuar.
En Agregar recursos, haz clic en Enviar.
Espera a que finalice la creación del activo.
Para usar tu lake, consulta la sección Próximos pasos. De lo contrario, borra los recursos que creaste siguiendo los pasos de la sección limpieza.
Limpia
Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.
- In the Google Cloud console, go to the Manage resources page.
- If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Como alternativa, puedes borrar los recursos que se usan en este instructivo. Un lake no se borra hasta que se borran todos sus recursos de zona de datos. Del mismo modo, no se borra una zona de datos a menos que borres todos sus recursos de activos.
Desvincula el bucket de almacenamiento
Para separar el recurso de Dataplex Universal Catalog que creaste, sigue estos pasos:
Ve a Dataplex Universal Catalog en la Google Cloud consola.
En la vista Administrar, haz clic en el nombre del lake que creaste.
En la pestaña Zonas, haz clic en el nombre de la zona que creaste.
En la pestaña Activos, selecciona el activo que deseas separar marcando la casilla a la izquierda del nombre del bucket.
Haz clic en Borrar recurso.
Haz clic en Borrar para confirmar la acción.
Borra la zona
Para borrar la zona de Dataplex Universal Catalog que creaste, sigue estos pasos:
Ve a Dataplex Universal Catalog en la Google Cloud consola.
En la vista Administrar, haz clic en el lake que creaste.
En la pestaña Zonas, selecciona la zona que deseas borrar marcando la casilla que se encuentra a la izquierda del nombre de la zona de datos.
Haz clic en Borrar zona.
Haz clic en Borrar para confirmar esta acción.
Cómo borrar el lake
En los siguientes pasos, se muestra cómo borrar el lago de Dataplex Universal Catalog que creaste.
Ve a Dataplex Universal Catalog en la Google Cloud consola.
En la vista Administrar, haz clic en el lake que creaste.
Haz clic en Borrar en la parte superior de la página.
Para confirmar la eliminación, escribe “delete” en el campo.
Haz clic en Borrar lake para confirmar la eliminación.