Administra recursos con Data Catalog

En esta página, se explica cómo puedes buscar y administrar tus recursos de Spanner con Data Catalog.

Data Catalog es un servicio de administración de metadatos escalable y completamente administrado dentro de Dataplex Universal Catalog. Cataloga automáticamente los siguientes metadatos sobre instancias, bases de datos, tablas, columnas y vistas de Spanner:

  • Nombre y nombre completamente calificado
  • Ubicación (región)
  • Fecha de creación y fecha de la última modificación
  • Esquema (para tablas y vistas)
  • Descripción

Los metadatos de Spanner se sincronizan automáticamente con Data Catalog a intervalos regulares, por lo general, cada unas horas. Puedes usar Data Catalog para descubrir y comprender tus metadatos de Spanner. Usa Data Catalog para realizar las siguientes actividades:

  • Análisis, incluidas las dependencias y la idoneidad para un caso de uso
  • Administración de cambios
  • Transferencia de datos (canalizaciones)
  • Evolución del esquema

Con Data Catalog, puedes seleccionar los metadatos si adjuntas etiquetas a las entradas de metadatos de Spanner. Cada etiqueta puede tener varios campos de metadatos y se puede basar en una plantilla de etiqueta predefinida o personalizada.

Por ejemplo, puedes adjuntar la siguiente etiqueta a una columna que contiene un número de seguridad social, que es información de identificación personal (PII):

pii:true
pii_type:SSN

Cuando mueves una instancia que usa etiquetas, estas no se mueven automáticamente a la instancia de destino. En cambio, debes exportar las etiquetas de la instancia de origen antes de moverla y, luego, importarlas a la instancia de destino. Para obtener más información, consulta Cómo importar y exportar etiquetas.

Para obtener más información sobre Data Catalog, consulta ¿Qué es Data Catalog?.

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Habilita la API de Data Catalog para el proyecto.

    Habilite la API de Data Catalog

  7. Comprueba los permisos.

    Necesitas ciertos roles y permisos de Identity and Access Management (IAM) para buscar y adjuntar etiquetas a los activos de Spanner. Si deseas obtener más detalles, consulta Roles y permisos de IAM obligatorios para Data Catalog.

    8. Crea plantillas de etiquetas

    Las plantillas de etiquetas son estructuras reutilizables que puedes usar para crear etiquetas nuevas con rapidez. Las plantillas te ayudan a evitar la duplicación de trabajos y etiquetas incompletas. Crea tantas plantillas de etiquetas como necesites.

    Para obtener más información, consulta Etiquetas y plantillas de etiquetas.

    Adjunta etiquetas a los activos de Spanner

    Adjuntar etiquetas a los activos de Spanner te permite hacer lo siguiente:

    • Agregar metadatos empresariales a los activos.
    • Busca activos por metadatos empresariales y otros metadatos personalizados.

    Para obtener más información, consulta Etiquetas y plantillas de etiquetas.

    Cómo buscar activos de Spanner

    Usa la página de búsqueda de Dataplex Universal Catalog en la consola de Google Cloud para buscar recursos de Spanner.

    1. Ve a la página de búsqueda de Dataplex Universal Catalog.

      Ir a Búsqueda

    2. En el panel Filtros, en Sistemas, selecciona Spanner.

      Dataplex Universal Catalog muestra todos los recursos conocidos de Spanner.

    3. Opcional: Realiza una de las siguientes acciones para limitar la búsqueda:

      • Usa la búsqueda por facetas en la página Buscar. Selecciona las casillas de verificación de Tipos de datos, Proyectos y Etiquetas.

      • En el campo de búsqueda, agrega un parámetro de búsqueda después de system=cloud_spanner. Separa los parámetros con espacios.

      Por ejemplo, para ver solo las bases de datos, ingresa el siguiente texto en el campo de búsqueda y, luego, presiona Enter.

       system=cloud_spanner type=database

      También puedes usar paréntesis y los operadores lógicos and y or para expresiones complejas. Para obtener más información sobre las expresiones que puedes usar en el campo de búsqueda, consulta Sintaxis de búsqueda de Data Catalog.

    4. En la tabla de resultados, haz clic en el nombre de un activo para ver sus metadatos.

    5. Opcional: Realiza cualquiera de las siguientes acciones:

      • Haz clic en AGREGAR DESCRIPCIÓN GENERAL para agregar una descripción de texto enriquecido del activo.
      • Haga clic en ADJUNTAR ETIQUETAS para agregar una etiqueta al activo.
      • En el caso de una tabla, haz clic en la pestaña SCHEMA para ver las columnas de la tabla.
      • Para ver las bases de datos de miembros de una instancia (SERVICIO), haz clic en la pestaña LISTA DE ENTRADAS y, luego, en VER ENTRADAS SECUNDARIAS EN LA BÚSQUEDA. (Si no aparece la pestaña LISTA DE ENTRADA, la instancia no tiene bases de datos).

    Flujo de trabajo de ejemplo: desglosar de instancia a columnas

    En este flujo de trabajo de ejemplo, primero debes buscar una instancia de Spanner, ver una base de datos de miembro, ver una tabla en esa base de datos y, luego, visualizar las columnas en la tabla.

    1. Ve a la página de búsqueda de Dataplex Universal Catalog.

      Ir a Búsqueda

    2. En el panel Filtros, en Sistemas, selecciona Spanner.

    3. Para ver todas las instancias de Spanner en Data Catalog, selecciona la casilla de verificación Servicio en Tipos de datos o ingresa el siguiente texto en el campo de búsqueda y presiona Enter.

      system=cloud_spanner type=service

    4. Selecciona un nombre de la instancia.

    5. En la página Detalles del servicio de Spanner, haz clic en la pestaña LISTA DE ENTRADAS y, luego, en VER ENTRADAS SECUNDARIAS EN LA BÚSQUEDA.

      Dataplex Universal Catalog muestra las bases de datos en la instancia.

    6. En la página Detalles de la base de datos de Spanner, haz clic en la pestaña LISTA DE ENTRADAS y, luego, en VER ENTRADAS SECUNDARIAS EN LA BÚSQUEDA.

      Dataplex Universal Catalog muestra las tablas en la base de datos.

    7. Selecciona un nombre de tabla y, luego, en la página Detalles de la tabla de Spanner, haz clic en ESQUEMA para ver las columnas de la tabla.

    8. Opcional: Para agregar una etiqueta a una columna, haz clic en el signo más que se encuentra debajo de Etiquetas de columna.

    Cómo importar y exportar etiquetas

    Cuando mueves una instancia de Spanner, el proceso de movimiento borra las etiquetas de instancia que creaste en Data Catalog. Para conservar tus etiquetas, debes hacer lo siguiente:

    • Consulta las etiquetas asociadas a la instancia.
    • Copia los detalles de las etiquetas.
    • Crea las etiquetas en la instancia movida.

    Spanner sincroniza los datos cada 6 horas. Los cambios en los metadatos que se realicen en los recursos de Spanner, como instancias, bases de datos, tablas, vistas o columnas, pueden tardar aproximadamente 6 horas en propagarse a Data Catalog.

    Exporta etiquetas desde la configuración de la instancia de origen

    Para enumerar las etiquetas de una instancia (entrada o grupo de entradas), usa el comando gcloud data-catalog tags list de Google Cloud CLI de la siguiente manera:

    curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

    Reemplaza lo siguiente:

    • PROJECT: Es el proyecto que contiene las etiquetas.
    • LOCATION: Es la ubicación de las etiquetas.
    • API_KEY: Es una cadena única que te permite acceder a una API.
    • ACCESS_TOKEN: Es el token de acceso que usa tu aplicación para autenticarse en el servicio.

    Importa etiquetas a la configuración de destino

    Antes de completar este procedimiento, haz lo siguiente:

    Para copiar una etiqueta, crea las etiquetas en la instancia movida con el comando gcloud data-catalog tags create de la siguiente manera:

    curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

    Reemplaza lo siguiente:

    • FQN: Nombre completamente calificado (FQN) del recurso. Los FQN adoptan dos formas:

      Para los recursos no regionalizados: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

      Para los recursos regionalizados: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

      Ejemplo de una tabla de DPMS:

      dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

    • LOCATION: Es la ubicación en la que se realiza la búsqueda.

    • PROJECT: Es el proyecto en el que se realiza la búsqueda.

    • API_KEY: Es una cadena única que te permite acceder a una API.

    • ACCESS_TOKEN: Es el token de acceso que usa tu aplicación para autenticarse en el servicio.

    Roles y permisos de IAM obligatorios para Data Catalog

    En la siguiente tabla, se muestran los roles y permisos de IAM necesarios para las distintas operaciones de Data Catalog.

    Operación de Data Catalog Recurso de Spanner Roles o permisos requeridos
    Crear una plantilla de etiqueta N/A roles/datacatalog.tagTemplateCreator
    Busca recursos de Spanner Instancia spanner.instances.get
    Base de datos spanner.databases.get
    Tabla spanner.databases.get
    Vistas spanner.databases.get
    Cómo ver etiquetas públicas Instancia spanner.instances.get
    Base de datos spanner.databases.get
    Tabla spanner.databases.get
    Vistas spanner.databases.get
    Cómo ver etiquetas privadas Instancias datacatalog.tagTemplates.getTag + spanner.instances.get
    Bases de datos datacatalog.tagTemplates.getTag + spanner.databases.get
    Tablas datacatalog.tagTemplates.getTag + spanner.databases.get
    Vistas datacatalog.tagTemplates.getTag + spanner.databases.get
    Cómo adjuntar una etiqueta a un recurso de Spanner con una plantilla de etiquetas Instancias datacatalog.tagTemplates.use + spanner.instances.updateTag
    Bases de datos datacatalog.tagTemplates.use + spanner.databases.updateTag
    Tablas datacatalog.tagTemplates.use + spanner.databases.updateTag
    Vistas datacatalog.tagTemplates.use + spanner.databases.updateTag

    El permiso spanner.instances.UpdateTag se incluye en el siguiente rol:

    • roles/spanner.admin

    El permiso spanner.databases.UpdateTag se incluye en los siguientes roles:

    • roles/spanner.admin
    • roles/spanner.databaseAdmin
    • roles/spanner.databaseUser

    Para obtener más información, consulta Roles predefinidos.

    ¿Qué sigue?