Crea y usa análisis de perfil de datos

Console

1. En la consola de Google Cloud , ve a la página Perfil.

   Ir al perfil de Dataplex Universal Catalog

2. Haz clic en Crear análisis de perfil de datos.

3. Ingresa un nombre visible.

4. Para cambiar el ID de análisis generado automáticamente, proporciona el tuyo. Consulta la convención de asignación de nombres de recursos.

5. Ingresa una Descripción (opcional).

6. En el campo Tabla, haz clic en Explorar.

7. Selecciona una tabla y haz clic en Seleccionar.

8. En el campo Alcance, elige Incremental o Datos completos.

   • Si eliges Datos incrementales, en el campo Columna de marca de tiempo, selecciona una columna de tipo DATE o TIMESTAMP de tu tabla de BigQuery que aumente de forma monotónica y se pueda usar para identificar registros nuevos. Para las tablas particionadas en una columna de tipo DATE o TIMESTAMP, recomendamos usar la columna de partición como el campo de marca de tiempo.

9. Para aplicar el muestreo al análisis del perfil de datos, selecciona un porcentaje de muestreo en la lista Tamaño de muestreo.

   • Elige un valor de porcentaje que oscile entre el 0.0% y el 100.0% con hasta 3 dígitos decimales.
   • Para conjuntos de datos más grandes, elige un porcentaje de muestreo más bajo. Por ejemplo, para una tabla de ~1 PB, si ingresas un valor entre el 0.1% y el 1.0%, Dataplex Universal Catalog muestreará entre 1 y 10 TB de datos.
   • Necesitas al menos 100 registros en los datos de la muestra para obtener un resultado.
   • Para los análisis de datos incrementales, Dataplex Universal Catalog aplica el muestreo al incremento más reciente.

10. Para filtrar por fila, haz clic en Filtros y selecciona Filtrar filas.

    • Ingresa una expresión de SQL válida que se pueda usar en una cláusula WHERE en la sintaxis de GoogleSQL. Por ejemplo: col1 >= 0.

    • El filtro puede ser una combinación de condiciones de SQL en varias columnas. Por ejemplo: col1 >= 0 AND col2 < 10.

11. Opcional: Haz clic en Filtros. Selecciona la casilla de verificación Filtrar columnas.

    a. En el campo Incluir columnas, haz clic en Explorar.

    • Especifica las columnas que se incluirán en el análisis del perfil. Para seleccionar las columnas que desees, marca las casillas y haz clic en Seleccionar.

    b. En el campo Excluir columnas, haz clic en Explorar.

    • Especifica las columnas que se excluirán del análisis de perfil. Para seleccionar las columnas que desees, marca las casillas y haz clic en Seleccionar.

12. Opcional: Publica los resultados del análisis de perfil de datos en las páginas del catálogo universal de BigQuery y Dataplex en la consola de la tabla de origen.Google Cloud Haz clic en la casilla de verificación Publicar los resultados en la IU de BigQuery y Dataplex Catalog.

    Puedes ver los resultados del análisis más recientes en la pestaña Perfil de datos en las páginas de BigQuery y Dataplex Universal Catalog para la tabla de origen. Para permitir que los usuarios accedan a los resultados del análisis publicados, consulta Cómo compartir los resultados publicados.

    Es posible que la opción de publicación no esté disponible en los siguientes casos:

    • No tienes los permisos necesarios en la tabla.
    • Otro análisis de calidad de los datos está configurado para publicar los resultados.

    Para obtener más información sobre los permisos necesarios para ver los resultados publicados, consulta Permisos.

13. Opcional: Exporta los resultados del análisis a una tabla estándar de BigQuery. Haz clic en Explorar para seleccionar un conjunto de datos de BigQuery existente en el que se almacenarán los resultados del análisis del perfil de datos.

    Si la tabla especificada no existe, Dataplex Universal Catalog la crea por ti. Si usas una tabla existente, asegúrate de que sea compatible con el esquema de tabla que se describe más adelante en esta sección.

14. Opcional: Agrega etiquetas. Las etiquetas son pares key:value que te permiten agrupar objetos relacionados entre sí o con otros recursos de Google Cloud .

15. En Opciones de programación, elige una de las siguientes opciones:

    • Repetir: Ejecuta tu trabajo de análisis de perfil de datos según un programa: diario, semanal, mensual o personalizado. Especifica la frecuencia con la que se debe ejecutar el análisis y a qué hora. Si eliges la opción personalizada, usa el formato cron para especificar la programación.

    • Según demanda: Crea tu análisis de perfil de datos y ejecútalo en cualquier momento con la acción Ejecutar ahora.

16. Haz clic en Crear.

gcloud

Para crear un análisis de perfil de datos, ejecuta el siguiente comando:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY
| --data-source-resource=DATA_SOURCE_RESOURCE

Reemplaza las siguientes variables:

• DATASCAN: Es el nombre del análisis del perfil de datos.
• LOCATION: Es la región Google Cloud en la que se creará el análisis del perfil de datos.
• DATA_SOURCE_ENTITY: Es la entidad de Dataplex Universal Catalog que contiene los datos para el análisis de perfil de datos. Por ejemplo, projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity
• DATA_SOURCE_RESOURCE: Es el nombre del recurso que contiene los datos para el análisis del perfil de datos. Por ejemplo, //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table

Para obtener información sobre los argumentos opcionales, consulta la referencia de la CLI de gcloud.

REST

Usa el Explorador de APIs para crear un análisis de perfil de datos.

Console

1. En la consola de Google Cloud, ve a la página Perfil.

   Ir al perfil de Dataplex Universal Catalog

2. Haz clic en Crear varios análisis de perfiles.

3. Ingresa un prefijo de ID. Dataplex Universal Catalog genera automáticamente IDs de análisis con el prefijo proporcionado y sufijos únicos.

4. Ingresa una Descripción para todos los análisis del perfil de datos.

5. En el campo Conjunto de datos, haz clic en Explorar. Selecciona un conjunto de datos para elegir tablas. Haz clic en Seleccionar.

6. Si el conjunto de datos es multirregional, selecciona una región en la que se crearán los análisis de perfil de datos.

7. Selecciona Opciones de configuración comunes:

   1. En el campo Alcance, elige Incremental o Datos completos.

   2. Para aplicar el muestreo a tus análisis del perfil de datos, selecciona un porcentaje de muestreo en la lista Tamaño de muestreo.

      Elige un valor de porcentaje entre 0.0% y 100.0% con hasta 3 dígitos decimales.

   3. Para mostrar los resultados de todos los análisis, selecciona Publicación. Puedes ver los resultados en la pestaña Perfil de los detalles de la tabla del catálogo universal de BigQuery o Dataplex. Asegúrate de tener los permisos bigquery.tables.update en las tablas de origen.

   4. En Opciones de programación, elige una de las siguientes opciones:

      1. Repetir: Ejecuta tus trabajos de análisis de perfil de datos de forma programada. Especifica con qué frecuencia se ejecutará el análisis (diariamente, semanalmente, mensualmente o de forma personalizada) y a qué hora. Si eliges la opción personalizada, usa el formato cron para especificar el programa.

      2. A pedido: Crea tus trabajos de análisis de perfil de datos y ejecútalos en cualquier momento haciendo clic en Ejecutar.

8. En la opción Elegir tablas, haz clic en Explorar. Elige una o más de las tablas que se analizarán. Haz clic en Seleccionar.

9. Selecciona Configuración adicional:

   1. Para guardar los resultados de tus análisis de perfil de datos en una tabla de BigQuery de tu elección, elige una tabla en Exportar los resultados del análisis a la tabla de BigQuery. Dataplex Universal Catalog copia y guarda automáticamente los resultados en esta tabla para cada trabajo de análisis.

      1. Haz clic en Explorar para seleccionar un conjunto de datos.

      2. Ingresa una tabla de BigQuery en la que se guardarán los resultados. Puede ser una tabla existente que usan otros análisis de perfil de datos de Dataplex Universal Catalog para guardar resultados. Si no existe una tabla con el nombre especificado, Dataplex Universal Catalog la crea.

   2. Agrega etiquetas para anotar tu análisis del perfil de datos.

10. Haz clic en Ejecutar análisis para crear y ejecutar todos los análisis. Esta opción solo está disponible para los análisis a pedido.

11. Haz clic en Crear para crear todos los análisis.

gcloud

No compatible.

REST

No compatible.

Console

1. En la consola de Google Cloud , ve a la página Perfil del catálogo universal de Dataplex. Ir al perfil
2. Haz clic en el análisis del perfil de datos que deseas ejecutar.
3. Haz clic en Ejecutar ahora.

gcloud

Para ejecutar un análisis de perfil de datos, ejecuta el siguiente comando:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

Reemplaza las siguientes variables:

• DATASCAN: Es el nombre del análisis del perfil de datos.
• LOCATION: Es la Google Cloud región en la que se creó el análisis del perfil de datos.

Para obtener información sobre los argumentos opcionales, consulta la referencia de la CLI de gcloud.

REST

Usa el Explorador de APIs para ejecutar el análisis de tu perfil de datos.

Console

Todos los análisis de perfil de los datos que crees aparecerán en la página Perfil.

Para ver los resultados detallados de un análisis, haz clic en su nombre.

• En la sección Descripción general, se muestran las ejecuciones del análisis, la hora de cada ejecución, la cantidad de registros de la tabla analizados y el estado del trabajo.

• La sección Configuración de análisis de perfil contiene detalles sobre el análisis.

gcloud

Para ver los resultados de un trabajo de análisis de perfil de datos, ejecuta el siguiente comando:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Reemplaza las siguientes variables:

• JOB: Es el ID del trabajo de análisis del perfil de datos.
• LOCATION: Es la Google Cloud región en la que se creó el análisis del perfil de datos.
• DATASCAN: Es el nombre del análisis del perfil de datos al que pertenece el trabajo.
• --view=FULL: Para ver el resultado del trabajo de análisis, especifica FULL.

Para obtener información sobre los argumentos opcionales, consulta la referencia de la CLI de gcloud.

REST

Usa el Explorador de APIs para ver los resultados de un análisis de perfil de datos.

Console

La pestaña Resultados del trabajo más reciente, cuando hay al menos una ejecución completada correctamente, proporciona información sobre el trabajo más reciente. En ella, se enumeran las columnas de la tabla analizada y las estadísticas sobre las columnas que se encontraron en el análisis.

gcloud

Para ver el análisis de perfil de datos correcto más reciente, ejecuta el siguiente comando:

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

Reemplaza las siguientes variables:

• DATASCAN: Es el nombre del análisis del perfil de datos para el que se desea ver el trabajo más reciente.
• LOCATION: Es la región de Google Cloud en la que se creó el análisis del perfil de datos.
• --view=FULL: Para ver el resultado del trabajo de análisis, especifica FULL.

Para obtener información sobre los argumentos opcionales, consulta la referencia de la CLI de gcloud.

REST

Usa el Explorador de APIs para ver el trabajo de análisis más reciente.

Console

La pestaña Historial de trabajos proporciona información sobre trabajos anteriores. En ella, se enumeran todos los trabajos, la cantidad de registros analizados en cada trabajo, el estado del trabajo, el tiempo de ejecución del trabajo y mucho más.

Para ver la información detallada sobre un trabajo, haz clic en cualquiera de los trabajos que se encuentran en ID del trabajo.

gcloud

Para ver todos los trabajos de un análisis de perfil de datos, ejecuta el siguiente comando:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

Reemplaza las siguientes variables:

• LOCATION: Es la región de Google Cloud en la que se creó el análisis del perfil de datos.
• DATASCAN: Nombre del análisis del perfil de datos para el que se visualizarán todos los trabajos.

Para obtener información sobre los argumentos opcionales, consulta la referencia de la CLI de gcloud.

REST

Usa el Explorador de APIs para ver todos los trabajos de análisis.

Console

1. En la consola de Google Cloud , ve a la página Perfil.

   Ir al perfil de Dataplex Universal Catalog

2. En la fila del análisis que deseas editar, haz clic en more_vert > Editar.

3. Edite los valores.

4. Haz clic en Guardar.

gcloud

Para actualizar un análisis de perfil de datos, ejecuta el siguiente comando:

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Reemplaza las siguientes variables:

• DATASCAN: Es el nombre del análisis del perfil de datos que se actualizará.
• LOCATION: Es la región de Google Cloud en la que se creó el análisis del perfil de datos.
• DESCRIPTION: Es la nueva descripción del análisis del perfil de datos.

Para ver los campos de especificación que se pueden actualizar, consulta la referencia de la CLI de gcloud.

REST

Usa el Explorador de APIs para editar un análisis de perfil de datos.

Console

1. En la consola de Google Cloud , ve a la página Perfil. Ir a Perfil de Dataplex Universal Catalog

2. Haz clic en el análisis que quieras borrar.

3. Haz clic en Borrar.

gcloud

Para borrar un análisis del perfil de datos, ejecuta el siguiente comando:

gcloud dataplex datascans delete \
DATASCAN --location=LOCATION \
--async

Reemplaza las siguientes variables:

• DATASCAN: Es el nombre del análisis del perfil de datos que se borrará.
• LOCATION: Es la región de Google Cloud en la que se creó el análisis del perfil de datos.

Para obtener información sobre los argumentos opcionales, consulta la referencia de la CLI de gcloud.

REST

Usa el Explorador de APIs para borrar tu análisis del perfil de datos.