Crea un espacio de trabajo de desarrollo de Dataform

Este documento te ayuda a hacer lo siguiente:

Descripción general de los espacios de trabajo de desarrollo

En Dataform, interactúas con el código de tu flujo de trabajo en un espacio de trabajo de desarrollo, que es tu propia copia editable de un repositorio. En un espacio de trabajo, puedes crear, editar o borrar el contenido del repositorio sin afectar a otras personas que trabajan en el mismo repositorio y, luego, confirmar y enviar los cambios al repositorio.

Puedes desarrollar tu flujo de trabajo con Dataform core o JavaScript. Dataform compila tu código en consultas de SQL en tiempo real.

En un espacio de trabajo de desarrollo, puedes realizar las siguientes tareas:

Componentes de un espacio de trabajo de desarrollo

Un espacio de trabajo de desarrollo de Dataform consta de las pestañas que se describen en las siguientes secciones.

Pestaña Código

Puedes usar el entorno de desarrollo en la pestaña Código para explorar archivos, desarrollar consultas, control de versión de tus cambios y activar la ejecución en BigQuery. La pestaña contiene los siguientes componentes que te permiten desarrollar flujos de trabajo:

  • Panel Files: Muestra la estructura de archivos de tu espacio de trabajo y guarda automáticamente los cambios que realices en ella. Los archivos seleccionados se abren en las pestañas del panel de desarrollo. En el campo Escribe para buscar, puedes buscar archivos o directorios en tu espacio de trabajo por su ruta de acceso.
  • Panel Control de versión: Muestra el estado del control de versión de tu espacio de trabajo y las opciones de control de versión.
  • Panel Development: Muestra los archivos abiertos en pestañas. Guarda automáticamente los cambios en los archivos editados.
  • Botón Ejecutar: Ejecuta una vista previa de la consulta de SQL compilada.
  • Botón Formato: Da formato a tu código de Dataform Core o JavaScript.
  • Estado de compilación: Muestra el estado de compilación del código en tu espacio de trabajo.
  • Panel Metadatos: Muestra los metadatos del archivo editado.
  • Panel Compiled queries: Compila las consultas del archivo editado en SQL. Si falla la compilación de la consulta, el panel muestra los errores de compilación. Si la compilación de la consulta se realiza correctamente, el panel muestra las consultas compiladas y las valida a través de ejecuciones de prueba en BigQuery. Si falla la validación de la consulta, el panel muestra los errores de validación. Si la validación de la consulta se realiza correctamente, el panel muestra cuántos bytes usaría la ejecución de las consultas en BigQuery.
  • Menú Start execution: Muestra las opciones para activar la ejecución de todo el flujo de trabajo en tu espacio de trabajo o sus elementos seleccionados.

Pestaña de gráfico compilado

En la pestaña Gráfico compilado, puedes ver el flujo de trabajo compilado definido en tu espacio de trabajo como un gráfico acíclico dirigido (DAG) interactivo. El gráfico muestra todas las acciones de tu flujo de trabajo y las relaciones entre ellas. Si hay errores de compilación en tu flujo de trabajo, la pestaña mostrará un mensaje de error en lugar del gráfico.

Puedes acercar y alejar la imagen, y usar la navegación de arrastrar y soltar en el gráfico.

Puedes filtrar el gráfico según las siguientes propiedades:

  • Nombre
  • Etiqueta
  • Escribe
    • Aserción
    • Declaración
    • Tabla incremental
    • Vista materializada
    • Operaciones
    • Tabla
    • Desconocido
    • Ver

Puedes seleccionar varios filtros a la vez. Dataform los aplica con la condición OR.

Puedes hacer clic en una acción del gráfico para ver sus detalles en los siguientes paneles:

  • Panel Metadata: Muestra el nombre completo, el tipo, las dependencias y los elementos dependientes de la acción seleccionada.
  • Panel Consulta: Muestra la consulta en SQL compilada de la acción seleccionada.

Pestaña Ejecuciones

En esta pestaña, se muestran los registros de todas las ejecuciones activadas en el espacio de trabajo. También puedes ver las acciones y sus detalles para una ejecución seleccionada. Para obtener más información, consulta Supervisa los registros de ejecución.

Control de versiones en un espacio de trabajo

En un espacio de trabajo, interactúas con el repositorio a través del control de versiones basado en Git. Las ediciones que realices en los archivos de tu espacio de trabajo comenzarán como cambios locales sin confirmar que puedes confirmar y, luego, enviar a tu repositorio para que estén disponibles para todos los usuarios del repositorio.

Si tu repositorio está conectado a un proveedor de Git remoto, debes enviar los cambios de tu espacio de trabajo a tu rama de desarrollo principal. Selecciona la rama principal cuando conectes tu repositorio al proveedor de Git remoto. En un repositorio de Dataform no conectado, envías los cambios a la rama predeterminada.

También puedes extraer los cambios del repositorio de Dataform o del repositorio remoto y combinarlos con los cambios locales en tu espacio de trabajo de desarrollo. Para obtener más información sobre el control de versión en Dataform, consulta Controla la versión de tu código.

Antes de comenzar

Si aún no lo hiciste, crea un repositorio de Dataform.

Roles obligatorios

Para obtener los permisos que necesitas para crear, inicializar y borrar un espacio de trabajo de desarrollo, pídele a tu administrador que te otorgue el rol de IAM de Editor de Dataform (roles/dataform.editor) en los espacios de trabajo. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Crea un espacio de trabajo de desarrollo de Dataform

Cuando creas un espacio de trabajo de desarrollo en un repositorio nuevo por primera vez, Dataform te solicita que inicialices el espacio de trabajo de desarrollo con un conjunto de archivos de configuración que son necesarios para que Dataform funcione.

Un espacio de trabajo de desarrollo inicializado contiene los siguientes directorios y archivos:

  • definitions/: Es un directorio para las definiciones de recursos, en Dataform Core o JavaScript.

  • includes/: Es un directorio vacío para las secuencias de comandos y las variables que puedes reutilizar en todo el repositorio.

  • workflow_settings.yaml: Es el archivo de configuración predeterminado de Dataform que contiene el ID del proyecto Google Cloud y el esquema de BigQuery en el que se publicarán los recursos. Puedes anular la configuración predeterminada para personalizarla según tus necesidades, pero la personalización no es un requisito para comenzar a usar Dataform.

  • package.json: Es el archivo de configuración de dependencias de Dataform predeterminado con la versión más reciente de @dataform/core. Puedes usar este archivo para importar paquetes.

  • definitions/sample.sqlx: Un archivo SQLX de muestra para ayudarte a comenzar.

Para crear un nuevo espacio de trabajo de desarrollo de Dataform, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Dataform.

    Ir a Dataform

  2. Selecciona el repositorio en el que deseas crear el nuevo espacio de trabajo de desarrollo.

  3. En la página del repositorio, haz clic en Crear lugar de trabajo de desarrollo.

  4. En la ventana Crear espacio de trabajo de desarrollo, haz lo siguiente:

    1. En el campo ID del espacio de trabajo, ingresa un ID único para el espacio de trabajo de desarrollo.

      Los IDs solo pueden incluir números, letras, guiones y guiones bajos.

    2. Haz clic en Crear.

Inicializa el espacio de trabajo en un repositorio de Dataform

Para inicializar un espacio de trabajo de desarrollo de Dataform, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Dataform.

    Ir a Dataform

  2. Selecciona el repositorio en el que deseas inicializar el espacio de trabajo vacío.

  3. En la pestaña Lugares de trabajo de desarrollo, haz clic en el nombre del lugar de trabajo vacío que deseas inicializar.

  4. En la página del espacio de trabajo de desarrollo, haz clic en Inicializar espacio de trabajo.

Borra un espacio de trabajo de Dataform

La creación de lugares de trabajo de desarrollo de Dataform no tiene costos asociados. Sin embargo, si deseas borrar un lugar de trabajo de desarrollo, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Dataform.

    Ir a Dataform

  2. Selecciona el repositorio que contiene el espacio de trabajo que deseas borrar.

  3. Para evitar borrar los cambios no confirmados, confirma y envía los cambios a tu repositorio de Git.

  4. En la pestaña Lugares de trabajo de desarrollo, selecciona el lugar de trabajo de desarrollo que quieres borrar y, luego, haz clic en Borrar lugares de trabajo seleccionados.

    Puedes borrar varios espacios de trabajo a la vez.

  5. Para confirmar la acción, haz clic en Borrar.

¿Qué sigue?