Crear canalizaciones

En este documento, se describe cómo crear canalizaciones en BigQuery. Las canalizaciones se basan en Dataform.

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

8. Sigue las instrucciones en Habilita la administración de recursos de código para guardar, compartir y administrar versiones de recursos de código, como las canalización.
9. Si es la primera vez que creas un elemento de código, configura la región predeterminada para los elementos de código de almacenamiento. No puedes cambiar la región de un elemento de código después de crearla.

Roles obligatorios para los flujos de trabajo

Para obtener los permisos que necesitas para crear canalización, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

• Para crear canalizaciones, usa Creador de código (roles/dataform.codeCreator).
• Para editar y ejecutar canalizaciones, usa el Editor de Dataform (roles/dataform.editor).

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para obtener más información sobre IAM de Dataform, consulta Controla el acceso con IAM.

Roles requeridos para las opciones de notebook

Para obtener los permisos que necesitas para seleccionar una plantilla de entorno de ejecución en las opciones del notebook, pídele a tu administrador que te otorgue el rol de IAM de usuario de entorno de ejecución de Notebook (roles/aiplatform.notebookRuntimeUser) en el proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Si no tienes este rol, puedes seleccionar la especificación predeterminada del entorno de ejecución de notebooks.

Crea una canalización

Para crear una canalización, sigue estos pasos:

1. Ve a la página de BigQuery.

   Ir a BigQuery

2. En la barra de pestañas del panel del editor, haz clic en la arrow_drop_down flecha junto al signo + y, luego, haz clic en Canal.

3. Opcional: Para cambiar el nombre de la canalización, haz clic en su nombre y, luego, escribe uno nuevo.

4. Haz clic en Comenzar y, luego, ve a la pestaña Configuración.

5. En el campo Cuenta de servicio, selecciona una cuenta de servicio de Dataform.

6. En la sección Ubicación, selecciona una región de procesamiento para la canalización.

   1. Para seleccionar una región específica, selecciona Región y, luego, una región en el menú Región.
   2. Para seleccionar una multirregión, selecciona Multirregión y, luego, una multirregión en el menú Multirregión.

   La región de procesamiento de la canalización no necesita coincidir con la región de almacenamiento predeterminada para los recursos de código.

Opciones de notebook

1. Si planeas agregar un notebook a tu canalización, haz lo siguiente en la sección Notebook options:

   1. En el campo de plantilla de entorno de ejecución, acepta el entorno de ejecución predeterminado del notebook o busca y selecciona un entorno de ejecución existente.

      • Para ver las especificaciones del entorno de ejecución predeterminado, haz clic en la flecha adyacente.
      • Para crear un entorno de ejecución nuevo, consulta Crea una plantilla de entorno de ejecución.

   2. En el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage para almacenar el resultado de los notebooks en tu canalización.

   3. Sigue las instrucciones de Agrega un principal a una política a nivel de bucket para agregar tu cuenta de servicio personalizada de Dataform como principal al bucket de Cloud Storage que planeas usar para almacenar el resultado de ejecuciones programadas de canalización y otorgar el rol de administrador de almacenamiento a este principal (roles/storage.admin).

      Se debe otorgar a la cuenta de servicio personalizada de Dataform seleccionada el rol de IAM de administrador de almacenamiento en el bucket seleccionado.

Agrega una tarea de canalización

Para agregar una tarea a una canalización, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.

3. Para agregar un recurso de código, como una consulta en SQL, un notebook o una preparación de datos, haz lo siguiente:

   Consulta en SQL

   1. Haz clic en Agregar tarea y, luego, selecciona Consulta. Puedes crear una consulta nueva o importar una existente.

   2. Opcional: En el panel Detalles de la tarea de consulta, en el menú Ejecutar después de, selecciona una tarea que preceda a tu consulta.

      Tu consulta dependerá de la tarea anterior.

   Cómo crear una consulta nueva

   1. Haz clic en el menú de flecha arrow_drop_down junto a Editar consulta y selecciona En el contexto o En una pestaña nueva.

   2. Busca una consulta existente.

   3. Selecciona un nombre de consulta y, luego, presiona Intro.

   4. Haz clic en Guardar.

   5. Opcional: Para cambiar el nombre de la consulta, haz clic en su nombre en el panel de canalización, en Editar consulta, en el nombre de la consulta existente en la parte superior de la pantalla y, luego, escribe un nombre nuevo.

   Cómo importar una consulta existente

   1. Haz clic en el menú de flecha arrow_drop_down junto a Editar consulta y, luego, en Importar una copia.

   2. Busca una consulta existente para importarla o selecciónala del panel de búsqueda. Cuando importas una consulta, el original no se modifica porque el archivo fuente de la consulta se copia en la canalización.

   3. Haz clic en Editar para abrir la consulta importada.

   4. Haz clic en Guardar.

   Notebook

   1. Haz clic en Agregar tarea y, luego, selecciona Notebook. Puedes crear un nuevo notebook o importar uno existente. Para cambiar la configuración de las plantillas del entorno de ejecución de notebooks, consulta Opciones de notebooks.

   2. Opcional: En el panel Detalles de la tarea del notebook, en el menú Ejecutar después de, selecciona una tarea que preceda a tu notebook.

      Tu notebook dependerá de la tarea anterior.

   Cómo crear un notebook nuevo

   1. Haz clic en el menú de flecha arrow_drop_down junto a Editar notebook y selecciona En el contexto o En una pestaña nueva.

   2. Busca un notebook existente.

   3. Selecciona un nombre de notebook y presiona Intro.

   4. Haz clic en Guardar.

   5. Opcional: Para cambiar el nombre del notebook, haz clic en su nombre en el panel de canalización, en Editar notebook, en el nombre del notebook existente en la parte superior de la pantalla y, luego, escribe un nombre nuevo.

   Cómo importar un notebook existente

   1. Haz clic en el menú de flecha arrow_drop_down junto a Editar notebook y haz clic en Importar una copia.

   2. Busca un notebook existente para importarlo o selecciónalo desde el panel de búsqueda. Cuando importas un notebook, el original no se modifica porque el archivo fuente del notebook se copia en la canalización.

   3. Para abrir el notebook importado, haz clic en Editar.

   4. Haz clic en Guardar.

   Preparación de datos

   1. Haz clic en Agregar tarea y, luego, selecciona Preparación de datos. Puedes crear una preparación de datos nueva o importar una existente.

   2. Opcional: En el panel Detalles de la tarea de preparación de datos, en el menú Ejecutar después de, selecciona una tarea que preceda a la preparación de datos.

      La preparación de los datos dependerá de la tarea anterior.

   Cómo crear una nueva preparación de datos

   1. Haz clic en el menú de flechas arrow_drop_down junto a Editar preparación de datos y selecciona En el contexto o En una pestaña nueva.

   2. Busca una preparación de datos existente.

   3. Selecciona un nombre para la preparación de datos y presiona Intro.

   4. Haz clic en Guardar.

   5. Opcional: Para cambiar el nombre de la preparación de datos, haz clic en el nombre de la preparación de datos en el panel de canalización, haz clic en Editar preparación de datos, haz clic en el nombre en la parte superior de la pantalla y, luego, ingresa un nombre nuevo.

   Importa una preparación de datos existente

   1. Haz clic en el menú desplegable de la flecha arrow_drop_down junto a Editar preparación de datos y, luego, en Importar una copia.

   2. Busca una preparación de datos existente para importarla o selecciónala en el panel de búsqueda. Cuando importas una preparación de datos, el original no se modifica porque el archivo fuente de la preparación de datos se copia en la canalización.

   3. Para abrir la preparación de datos importados, haz clic en Editar.

   4. Haz clic en Guardar.

Cómo editar una tarea de canalización

Para editar una tarea de canalización, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.

3. Haz clic en la tarea seleccionada.

4. Para cambiar la tarea anterior, en el menú Ejecutar después de, selecciona una tarea que preceda a tu consulta o notebook.

5. Para editar el contenido de la tarea seleccionada, haz clic en Editar.

6. En la nueva pestaña que se abre, edita el contenido de la tarea y, luego, guarda los cambios.

Cómo borrar una tarea de canalización

Para borrar una tarea de una canalización, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.

3. Haz clic en la tarea seleccionada.

4. En el panel Detalles de la tarea, haz clic en el ícono BorrarBorrar.

Cómo compartir una canalización

Para compartir una canalización, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.

3. Haz clic en Compartir y, luego, selecciona Administrar permisos.

4. Haz clic en Agregar usuario o grupo.

5. En el campo Principales nuevas, ingresa el nombre de, al menos, un usuario o grupo.

6. En Asignar roles, selecciona un rol.

7. Haz clic en Guardar.

Cómo compartir un vínculo a una canalización

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.

3. Haz clic en Compartir y, luego, selecciona Compartir vínculo. La URL de tu canalización se copia en el portapapeles de tu computadora.

Ejecutar una canalización

Para ejecutar manualmente la versión actual de una canalización, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.

3. Haz clic en Ejecutar.

4. Opcional: Para inspeccionar la ejecución, consulta las ejecuciones manuales anteriores.

¿Qué sigue?

• Obtén más información sobre las canalizaciones de BigQuery.
• Obtén más información para administrar canalizaciones.
• Obtén información para programar canalizaciones.