Programa notebooks

En este documento, se describe cómo programar notebooks de Colab Enterprise en BigQuery y cómo inspeccionar las ejecuciones de notebooks programadas.

Los notebooks son recursos de código con tecnología de Dataform. Sin embargo, los notebooks no son visibles en Dataform.

Puedes programar un notebook para que se ejecute automáticamente en un momento y con una frecuencia específicos, por ejemplo, para entrenar un modelo de AA, llamar a APIs externas o ejecutar código de BigQuery DataFrames.

Los cambios que realices en un cuaderno se guardarán automáticamente, pero solo estarán disponibles para ti y para los usuarios que tengan acceso al cuaderno. Para actualizar el programa con una versión nueva del notebook, debes implementar el notebook. Cuando implementas un notebook, actualizas su programa con tu versión actual del notebook. Los programas ejecutan la versión implementada más reciente del notebook.

Cada programación de notebook se ejecuta con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio de Dataform que seleccionas cuando configuras la programación.

Dataform escribe el resultado de las ejecuciones programadas del notebook en el bucket de Cloud Storage seleccionado durante la creación de la programación.

Los programas de notebooks usan un entorno de ejecución estándar de E2. Se aplican cargos de Colab Enterprise por los tiempos de ejecución. Se te cobra el procesamiento del tiempo de ejecución según el tipo de máquina E2. Para obtener información sobre los precios de los tiempos de ejecución estándar de E2, consulta Precios de Colab Enterprise.

Antes de comenzar

Antes de comenzar, crea un notebook.

Habilita la programación de notebooks

Para programar notebooks, debes otorgar los siguientes roles a la cuenta de servicio que planeas usar para las programaciones de notebooks:

Usuario del ejecutor de notebooks (roles/aiplatform.notebookExecutorUser)
Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de usuario de ejecutor de notebooks a tu cuenta de servicio en el proyecto seleccionado.
Administrador de almacenamiento (roles/storage.admin)
Sigue las instrucciones de Agrega un principal a una política a nivel de bucket para agregar tu cuenta de servicio como principal al bucket de Cloud Storage que planeas usar para almacenar el resultado de ejecuciones programadas de notebooks y otorgar el rol de administrador de almacenamiento a esta principal.
Usuario de cuenta de servicio (roles/iam.serviceAccountUser)
Sigue los pasos de Otorga un solo rol en una cuenta de servicio para agregar tu cuenta de servicio como principal a sí misma. En otras palabras, agrega la cuenta de servicio como principal a la misma cuenta de servicio. Luego, otorga el rol de usuario de cuenta de servicio a este principal.

Además, debes otorgar el siguiente rol a la cuenta de servicio predeterminada de Dataform:

Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator)
Sigue los pasos de Otorga acceso de creación de tokens a una cuenta de servicio personalizada de Dataform para agregar la cuenta de servicio predeterminada de Dataform como principal a tu cuenta de servicio y otorga el rol de creador de tokens de cuentas de servicio a esta principal.

Para obtener más información sobre las cuentas de servicio en Dataform, consulta Acerca de las cuentas de servicio en Dataform.

Permisos necesarios

Para crear programaciones de notebooks, necesitas los siguientes roles:

Para usar plantillas de entorno de ejecución de notebooks cuando programes notebooks, necesitas el rol de Usuario del entorno de ejecución del notebook (roles/aiplatform.notebookRuntimeUser).

Para editar y borrar programaciones de notebooks, necesitas el rol de Editor de Dataform (roles/dataform.editor).

Para ver las programaciones de los notebooks, necesitas el rol de Visualizador de Dataform (roles/dataform.viewer).

Para obtener más información sobre IAM de BigQuery, consulta Control de acceso con IAM.

Crear una programación

Para crear una programación de notebook, sigue estos pasos:

Panel Explorador

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook que deseas programar.

  3. En la barra de herramientas Notebook, haz clic en Programar.

    También puedes hacer clic en Programar.

  4. En el panel Programar notebook, en el campo Nombre de la programación, ingresa un nombre para la programación.

  5. En la sección Autenticación, autoriza el notebook con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

    • Para usar las credenciales de usuario de tu Cuenta de Google (versión preliminar), selecciona Ejecutar con mis credenciales de usuario.
    • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio.

  6. En la sección Opciones de notebook, en el campo Plantilla de entorno de ejecución, selecciona una plantilla de entorno de ejecución de notebook de Colab o las especificaciones de entorno de ejecución predeterminadas. Para obtener detalles sobre cómo crear una plantilla de entorno de ejecución de notebook de Colab, consulta Crea una plantilla de entorno de ejecución.

  7. En el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage.

    A la cuenta de servicio seleccionada se le debe otorgar el rol de IAM de administrador de almacenamiento (roles/storage.admin) en el bucket seleccionado. Para obtener más información, consulta Cómo habilitar la programación de notebooks.

  8. En la sección frecuencia de programación, haz lo siguiente:

    1. En el menú Repeticiones, selecciona la frecuencia de las ejecuciones programadas del notebook.
    2. En el campo A la hora, ingresa la hora de las ejecuciones programadas del notebook.
    3. En el menú Zona horaria, selecciona la zona horaria para la programación.

  9. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google (versión preliminar).

Cuando creas la programación, se implementa automáticamente la versión actual del notebook. Para actualizar el programa con una versión nueva del notebook, implementa el notebook.

La versión implementada más reciente del notebook se ejecuta en el momento y con la frecuencia seleccionados.

Página Programación

  1. En la consola de Google Cloud , ve a la página Scheduling.

    Ir a Programación

  2. Haz clic en Crear y, luego, selecciona Programación de notebook en el menú.

  3. En el panel Programar notebook, en el campo Notebook, selecciona el notebook que deseas programar.

  4. En el campo Nombre de la programación, ingresa un nombre para la programación.

  5. En la sección Autenticación, autoriza el notebook con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

    • Para usar las credenciales de usuario de tu Cuenta de Google (versión preliminar), selecciona Ejecutar con mis credenciales de usuario.
    • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, elige una cuenta de servicio.

  6. En la sección Opciones del notebook, en el campo Plantilla de entorno de ejecución, selecciona una plantilla de entorno de ejecución del notebook de Colab o las especificaciones de entorno de ejecución predeterminadas. Para obtener detalles sobre cómo crear una plantilla de entorno de ejecución de notebook de Colab, consulta Crea una plantilla de entorno de ejecución.

  7. En el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage.

    A la cuenta de servicio seleccionada se le debe otorgar el rol de IAM de administrador de almacenamiento (roles/storage.admin) en el bucket seleccionado. Para obtener más información, consulta Cómo habilitar la programación de notebooks.

  8. En la sección frecuencia de programación, haz lo siguiente:

    1. En el menú Repeticiones, selecciona la frecuencia de las ejecuciones programadas del notebook.
    2. En el campo A la hora, ingresa la hora de las ejecuciones programadas del notebook.
    3. En el menú Zona horaria, selecciona la zona horaria para la programación.

  9. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google (versión preliminar).

Cuando creas la programación, se implementa automáticamente la versión actual del notebook. Para actualizar el programa con una versión nueva del notebook, implementa el notebook.

La versión implementada más reciente del notebook se ejecuta en el momento y con la frecuencia seleccionados.

Autoriza tu Cuenta de Google

Para autenticar el recurso con las credenciales de usuario de tu Cuenta de Google, debes otorgar permiso de forma manual a las canalizaciones de BigQuery para obtener el token de acceso de tu Cuenta de Google y acceder a los datos de origen en tu nombre. Puedes otorgar la aprobación manual con la interfaz del diálogo de OAuth.

Solo debes otorgar permiso a las canalizaciones de BigQuery una vez.

Para revocar el permiso que otorgaste, sigue estos pasos:

  1. Ve a la página de tu Cuenta de Google.
  2. Haz clic en BigQuery Pipelines.
  3. Haga clic en Quitar acceso.

Cambiar el propietario de la programación del notebook actualizando las credenciales también requiere aprobación manual si el nuevo propietario de la Cuenta de Google nunca antes creó una programación.

Implementa un notebook

Cuando implementas un notebook, se actualiza su programa con la versión actual del notebook. Los programas ejecutan la versión implementada más reciente del notebook.

Si tienes un programa para este notebook, BigQuery te solicitará que implementes los cambios para actualizar tu programa cuando edites el notebook.

Sigue estos pasos para implementar un notebook:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.

  3. Haz clic en Implementar.

El programa correspondiente se actualiza con la versión actual del notebook. La versión implementada más reciente del notebook se ejecuta a la hora programada.

Ejecuta un notebook implementado de forma manual

Cuando ejecutas manualmente un notebook implementado en un programa seleccionado, BigQuery ejecuta el notebook implementado una vez, independientemente del programa.

Para ejecutar manualmente un notebook implementado, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Scheduling.

    Ir a Programación

  2. Haz clic en el nombre del programa del notebook seleccionado.

  3. En la página Detalles de la programación, haz clic en Ejecutar.

Visualiza todos los programas

Para ver todas las programaciones de notebooks en tu proyecto, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Scheduling.

    Ir a Programación

  2. Opcional: Para mostrar columnas adicionales con detalles de la programación del notebook, haz clic en Opciones de visualización de columnas, selecciona las columnas y, luego, haz clic en Aceptar.

Visualiza los detalles del programa

Puedes ver los detalles de un programa seleccionado en el panel Explorador o en la página Programación.

Para ver los detalles de la programación de un notebook seleccionado, sigue estos pasos:

Panel Explorador

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.

  3. En la barra de herramientas Notebook, haz clic en Programar.

    También puedes hacer clic en Programar.

Página Programación

  1. En la consola de Google Cloud , ve a la página Scheduling.

    Ir a Programación

  2. Haz clic en el nombre del programa del notebook seleccionado.

Ver ejecuciones anteriores

Puedes ver las ejecuciones anteriores de un programa de notebook seleccionado en el panel Explorador o en la página Programación.

Para ver las ejecuciones anteriores de una programación de notebook seleccionada, sigue estos pasos:

Panel Explorador

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.

  3. Haz clic en Programar y, luego, en Ver ejecuciones anteriores.

Página Programación

  1. En la consola de Google Cloud , ve a la página Scheduling.

    Ir a Programación

  2. Haz clic en el nombre del programa del notebook seleccionado.

  3. En la página Detalles del programa, en la sección Ejecuciones anteriores, inspecciona las ejecuciones anteriores.

  4. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Cómo inhabilitar un programa

Para pausar las ejecuciones programadas de un notebook seleccionado sin borrar la programación, puedes inhabilitarla.

Para inhabilitar una programación de un notebook seleccionado, sigue estos pasos:

Panel Explorador

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.

  3. En la barra de herramientas Notebook, haz clic en Programar.

    También puedes hacer clic en Programar.

  4. En la tabla de detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está habilitada.

Página Programación

  1. En la consola de Google Cloud , ve a la página Scheduling.

    Ir a Programación

  2. Haz clic en el nombre del notebook seleccionado.

  3. En la página Detalles de la programación, haz clic en Inhabilitar.

Cómo habilitar un programa

Para reanudar las ejecuciones programadas de una programación de notebook inhabilitada, sigue estos pasos:

Panel Explorador

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.

  3. En la barra de herramientas Notebook, haz clic en Programar.

    También puedes hacer clic en Programar.

  4. En la tabla de detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está inhabilitada.

Página Programación

  1. En la consola de Google Cloud , ve a la página Scheduling.

    Ir a Programación

  2. Haz clic en el nombre del notebook seleccionado.

  3. En la página Detalles de la programación, haz clic en Habilitar.

Edita una planificación

Puedes editar una programación en el panel Explorador o en la página Programación.

Para editar un programa, sigue estos pasos:

Panel Explorador

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.

  3. Haz clic en Programar y, luego, en Editar.

  4. En el diálogo Detalles de la programación, edita la programación y, luego, haz clic en Actualizar programación.

Página Programación

  1. En la consola de Google Cloud , ve a la página Scheduling.

    Ir a Programación

  2. Haz clic en el nombre del programa del notebook seleccionado.

  3. En la página Detalles de la programación, haz clic en Editar.

  4. Haz clic en Ver programación y, luego, en Editar.

  5. En el diálogo Programar notebook, edita la programación y, luego, haz clic en Actualizar programación.

Borra un programa

Para borrar de forma permanente una programación de un notebook seleccionado, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Scheduling.

    Ir a Programación

  2. Elige una de las siguientes opciones:

    • Haz clic en el nombre del programa seleccionado y, luego, en Borrar en la página Detalles del programa.

    • En la fila que contiene la programación seleccionada, haz clic en Ver acciones en la columna Acciones y, luego, en Borrar.

  3. En el cuadro de diálogo que aparece, haz clic en Borrar.

¿Qué sigue?