Cómo exportar información de trabajos

En esta página, se describe cómo exportar la información de tus trabajos almacenados en Batch a una tabla de BigQuery con Workflows. Específicamente, aprenderás a ejecutar el flujo de trabajo de exportación de trabajos de muestra y a ver la información del trabajo resultante en BigQuery.

Exportar la información de un trabajo es útil cuando deseas conservarla después de que se borre de forma automática o manual, o bien analizarla fuera de Batch. Como alternativa, si solo deseas exportar información sobre los cambios de estado de las tareas y los trabajos a BigQuery, consulta Supervisa trabajos con notificaciones.

Para obtener información sobre cómo exportar la información de los trabajos almacenada en otros servicios deGoogle Cloud , consulta la documentación de exportación de ese servicio. Por ejemplo, consulta las siguientes páginas:

Antes de comenzar

  1. Si nunca usaste Batch, revisa Cómo comenzar a usar Batch y habilita Batch completando los requisitos previos para proyectos y usuarios.

  2. Enable the BigQuery and Workflows APIs.

    Enable the APIs

  3. Opcional: Identifica un conjunto de datos o una tabla de BigQuery existentes en tu proyecto en los que quieras almacenar la información del trabajo. Una tabla existente debe tener un esquema coincidente.

    De lo contrario, puedes usar el flujo de trabajo de exportación de trabajos para crear un nuevo conjunto de datos o una nueva tabla.

  4. Para preparar una cuenta de servicio para el flujo de trabajo de exportación de trabajos, haz lo siguiente:

    1. Crea una cuenta de servicio nueva o identifica una cuenta de servicio existente.

    2. Para garantizar que la cuenta de servicio tenga los permisos necesarios para ejecutar el flujo de trabajo de exportación de trabajos, pídele a tu administrador que le otorgue a la cuenta de servicio los siguientes roles de IAM en el proyecto:

      Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

      Es posible que tu administrador también pueda otorgar a la cuenta de servicio los permisos necesarios a través de roles personalizados o de otros roles predefinidos.

  5. Para obtener los permisos que necesitas para crear, implementar y ejecutar el flujo de trabajo de export-jobs, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

  6. Asegúrate de que los usuarios de tu proyecto puedan ver la información del trabajo exportado.

    Para garantizar que un usuario tenga los permisos necesarios para exportar información del trabajo, pídele a tu administrador que le otorgue el rol de IAM de Visualizador de datos de BigQuery (roles/bigquery.dataViewer) en la tabla, el conjunto de datos o el proyecto.

Información del trabajo de exportación

En esta sección, se explica cómo exportar información de trabajos con el flujo de trabajo export-jobs, que se encuentra en la muestra de código export-to-bigquery. El flujo de trabajo de exportación de trabajos exporta la información de los trabajos de tu proyecto que se encuentran en la región especificada y cumplen con los criterios de filtro especificados.

El flujo de trabajo de exportación de trabajos exporta información de los trabajos a una tabla especificada en un conjunto de datos especificado, que el flujo de trabajo crea automáticamente si aún no existen en tu proyecto. De forma predeterminada, el flujo de trabajo export-jobs también borra los trabajos exportados de Batch, pero puedes editarlo de forma opcional para que no borre los trabajos.

Para cada flujo de trabajo de exportación de trabajos que desees usar, haz lo siguiente:

  1. Configura la definición del flujo de trabajo.
  2. Crea e implementa el flujo de trabajo.
  3. Ejecuta el flujo de trabajo. Repite este paso cada vez que quieras exportar los trabajos especificados.

Configura la definición del flujo de trabajo

  1. Descarga el archivo export-to-bigquery-delete-batch-jobs.yaml de GitHub.

  2. Abre el archivo export-to-bigquery-delete-batch-jobs.yaml en un editor de texto. Luego, realiza las siguientes ediciones:

    1. Reemplaza sys.get_env("GOOGLE_CLOUD_PROJECT_ID") por el ID de tu proyecto con formato de cadena, por ejemplo, "my-project-id".

    2. Reemplaza sys.get_env("GOOGLE_CLOUD_LOCATION") por la región que contiene los trabajos que deseas exportar, con el formato de una cadena, por ejemplo, "us-central1".

    3. Opcional: Edita los criterios de filtro que especifican qué trabajos se exportarán.

      De forma predeterminada, el flujo de trabajo export-jobs especifica los criterios de filtro "(status.state:SUCCEEDED OR status.state:FAILED OR status.state:CANCELLED) AND create_time<=\"2023-05-01T00:00:00Z\"". Este criterio de filtro predeterminado exporta información solo para los trabajos que se encuentran en el estado SUCCEEDED, FAILED o CANCELLED, y que se crearon antes de la marca de tiempo 2023-05-01T00:00:00Z RFC 3339 o en esa fecha.

    4. Opcional: Reemplaza default_dataset_id por un nombre diferente para el conjunto de datos que deseas que use o cree el flujo de trabajo de exportación de trabajos.

    5. Opcional: Reemplaza default_table_id por otro nombre de la tabla que deseas que use o cree el flujo de trabajo de exportación de trabajos.

    6. Si no quieres que el flujo de trabajo borre los trabajos exportados, haz lo siguiente:

      1. Quita las siguientes líneas:

                - log_delete_step:
            call: sys.log
            args:
              text: ${"Deleting Batch job " + j.name}
              severity: NOTICE
        - delete_job:
            call: googleapis.batch.v1.projects.locations.jobs.delete
            args:
              name: ${j.name}

      2. Quita + " and deleted".

    7. Guarda el archivo. Mantén el archivo abierto.

Crea e implementa el flujo de trabajo

  1. En la consola de Google Cloud , ve a la página Workflows:

    Ir a Workflows

  2. En la página Flujos de trabajo, haz clic en Crear.

  3. En el campo Nombre del flujo de trabajo, ingresa un nombre para el flujo de trabajo, por ejemplo, export-batch-jobs-us-central1.

  4. En la lista Cuenta de servicio, selecciona la cuenta de servicio que preparaste.

  5. Haz clic en Siguiente.

  6. En el editor de flujos de trabajo, reemplaza el flujo de trabajo de muestra por el contenido del archivo export-to-bigquery-delete-batch-jobs.yaml. Luego, puedes cerrar el archivo.

  7. Haz clic en Implementar. Se abrirá la página Detalles del flujo de trabajo.

Ejecuta el flujo de trabajo

  1. En la página Detalles del flujo de trabajo, haz clic en Ejecutar. Se abrirá la página Ejecutar flujo de trabajo.

  2. En la página Ejecutar flujo de trabajo que se abre, haz clic en Ejecutar.

  3. En la página Detalles de la ejecución que se abre, espera a que finalice la ejecución del flujo de trabajo. Por ejemplo, el tiempo de ejecución para exportar y borrar algunos trabajos suele ser de unos segundos, pero la ejecución puede tardar más si exportas y borras muchos trabajos.

    Cuando el flujo de trabajo finalice su ejecución, el panel Output mostrará los resultados.

Cómo ver la información del trabajo exportado

En esta sección, se explica cómo ver los datos de la tabla creados por el flujo de trabajo de export-jobs. Por ejemplo, puedes seguir los siguientes pasos para verificar que el flujo de trabajo se ejecutó correctamente y explorar los datos de la tabla. Para obtener más información sobre cómo ver y usar la información de los trabajos exportados, como escribir consultas, consulta Administra datos de tablas en la documentación de BigQuery.

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, abre la tabla con la información del trabajo exportado:

    1. En el campo Buscar recursos de BigQuery, ingresa el nombre de la tabla de tu flujo de trabajo de trabajos de exportación. Por ejemplo, el nombre de tabla predeterminado es default_table_id.
    2. Haz clic en el nombre de la tabla. Se abrirá la página de detalles de la tabla.

    3. En la página de detalles de la tabla, haz clic en la pestaña Detalles.

      En la pestaña Detalles, anota la marca de tiempo de Última modificación y el Número de filas.

    4. En la página de detalles de la tabla, haz clic en la pestaña Vista previa.

¿Qué sigue?