Administra la configuración de la canalización

En esta página, se describen las formas de administrar las configuraciones de los canalizaciones.

Antes de comenzar

Esta página requiere conocimientos previos sobre los perfiles de Compute y rendimiento de la canalización.

Configuración del perfil de procesamiento

Puedes cambiar el perfil de procesamiento o personalizar los parámetros del perfil de procesamiento predeterminado que ejecuta la canalización. Para obtener más información, consulta Administra perfiles de procesamiento y propiedades del aprovisionador de Dataproc.

Configuración de la canalización

Para cada canalización, puedes habilitar o inhabilitar la instrumentación, como las métricas de tiempo. De forma predeterminada, la instrumentación está activada. Si la instrumentación está habilitada, al cuando ejecutas la canalización, Cloud Data Fusion genera métricas para cada canalización . Las siguientes métricas se muestran en la pestaña Métricas de cada nodo. El las métricas fuente, transformación y receptor varían un poco.

  • Records out
  • Records in
  • Cantidad total de errores
  • Records out per second
  • Min process time (one record)
  • Max process time (one record)
  • Desviación estándar
  • Average processing time

Te recomendamos que siempre actives la opción Instrumentation, a menos que el entorno sea corto. en los recursos.

Para las canalizaciones de transmisión, también puedes establecer el Intervalo por lotes (segundos/minutos) para los datos de transmisión.

Configuración del motor

Apache Spark es el motor de ejecución predeterminado. Puedes pasar parámetros personalizados para Spark. Para obtener más información, consulta Procesamiento paralelo.

Recursos

Puedes especificar la memoria y la cantidad de CPUs para el controlador y el ejecutor de Spark. El controlador organiza el trabajo de Spark. El ejecutor controla los datos el procesamiento en Spark. Para obtener más información, consulta Administración de recursos.

Alerta de canalización

Puedes configurar la canalización para enviar alertas y comenzar las tareas de procesamiento posterior. una vez finalizada la ejecución de la canalización. Las alertas de canalización se crean cuando se diseña el en una canalización de integración continua. Después de implementar la canalización, puedes ver las alertas. Puedes editar la canalización para cambiar la configuración de alertas. Para obtener más información, consulta Crea alertas.

Envío de transformaciones

Puedes habilitar el envío de transformaciones si quieres que se ejecute una canalización. ciertas transformaciones en BigQuery. Para obtener más información, consulta la Descripción general del envío de transformaciones.

¿Qué sigue?