Nesta página, descrevemos maneiras de gerenciar configurações para pipelines implantados.
Antes de começar
Esta página requer algum conhecimento sobre perfis de computação e performance do pipeline.
Configuração do perfil de computação
É possível alterar o perfil de computação ou personalizar os parâmetros do padrão do Compute Engine que executa o pipeline. Para mais informações, consulte Gerenciar perfis de computação e Propriedades do provisionador do Dataproc.
Configuração do pipeline
Para cada pipeline, é possível ativar ou desativar a instrumentação, como o controle de tempo métricas. Por padrão, a instrumentação fica ativada. Se a instrumentação estiver ativada, ao executar o pipeline, o Cloud Data Fusion vai gerar métricas para cada nó do pipeline. As métricas a seguir são exibidas na guia Métricas de cada nó. As métricas de origem, transformação e coletor variam um pouco.
- Registros gerados
- Entrada de registros
- Número total de erros
- Registros gerados por segundo
- Tempo mínimo de processamento (um registro)
- Tempo máximo de processamento (um registro)
- Desvio padrão
- Tempo médio de processamento
Recomendamos que você sempre ative a instrumentação, a menos que o ambiente seja curto nos recursos.
Para pipelines de streaming, também é possível definir o Intervalo do lote (segundos/minutos) para dados de streaming.
Configuração do mecanismo
O Apache Spark é o mecanismo de execução padrão. É possível transmitir parâmetros personalizados para o Spark. Para mais informações, consulte Processamento paralelo.
Recursos
É possível especificar a memória e o número de CPUs para o driver do Spark e executor. O driver orquestra o job do Spark. O executor processa os dados no Spark. Para mais informações, consulte Gerenciamento de recursos.
Alerta de pipeline
É possível configurar o pipeline para enviar alertas e iniciar tarefas de pós-processamento após a conclusão da execução do pipeline. Você cria alertas de pipeline ao projetar pipeline. Depois de implantar o pipeline, é possível visualizar os alertas. Você pode editar para alterar as configurações de alerta. Para mais informações, consulte Criar alertas.
Pushdown de transformação
Ative o push-down de transformação se quiser que um pipeline seja executado algumas transformações no BigQuery. Para mais informações, consulte a Visão geral do Pushdown de transformação.