Um mecanismo de controle de fluxo no Cloud Data Fusion impede que você envie
muitas solicitações, o que pode causar falhas ou falhas nas execuções do pipeline. Esse mecanismo
se aplica a solicitações de início (Launch
) para os seguintes pipelines e jobs em todas
do Cloud Data Fusion, versões 6.6 e mais recentes:
- Pipelines em lote
- Pipelines em tempo real
- Jobs de replicação
Limites
Para controlar o número de solicitações de inicialização pendentes no Cloud Data Fusion, faça o seguinte: o controle de fluxo depende de dois limites:
- Limite de lançamento
- Limita o número de solicitações de inicialização feitas. Se o
o número de solicitações de lançamento recebidas pelo Cloud Data Fusion que ainda não estão no
O estado
Running
é maior que o limite de inicialização (número de solicitações de inicialização). que ainda não estão em execução > limite de lançamento), a solicitação será rejeitada. O inclui pipelines em lote, em tempo real e jobs de replicação. - Limite de execuções
- Limita o número de solicitações de inicialização pendentes no sistema. Se o número de solicitações de inicialização pendentes recebidas pelo Cloud Data Fusion que ainda não foram concluídas for maior que um limite de execuções especificado (número de solicitações pendentes que ainda não foram concluídas > limite de execuções), a solicitação será rejeitada.
Solicitações rejeitadas
Se um dos limites for atendido, todas as novas solicitações de início serão rejeitadas. Por exemplo,
um pipeline de lote rejeitado tem um status Rejected
nos registros, e uma caixa de diálogo na
interface descreve por que a inicialização foi rejeitada.
Métrica
O número de pipelines em execução e de lançamento, além do número de pipelines rejeitados no sistema, pode ser acessado pelo serviço de métricas da seguinte maneira.
Métrica Launching
Informa o número de solicitações de inicialização no sistema. Ou seja, ele informa o
número de solicitações de inicialização que estão nos estados Provisioning
ou Starting
.
Nome das métricas: flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Métrica Running
Informa o número de pipelines e jobs em execução no sistema. Corrida
o limite tem como base a soma dos valores das métricas Launching
e Running
.
Nome das métricas: flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Métrica Rejected
Informa o número de execuções rejeitadas devido ao mecanismo de controle de fluxo.
Nome das métricas: program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
A seguir
- Para exemplos de como fornecer tags e agregar a métrica
Rejected
para pipelines diferentes, consulte Microsserviços de métricas do CDAP.