评估模型

回测结果会为您提供指定时间范围内的模型性能摘要。这些指标是通过对回测期内的所有客户进行预测，并根据可用的风险事件评估模型性能而生成的。

回测结果可用于衡量模型在与训练中使用的时段不同的时段内的性能，也可以用于检查一段时间内的性能是否有所下降。

如何回测

如需创建 BacktestResult 资源，请参阅创建和管理回测结果。

具体而言，您需要选择以下选项：

  • 用于回测的数据：

    指定数据集以及数据集日期范围内的结束时间。

    训练会根据截至所选结束时间（但不包括该时间）的完整日历月来使用标签和特征。如需了解详情，请参阅数据集时间范围。

    指定要用于回测的标记数据的月份数（即回测周期数）。

  • 使用一致的数据集创建的模型：

    请参阅创建模型。

回测周期

backtestPeriods 字段用于指定在评估此模型的效果时要使用连续多少个日历月的特征和标签。

以下说明适用于回测数据：

  • 评估中使用的月份是指定 endTime 之前最近的完整日历月。例如，如果 endTime 为 2023-04-15T23:21:00Z，backtestPeriods 为 5，则系统会使用以下月份的标签：2023-03、2023-02、2023-01、2022-12 和 2022-11。
  • 在评估模型以准备在生产环境中使用时，您应使用最新的可用数据进行回溯测试。

  • 回测期必须设为 3 或更大。回测期中的两个月用于考虑重复提醒，其余月份用于生成正例标签以进行效果评估。

  • 避免使用重叠的月份进行训练和回测，因为这可能会导致过度拟合。确保回测结束时间和训练结束时间至少相隔 backtestPeriods。即，

    (回测结果结束时间月份) >= (模型结束时间月份) + backtestPeriods

（可选）您还可以为模型创建预测结果，并自行对模型性能进行方阵级分析。

回测输出

回测结果元数据包含以下指标。具体而言，这些指标会显示以下信息：

  • 模型的效果如何（与其他时间段的标签相比），以及在各种不同的调查量或风险评分阈值下的效果

  • 可用于评估数据集一致性的测量（例如，通过比较不同操作的功能族的缺失值）

指标名称 指标说明 指标值示例
ObservedRecallValues 针对指定回测的数据集衡量的召回率指标。该 API 包含 20 个此类测量值，这些测量值在不同的操作点处均匀分布，从 0（不包括）到 2 * partyInvestigationsPerPeriodHint。API 会在 partyInvestigationsPerPeriodHint 添加最终的回想度衡量结果。 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.42,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "recallValue": 0.85,
      "scoreThreshold": 0.30,
    },
  ],
}
缺失率

每个特征族中所有特征的缺失值所占的比例。

理想情况下，所有 AML AI 特征族的缺失值都应接近 0。如果这些功能族的基础数据无法集成，则可能会出现例外情况。

如果在调优、训练、评估和预测期间，任何特征族的此值发生显著变化，则可能表明所用数据集不一致。 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}
偏差

显示训练数据集与预测数据集或回测数据集之间偏差的指标。族偏差表示特征族中特征值分布的变化，并按该族中特征的重要性进行加权。最大偏差表示该系列中任何特征的最大偏差。

偏差值的范围为 0（表示家族中特征值的分布没有明显变化）到 1（表示变化最明显）。家族偏差或最大偏差的值较大，表示数据结构发生了重大变化，可能会影响模型性能。如果模型未使用该族中的任何特征，则族偏差的值为 -1。

对于偏差值较大的情况，您应执行以下任一操作：

  • 调查该特征族所用数据的变化（请参阅模型治理支持材料），并修正所有输入数据问题
  • 使用较新的数据重新训练模型

您应根据几个月内偏差指标的自然变化情况，设置用于对系列和最大偏差值采取行动的阈值。 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "familySkewValue": 0.10,
      "maxSkewValue": 0.14,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "familySkewValue": 0.11,
      "maxSkewValue": 0.11,
    },
  ],
}