在做大模型效果评估时很多同学应该都遇到过这样的场景同一个模型输出5 位标注者给出的分数可能从 3 分一直跨度到 5 分最后按平均分排序模型 A 和模型 B 可能只差 0.02。换一批标注者之后结论甚至可能反转。更麻烦的是即使平均分稳定这个综合分数也没办法直接解释成“用户有多大比例认为这个回答是好的”。这类问题本质上涉及两件事一是把多个评估信号聚合成一个综合分数Aggregate二是把这个综合分数校准成有概率意义的结果Calibrate。把两个动作放在一起并研究它们的执行顺序就是本文要拆解的Aggregate-then-Calibrate先聚合再校准思想。这篇文章会先讲清楚以人为中心评估中的聚合与校准是什么然后通过一个可运行的 Python 实验对比“先聚合再校准”和“先校准再聚合”两种流程的差异最后补充理论保证的大致来源、常见问题与工程建议。无论你是做 NLP 评估、推荐系统效果分析还是业务侧的用户满意度建模这套方法论都可以直接用。1. 背景与核心概念1.1 什么是以人为中心的评估以人为中心的评估Human-centered Assessment是指以人类判断作为基准的评估体系。和我们熟悉的自动化指标不同它强调评估结果应该反映真实用户的感受、偏好或价值判断。举几个典型例子大模型生成内容的回答是否有用、是否安全、是否符合用户意图推荐系统推荐的结果是否让用户感到满意智能客服的回复是否解决了用户问题AI 辅助决策系统给出的建议是否被领域专家认可。在这些场景中最终评估标准不是某一个公式或某一条规则而是“人怎么看”。但人的判断存在主观性和噪声因此需要一套流程把多个人的判断整合起来形成稳定、可解释、可比较的结果。这里容易混淆的是“评估对象”和“评估信号”。评估对象是模型输出、推荐结果、决策建议等评估信号则是标注者或用户给出的分数、排序、选择等反馈。以人为中心的评估要解决的核心问题就是从一堆带有噪声的评估信号中提取出关于评估对象的可靠结论。1.2 聚合与校准分别解决什么问题聚合Aggregate解决的是“多个信号如何变成一个数字”的问题。假设我们有 K 个标注者对某个模型输出打分最简单的聚合方式是取平均。但实际项目中往往需要更复杂的聚合方式例如按标注者历史准确率进行加权平均使用 Bradley-Terry 模型从两两对比中估计综合实力分数使用 Elo 评分系统处理动态评估在 RLHF 中训练奖励模型拟合人类偏好。聚合可以让多个噪声较大的评估信号互相抵消一部分随机误差。按照独立同分布噪声的简单模型K 个独立噪声的均值方差会缩小为原来的 1/K因此聚合后的分数往往比单个标注者的分数更稳定。校准Calibrate解决的是“这个分数能不能被理解成概率”的问题。举个例子某个模型回答的综合评分是 4.2 分满分 5 分这 4.2 分意味着什么它能不能换算成“80% 的用户会认为这个回答很好”如果不能那么不同模型之间的 0.1 分差距就难以解释也无法用于风险控制或决策。校准要做的事情就是找到一个单调映射把原始分数映射成真实的概率估计。让“预测概率为 0.8 的样本”中实际有约 80% 的样本确实属于正类。常见校准方法包括 Platt Scaling、温度缩放、Isotonic Regression 等。1.3 为什么“先聚合再校准”值得关注在同时需要聚合和校准的流程里存在两种顺序选择先聚合多个评估信号再对聚合后的综合分数做校准先对每个评估信号分别做校准再把校准后的概率聚合起来。从直觉上看先校准再聚合似乎更精细因为每个评估信号都被单独处理了。但在真实数据中这种方法有一个很大的风险单个标注者的评估信号噪声较高如果每个标注者都单独训练一个校准器校准器很容易过拟合到该标注者的噪声上。先聚合再校准则不同。聚合阶段先把多个高噪声信号合并成一个低噪声的综合分数校准阶段只需要在这个低噪声分数上拟合一个简单的单调映射。这样一来统计学习的复杂度更低有限样本下更容易获得稳定的概率输出。本文后续的实验就是要直观验证这个现象。2. 环境准备与实验设计2.1 环境依赖本文示例基于 Python 实现主要依赖 NumPy 和 scikit-learn。建议环境如下Python 3.9 及以上版本NumPy 1.21 及以上版本scikit-learn 1.0 及以上版本。不同版本之间 API 基本兼容如果你使用的版本较新通常可以直接运行。如果版本较旧需要注意sklearn.metrics.brier_score_loss在旧版本中可能位于sklearn.metrics下这个不需要额外处理。安装依赖命令pip install numpy scikit-learn2.2 实验目标实验会模拟一个典型的以人为中心评估场景有一批待评估样本每个样本有一个真实的“质量标签”有 5 位标注者每位标注者都会对样本打一个 0 到 1 之间的分数标注者存在个人偏差和随机噪声我们需要把 5 个标注者的分数处理成一个具有概率意义的预测值。接着我们分别实现两条流程先聚合再校准先校准再聚合。最后用 Brier Score 和 Expected Calibration ErrorECE对比两条流程的校准质量。实验使用合成数据好处是可以知道真实标签能够准确评估校准效果。实际项目中真实标签往往来自专家复核或业务结果评估方式是一样的。2.3 数据生成思路为了让模拟数据尽量贴近真实评估场景我们假设每个标注者的打分由三部分组成真实质量即标注者都能看到一部分真实信号个人偏差即有的标注者普遍给高分有的普遍给低分随机噪声即标注者每次打分时不稳定。这个数据生成方式很直观真实质量是二分类标签但人类打分是在真实质量基础上叠加偏差和噪声。实验代码会使用同一个随机种子方便复现。3. 核心方法拆解3.1 聚合阶段的常用方案在真实项目中聚合不一定是简单平均需要根据评估任务选择合适的方法。简单平均是最常用的基线。当标注者水平接近时简单平均简单有效但无法处理“某个标注者明显更专业”的情况。加权平均是简单平均的扩展。权重可以来自标注者历史标注准确率也可以来自标注者在专家复核样本上的表现。权重越高说明该标注者对最终聚合结果的影响越大。排序融合则适合“相对比较”场景。例如让标注者对多个回答进行两两对比再通过 Bradley-Terry 模型估计每个回答的综合分。这种方法不要求标注者给出绝对分数只要求相对判断在人类偏好收集中非常常见。在 RLHF 场景中聚合往往体现为训练一个奖励模型。奖励模型输入一段文本和对应的响应输出一个标量分数拟合的是人类标注者对“哪个响应更好”的偏好。这个奖励模型的输出就相当于聚合后的综合分数。无论采用哪种聚合方式目标都是一样的利用多来源信息减少单个评估信号带来的随机误差。3.2 校准阶段的常用方案校准的目标是把一个任意范围的分数映射到概率空间 [0,1]并且让映射后的预测概率与真实频率一致。Platt Scaling 是一种经典的参数校准方法。思路非常简单使用一个带截距的逻辑回归模型把原始分数作为唯一特征拟合真实标签。from sklearn.linear_model import LogisticRegression calibrator LogisticRegression() calibrator.fit(raw_score.reshape(-1, 1), y_true) calibrated_prob calibrator.predict_proba(raw_score.reshape(-1, 1))[:, 1]温度缩放是神经网络中常见的校准方法。它通过一个温度参数 T 对数几率logits进行缩放再计算 softmax 概率。温度缩放不会改变预测类别只会改变概率分布的置信程度。T 越大概率越平滑T 越小概率越尖锐。Isotonic Regression 是一种非参数校准方法它拟合一个单调递增的分段常数函数。该方法不假设原始分数与概率之间满足 logistic 关系因此拟合能力更强但需要更多数据否则容易过拟合。选择哪种校准方法取决于样本量和原始分数的分布形态。样本量较少时优先使用参数化方法样本量充足时可以考虑非参数方法。3.3 理论保证从哪里来理解 Aggregate-then-Calibrate 为什么有效可以从偏差-方差分解和统计学习复杂度两个角度来理解。Brier Score 的定义是Brier Score E[(p_pred - y)^2]它可以分解为两部分E[(p_pred - E[y|x])^2] E[Var(y|x)]其中第一部分是预测概率与真实条件概率之间的偏差第二部分是数据本身不可避免的噪声。校准的目标是尽量缩小第一部分。先聚合再校准时聚合阶段降低了输入分数的方差。也就是说校准器看到的特征更稳定和真实标签之间的相关性更强。此时校准器只需要学习一个相对平滑的映射模型复杂度可以更低有限样本下的泛化误差也就更容易控制。先校准再聚合时每个标注者的分数都带有较强噪声。要为每个标注者单独拟合一个校准器每个校准器都必须处理“高噪声输入到标签”的复杂映射这需要更大的假设空间和更多的样本。在标注者数量多、每人标注样本少的情况下校准器很容易过拟合。从学习理论的角度看假设空间越复杂Rademacher 复杂度越高泛化误差上界越松而先聚合再校准相当于先用无监督或半监督方式压缩了输入维度降低了学习问题的有效复杂度。因此它能够提供比先校准再聚合更紧的理论保证。当然具体论文中的定理会精确地给出误差上界但核心逻辑就是上述偏差-方差权衡聚合减少方差校准控制偏差顺序问题本质上是统计复杂度问题。4. 完整实战案例两种顺序的效果对比下面我们通过一个完整的 Python 实验对比两条流程。4.1 生成模拟评估数据首先导入依赖并生成模拟数据。import numpy as np from sklearn.linear_model import LogisticRegression from sklearn.metrics import brier_score_loss from sklearn.model_selection import train_test_split np.random.seed(42) n_samples 3000 X np.random.randn(n_samples, 4) y (X[:, 0] 0.5 * X[:, 1] - 0.2 * X[:, 2] 0).astype(int) n_raters 5 rater_scores [] for r in range(n_raters): bias np.random.normal(0, 0.15) score y bias np.random.normal(0, 0.35, n_samples) score np.clip(score, 0, 1) rater_scores.append(score) S np.column_stack(rater_scores)这段代码做了四件事随机生成 3000 个样本特征根据线性组合生成真实二分类标签模拟 5 位标注者每位标注者有个人偏差和随机噪声把所有标注者的分数组合成矩阵 S每一列代表一位标注者。np.clip(score, 0, 1)是为了模拟标注者打分时只能给出 0 到 1 之间的分数。4.2 划分数据集并实现“先聚合再校准”接下来划分训练集和测试集并实现先聚合再校准。S_train, S_test, y_train, y_test train_test_split( S, y, test_size0.3, random_state42 ) agg_train S_train.mean(axis1) agg_test S_test.mean(axis1) cal_agg LogisticRegression() cal_agg.fit(agg_train.reshape(-1, 1), y_train) p_agg_cal cal_agg.predict_proba(agg_test.reshape(-1, 1))[:, 1]这里的关键细节是先对训练集和测试集分别做平均聚合避免信息泄露校准器只在训练集上拟合对测试集预测概率用于最终评估。agg_train.reshape(-1, 1)是因为LogisticRegression要求输入特征为二维数组。4.3 实现对照方案“先校准再聚合”我们再实现先对每个标注者分别校准再对校准概率取平均。p_rater_list [] for r in range(n_raters): cal_r LogisticRegression() cal_r.fit(S_train[:, r].reshape(-1, 1), y_train) p_r cal_r.predict_proba(S_test[:, r].reshape(-1, 1))[:, 1] p_rater_list.append(p_r) p_cal_agg np.mean(p_rater_list, axis0)这条流程中每位标注者都有自己独立的逻辑回归校准器。校准器学习的是“该标注者的分数到真实标签概率”的映射。最后把 5 个校准概率取平均。看起来这条流程更精细但因为每位标注者的分数噪声较大单个校准器更容易过拟合。这一点在后面的评估结果中会体现出来。4.4 计算评估指标为了对比我们再计算一个未校准基线的结果以及 Brier Score 和 ECE 指标。def expected_calibration_error(y_true, y_prob, n_bins10): bins np.linspace(0, 1, n_bins 1) total 0.0 n len(y_true) for i in range(n_bins): mask (y_prob bins[i]) (y_prob bins[i 1]) if mask.sum() 0: continue conf y_prob[mask].mean() acc y_true[mask].mean() total (mask.sum() / n) * abs(conf - acc) return total然后评估三种方案p_raw np.clip(agg_test, 0, 1) print(Raw Aggregated Score) print( Brier:, brier_score_loss(y_test, p_raw)) print( ECE :, expected_calibration_error(y_test, p_raw)) print(Calibrate-then-Aggregate) print( Brier:, brier_score_loss(y_test, p_cal_agg)) print( ECE :, expected_calibration_error(y_test, p_cal_agg)) print(Aggregate-then-Calibrate) print( Brier:, brier_score_loss(y_test, p_agg_cal)) print( ECE :, expected_calibration_error(y_test, p_agg_cal))其中p_raw是把原始平均分裁剪到 [0,1] 后直接当作预测概率严格来说它不满足概率性质这里仅作为未校准基线对照。4.5 运行与结果解读把上述代码按顺序组合保存为calibration_demo.py然后运行python calibration_demo.py不同随机种子和不同数据分布下具体数值会有浮动但整体模式通常比较稳定未校准的原始聚合分数Brier Score 和 ECE 通常最高先校准再聚合相比未校准有一定提升但每个标注者独立校准时会带入额外方差先聚合再校准Brier Score 和 ECE 通常最低因为校准器输入更稳定拟合出的映射更可靠。这个实验的意义在于当多个评估信号都存在噪声时先把它们合并成一个相对稳定的综合分数再做概率校准是更稳妥的选择。5. 常见问题与排查思路在实验和应用中你可能会遇到以下几类问题。问题现象常见原因解决思路校准后概率仍然集中在 0.5 附近特征与标签关系较弱数据噪声过大增加更有效的评估信号检查标签定义是否清晰ECE 指标忽高忽低分箱数量不合理或测试样本太少调整 bin 数量使用多个随机种子重复实验先校准再聚合的效果反而更差单个评估信号噪声大校准器过拟合改用先聚合再校准增加每个评估者的标注样本量聚合分数裁剪后直接计算 Brier 分数原始分数不是概率必须先做概率校准再计算 Brier Score训练集和测试集划分不当导致结果虚高聚合或校准过程使用了测试集信息确保聚合参数和校准器只在训练集上拟合如果你在自己的项目中看到校准效果不明显建议先画一张可靠性图Reliability Diagram。把预测概率分成 10 个区间横轴是预测概率纵轴是实际正类频率。如果散点明显偏离对角线就说明校准不到位如果散点贴着对角线则说明当前方案已经比较可靠。另外要注意Brier Score 对极端概率更敏感而 ECE 对常见概率区间更敏感。两者结合使用能更全面地判断校准效果。6. 最佳实践与工程建议6.1 把评估维度拆开建模以人为中心评估中一个常见误区是让标注者打一个“综合分”。但综合分往往混淆了多个维度例如有用性、安全性、流畅性。更好的做法是让每个维度单独打分再在聚合阶段按业务权重合并。这样既能定位模型问题也有利于后续校准。6.2 标注者权重需要谨慎设置在加权聚合时权重不能只看标注者之间的平均分差异。有的标注者分数普遍偏高但排序能力很强有的标注者分数接近全局均值但区分度很差。建议用“校准后的排序相关性”或“对真实标签的预测能力”来计算权重而不是简单使用均值。6.3 校准集必须独立无论是 Platt Scaling 还是 Isotonic Regression校准器都应该在一个独立的验证集上拟合。如果直接在训练集上拟合再在测试集上评估校准效果得到的结果会偏乐观。更严谨的做法是把数据划分为训练集、校准集、测试集三部分。6.4 结合自动化指标使用校准后的概率适合做决策但不一定适合做模型排名的唯一依据。A/B 场景中可以先使用自动化指标筛掉明显较差的模型再对少量候选模型进行以人为中心的细粒度评估。这样既保留了自动化指标的效率又能充分利用人类评估的准确性。6.5 关注长尾样本校准是对整体概率分布的拟合但长尾样本往往更关键。例如大模型在安全敏感问题上的回答可能只占少量比例却直接影响产品风险。建议在评估时对长尾类型单独计算 ECE而不是只关注整体指标。7. 总结与下一步本文围绕 Aggregate-then-Calibrate 这一思想拆解了以人为中心评估中的两个关键动作聚合与校准。聚合解决的是多评估信号如何合成的问题校准解决的是分数如何变成概率的问题。通过实验可以看到在标注者噪声较大的场景中先聚合再校准通常优于先校准再聚合。根本原因在于聚合降低了输入特征的方差让校准器可以专注于学习一个更简单的映射从而在有限样本下获得更好的泛化能力。如果接下来想深入这个方向可以考虑从三个层面继续学习。第一个层面是概率校准。深入理解温度缩放、Platt Scaling、Isotonic Regression 的适用条件以及 Brier Score、ECE、可靠性图等评估工具。第二个层面是聚合方法。学习 Bradley-Terry 模型、Elo 评分、奖励模型训练以及如何处理标注者偏差和噪声。第三个层面是理论分析。阅读关于校准误差上界、Rademacher 复杂度、偏差-方差分解的文献理解为什么“先聚合再校准”能够带来理论保证。如果你近期打算在自己的评估流程中引入校准建议先从 Brier Score 和 ECE 两个指标开始把评估分数和真实标签记录下来做一次简单的 Platt Scaling对比一下校准前后的差异。多数情况下你会看到校准带来的提升也能更自信地解释评估结果背后的概率含义。
先聚合再校准：提升模型评估分数可解释性的核心方法
在做大模型效果评估时很多同学应该都遇到过这样的场景同一个模型输出5 位标注者给出的分数可能从 3 分一直跨度到 5 分最后按平均分排序模型 A 和模型 B 可能只差 0.02。换一批标注者之后结论甚至可能反转。更麻烦的是即使平均分稳定这个综合分数也没办法直接解释成“用户有多大比例认为这个回答是好的”。这类问题本质上涉及两件事一是把多个评估信号聚合成一个综合分数Aggregate二是把这个综合分数校准成有概率意义的结果Calibrate。把两个动作放在一起并研究它们的执行顺序就是本文要拆解的Aggregate-then-Calibrate先聚合再校准思想。这篇文章会先讲清楚以人为中心评估中的聚合与校准是什么然后通过一个可运行的 Python 实验对比“先聚合再校准”和“先校准再聚合”两种流程的差异最后补充理论保证的大致来源、常见问题与工程建议。无论你是做 NLP 评估、推荐系统效果分析还是业务侧的用户满意度建模这套方法论都可以直接用。1. 背景与核心概念1.1 什么是以人为中心的评估以人为中心的评估Human-centered Assessment是指以人类判断作为基准的评估体系。和我们熟悉的自动化指标不同它强调评估结果应该反映真实用户的感受、偏好或价值判断。举几个典型例子大模型生成内容的回答是否有用、是否安全、是否符合用户意图推荐系统推荐的结果是否让用户感到满意智能客服的回复是否解决了用户问题AI 辅助决策系统给出的建议是否被领域专家认可。在这些场景中最终评估标准不是某一个公式或某一条规则而是“人怎么看”。但人的判断存在主观性和噪声因此需要一套流程把多个人的判断整合起来形成稳定、可解释、可比较的结果。这里容易混淆的是“评估对象”和“评估信号”。评估对象是模型输出、推荐结果、决策建议等评估信号则是标注者或用户给出的分数、排序、选择等反馈。以人为中心的评估要解决的核心问题就是从一堆带有噪声的评估信号中提取出关于评估对象的可靠结论。1.2 聚合与校准分别解决什么问题聚合Aggregate解决的是“多个信号如何变成一个数字”的问题。假设我们有 K 个标注者对某个模型输出打分最简单的聚合方式是取平均。但实际项目中往往需要更复杂的聚合方式例如按标注者历史准确率进行加权平均使用 Bradley-Terry 模型从两两对比中估计综合实力分数使用 Elo 评分系统处理动态评估在 RLHF 中训练奖励模型拟合人类偏好。聚合可以让多个噪声较大的评估信号互相抵消一部分随机误差。按照独立同分布噪声的简单模型K 个独立噪声的均值方差会缩小为原来的 1/K因此聚合后的分数往往比单个标注者的分数更稳定。校准Calibrate解决的是“这个分数能不能被理解成概率”的问题。举个例子某个模型回答的综合评分是 4.2 分满分 5 分这 4.2 分意味着什么它能不能换算成“80% 的用户会认为这个回答很好”如果不能那么不同模型之间的 0.1 分差距就难以解释也无法用于风险控制或决策。校准要做的事情就是找到一个单调映射把原始分数映射成真实的概率估计。让“预测概率为 0.8 的样本”中实际有约 80% 的样本确实属于正类。常见校准方法包括 Platt Scaling、温度缩放、Isotonic Regression 等。1.3 为什么“先聚合再校准”值得关注在同时需要聚合和校准的流程里存在两种顺序选择先聚合多个评估信号再对聚合后的综合分数做校准先对每个评估信号分别做校准再把校准后的概率聚合起来。从直觉上看先校准再聚合似乎更精细因为每个评估信号都被单独处理了。但在真实数据中这种方法有一个很大的风险单个标注者的评估信号噪声较高如果每个标注者都单独训练一个校准器校准器很容易过拟合到该标注者的噪声上。先聚合再校准则不同。聚合阶段先把多个高噪声信号合并成一个低噪声的综合分数校准阶段只需要在这个低噪声分数上拟合一个简单的单调映射。这样一来统计学习的复杂度更低有限样本下更容易获得稳定的概率输出。本文后续的实验就是要直观验证这个现象。2. 环境准备与实验设计2.1 环境依赖本文示例基于 Python 实现主要依赖 NumPy 和 scikit-learn。建议环境如下Python 3.9 及以上版本NumPy 1.21 及以上版本scikit-learn 1.0 及以上版本。不同版本之间 API 基本兼容如果你使用的版本较新通常可以直接运行。如果版本较旧需要注意sklearn.metrics.brier_score_loss在旧版本中可能位于sklearn.metrics下这个不需要额外处理。安装依赖命令pip install numpy scikit-learn2.2 实验目标实验会模拟一个典型的以人为中心评估场景有一批待评估样本每个样本有一个真实的“质量标签”有 5 位标注者每位标注者都会对样本打一个 0 到 1 之间的分数标注者存在个人偏差和随机噪声我们需要把 5 个标注者的分数处理成一个具有概率意义的预测值。接着我们分别实现两条流程先聚合再校准先校准再聚合。最后用 Brier Score 和 Expected Calibration ErrorECE对比两条流程的校准质量。实验使用合成数据好处是可以知道真实标签能够准确评估校准效果。实际项目中真实标签往往来自专家复核或业务结果评估方式是一样的。2.3 数据生成思路为了让模拟数据尽量贴近真实评估场景我们假设每个标注者的打分由三部分组成真实质量即标注者都能看到一部分真实信号个人偏差即有的标注者普遍给高分有的普遍给低分随机噪声即标注者每次打分时不稳定。这个数据生成方式很直观真实质量是二分类标签但人类打分是在真实质量基础上叠加偏差和噪声。实验代码会使用同一个随机种子方便复现。3. 核心方法拆解3.1 聚合阶段的常用方案在真实项目中聚合不一定是简单平均需要根据评估任务选择合适的方法。简单平均是最常用的基线。当标注者水平接近时简单平均简单有效但无法处理“某个标注者明显更专业”的情况。加权平均是简单平均的扩展。权重可以来自标注者历史标注准确率也可以来自标注者在专家复核样本上的表现。权重越高说明该标注者对最终聚合结果的影响越大。排序融合则适合“相对比较”场景。例如让标注者对多个回答进行两两对比再通过 Bradley-Terry 模型估计每个回答的综合分。这种方法不要求标注者给出绝对分数只要求相对判断在人类偏好收集中非常常见。在 RLHF 场景中聚合往往体现为训练一个奖励模型。奖励模型输入一段文本和对应的响应输出一个标量分数拟合的是人类标注者对“哪个响应更好”的偏好。这个奖励模型的输出就相当于聚合后的综合分数。无论采用哪种聚合方式目标都是一样的利用多来源信息减少单个评估信号带来的随机误差。3.2 校准阶段的常用方案校准的目标是把一个任意范围的分数映射到概率空间 [0,1]并且让映射后的预测概率与真实频率一致。Platt Scaling 是一种经典的参数校准方法。思路非常简单使用一个带截距的逻辑回归模型把原始分数作为唯一特征拟合真实标签。from sklearn.linear_model import LogisticRegression calibrator LogisticRegression() calibrator.fit(raw_score.reshape(-1, 1), y_true) calibrated_prob calibrator.predict_proba(raw_score.reshape(-1, 1))[:, 1]温度缩放是神经网络中常见的校准方法。它通过一个温度参数 T 对数几率logits进行缩放再计算 softmax 概率。温度缩放不会改变预测类别只会改变概率分布的置信程度。T 越大概率越平滑T 越小概率越尖锐。Isotonic Regression 是一种非参数校准方法它拟合一个单调递增的分段常数函数。该方法不假设原始分数与概率之间满足 logistic 关系因此拟合能力更强但需要更多数据否则容易过拟合。选择哪种校准方法取决于样本量和原始分数的分布形态。样本量较少时优先使用参数化方法样本量充足时可以考虑非参数方法。3.3 理论保证从哪里来理解 Aggregate-then-Calibrate 为什么有效可以从偏差-方差分解和统计学习复杂度两个角度来理解。Brier Score 的定义是Brier Score E[(p_pred - y)^2]它可以分解为两部分E[(p_pred - E[y|x])^2] E[Var(y|x)]其中第一部分是预测概率与真实条件概率之间的偏差第二部分是数据本身不可避免的噪声。校准的目标是尽量缩小第一部分。先聚合再校准时聚合阶段降低了输入分数的方差。也就是说校准器看到的特征更稳定和真实标签之间的相关性更强。此时校准器只需要学习一个相对平滑的映射模型复杂度可以更低有限样本下的泛化误差也就更容易控制。先校准再聚合时每个标注者的分数都带有较强噪声。要为每个标注者单独拟合一个校准器每个校准器都必须处理“高噪声输入到标签”的复杂映射这需要更大的假设空间和更多的样本。在标注者数量多、每人标注样本少的情况下校准器很容易过拟合。从学习理论的角度看假设空间越复杂Rademacher 复杂度越高泛化误差上界越松而先聚合再校准相当于先用无监督或半监督方式压缩了输入维度降低了学习问题的有效复杂度。因此它能够提供比先校准再聚合更紧的理论保证。当然具体论文中的定理会精确地给出误差上界但核心逻辑就是上述偏差-方差权衡聚合减少方差校准控制偏差顺序问题本质上是统计复杂度问题。4. 完整实战案例两种顺序的效果对比下面我们通过一个完整的 Python 实验对比两条流程。4.1 生成模拟评估数据首先导入依赖并生成模拟数据。import numpy as np from sklearn.linear_model import LogisticRegression from sklearn.metrics import brier_score_loss from sklearn.model_selection import train_test_split np.random.seed(42) n_samples 3000 X np.random.randn(n_samples, 4) y (X[:, 0] 0.5 * X[:, 1] - 0.2 * X[:, 2] 0).astype(int) n_raters 5 rater_scores [] for r in range(n_raters): bias np.random.normal(0, 0.15) score y bias np.random.normal(0, 0.35, n_samples) score np.clip(score, 0, 1) rater_scores.append(score) S np.column_stack(rater_scores)这段代码做了四件事随机生成 3000 个样本特征根据线性组合生成真实二分类标签模拟 5 位标注者每位标注者有个人偏差和随机噪声把所有标注者的分数组合成矩阵 S每一列代表一位标注者。np.clip(score, 0, 1)是为了模拟标注者打分时只能给出 0 到 1 之间的分数。4.2 划分数据集并实现“先聚合再校准”接下来划分训练集和测试集并实现先聚合再校准。S_train, S_test, y_train, y_test train_test_split( S, y, test_size0.3, random_state42 ) agg_train S_train.mean(axis1) agg_test S_test.mean(axis1) cal_agg LogisticRegression() cal_agg.fit(agg_train.reshape(-1, 1), y_train) p_agg_cal cal_agg.predict_proba(agg_test.reshape(-1, 1))[:, 1]这里的关键细节是先对训练集和测试集分别做平均聚合避免信息泄露校准器只在训练集上拟合对测试集预测概率用于最终评估。agg_train.reshape(-1, 1)是因为LogisticRegression要求输入特征为二维数组。4.3 实现对照方案“先校准再聚合”我们再实现先对每个标注者分别校准再对校准概率取平均。p_rater_list [] for r in range(n_raters): cal_r LogisticRegression() cal_r.fit(S_train[:, r].reshape(-1, 1), y_train) p_r cal_r.predict_proba(S_test[:, r].reshape(-1, 1))[:, 1] p_rater_list.append(p_r) p_cal_agg np.mean(p_rater_list, axis0)这条流程中每位标注者都有自己独立的逻辑回归校准器。校准器学习的是“该标注者的分数到真实标签概率”的映射。最后把 5 个校准概率取平均。看起来这条流程更精细但因为每位标注者的分数噪声较大单个校准器更容易过拟合。这一点在后面的评估结果中会体现出来。4.4 计算评估指标为了对比我们再计算一个未校准基线的结果以及 Brier Score 和 ECE 指标。def expected_calibration_error(y_true, y_prob, n_bins10): bins np.linspace(0, 1, n_bins 1) total 0.0 n len(y_true) for i in range(n_bins): mask (y_prob bins[i]) (y_prob bins[i 1]) if mask.sum() 0: continue conf y_prob[mask].mean() acc y_true[mask].mean() total (mask.sum() / n) * abs(conf - acc) return total然后评估三种方案p_raw np.clip(agg_test, 0, 1) print(Raw Aggregated Score) print( Brier:, brier_score_loss(y_test, p_raw)) print( ECE :, expected_calibration_error(y_test, p_raw)) print(Calibrate-then-Aggregate) print( Brier:, brier_score_loss(y_test, p_cal_agg)) print( ECE :, expected_calibration_error(y_test, p_cal_agg)) print(Aggregate-then-Calibrate) print( Brier:, brier_score_loss(y_test, p_agg_cal)) print( ECE :, expected_calibration_error(y_test, p_agg_cal))其中p_raw是把原始平均分裁剪到 [0,1] 后直接当作预测概率严格来说它不满足概率性质这里仅作为未校准基线对照。4.5 运行与结果解读把上述代码按顺序组合保存为calibration_demo.py然后运行python calibration_demo.py不同随机种子和不同数据分布下具体数值会有浮动但整体模式通常比较稳定未校准的原始聚合分数Brier Score 和 ECE 通常最高先校准再聚合相比未校准有一定提升但每个标注者独立校准时会带入额外方差先聚合再校准Brier Score 和 ECE 通常最低因为校准器输入更稳定拟合出的映射更可靠。这个实验的意义在于当多个评估信号都存在噪声时先把它们合并成一个相对稳定的综合分数再做概率校准是更稳妥的选择。5. 常见问题与排查思路在实验和应用中你可能会遇到以下几类问题。问题现象常见原因解决思路校准后概率仍然集中在 0.5 附近特征与标签关系较弱数据噪声过大增加更有效的评估信号检查标签定义是否清晰ECE 指标忽高忽低分箱数量不合理或测试样本太少调整 bin 数量使用多个随机种子重复实验先校准再聚合的效果反而更差单个评估信号噪声大校准器过拟合改用先聚合再校准增加每个评估者的标注样本量聚合分数裁剪后直接计算 Brier 分数原始分数不是概率必须先做概率校准再计算 Brier Score训练集和测试集划分不当导致结果虚高聚合或校准过程使用了测试集信息确保聚合参数和校准器只在训练集上拟合如果你在自己的项目中看到校准效果不明显建议先画一张可靠性图Reliability Diagram。把预测概率分成 10 个区间横轴是预测概率纵轴是实际正类频率。如果散点明显偏离对角线就说明校准不到位如果散点贴着对角线则说明当前方案已经比较可靠。另外要注意Brier Score 对极端概率更敏感而 ECE 对常见概率区间更敏感。两者结合使用能更全面地判断校准效果。6. 最佳实践与工程建议6.1 把评估维度拆开建模以人为中心评估中一个常见误区是让标注者打一个“综合分”。但综合分往往混淆了多个维度例如有用性、安全性、流畅性。更好的做法是让每个维度单独打分再在聚合阶段按业务权重合并。这样既能定位模型问题也有利于后续校准。6.2 标注者权重需要谨慎设置在加权聚合时权重不能只看标注者之间的平均分差异。有的标注者分数普遍偏高但排序能力很强有的标注者分数接近全局均值但区分度很差。建议用“校准后的排序相关性”或“对真实标签的预测能力”来计算权重而不是简单使用均值。6.3 校准集必须独立无论是 Platt Scaling 还是 Isotonic Regression校准器都应该在一个独立的验证集上拟合。如果直接在训练集上拟合再在测试集上评估校准效果得到的结果会偏乐观。更严谨的做法是把数据划分为训练集、校准集、测试集三部分。6.4 结合自动化指标使用校准后的概率适合做决策但不一定适合做模型排名的唯一依据。A/B 场景中可以先使用自动化指标筛掉明显较差的模型再对少量候选模型进行以人为中心的细粒度评估。这样既保留了自动化指标的效率又能充分利用人类评估的准确性。6.5 关注长尾样本校准是对整体概率分布的拟合但长尾样本往往更关键。例如大模型在安全敏感问题上的回答可能只占少量比例却直接影响产品风险。建议在评估时对长尾类型单独计算 ECE而不是只关注整体指标。7. 总结与下一步本文围绕 Aggregate-then-Calibrate 这一思想拆解了以人为中心评估中的两个关键动作聚合与校准。聚合解决的是多评估信号如何合成的问题校准解决的是分数如何变成概率的问题。通过实验可以看到在标注者噪声较大的场景中先聚合再校准通常优于先校准再聚合。根本原因在于聚合降低了输入特征的方差让校准器可以专注于学习一个更简单的映射从而在有限样本下获得更好的泛化能力。如果接下来想深入这个方向可以考虑从三个层面继续学习。第一个层面是概率校准。深入理解温度缩放、Platt Scaling、Isotonic Regression 的适用条件以及 Brier Score、ECE、可靠性图等评估工具。第二个层面是聚合方法。学习 Bradley-Terry 模型、Elo 评分、奖励模型训练以及如何处理标注者偏差和噪声。第三个层面是理论分析。阅读关于校准误差上界、Rademacher 复杂度、偏差-方差分解的文献理解为什么“先聚合再校准”能够带来理论保证。如果你近期打算在自己的评估流程中引入校准建议先从 Brier Score 和 ECE 两个指标开始把评估分数和真实标签记录下来做一次简单的 Platt Scaling对比一下校准前后的差异。多数情况下你会看到校准带来的提升也能更自信地解释评估结果背后的概率含义。