选大模型大家都看排行榜：MMLU多少分、HumanEval多少分。但这些通用考试分数和你的业务效果之间没有直接对应关系。一个数学考90分的模型，在你的客服场景可能答得一塌糊涂。

一、排行榜测什么

通用Benchmark测的是知识广度和推理能力。但你的业务需要的是：理解行业术语不跑偏、输出格式符合系统要求、不编造政策条款、语气符合品牌调性。这些能力排行榜不测。

更麻烦的是，很多模型在排行榜上刷分很高，但实际业务表现一般。因为排行榜的测试题它可能在训练数据中见过类似的。

二、业务评测集怎么建

第一步从真实业务日志取200个典型问题，覆盖高频场景和边缘case。第二步为每个问题准备标准答案或评分标准。第三步让几个候选模型分别回答，人工或用更强模型做裁判打分。评分维度不只是答案对不对，还包括格式合规性、语气一致性、是否有幻觉。

这种业务评测集比任何排行榜都有参考价值。它直接回答了：这个模型在我的业务上表现如何。

三、评测是持续过程

评测集不只是选型时用一次。每次换模型版本、换Prompt策略，都应该跑一遍评测集确保不退化。好的评测体系是AI应用质量保障的基础设施，不是一次性工作。