选大模型时大家都看排行榜：MMLU多少分、GSM8K多少分。但这些通用考试分数和你的业务效果之间没有直接对应关系。一个在数学考试上90分的模型，在你的客服场景可能答得一塌糊涂。正确的做法是构建自己的业务评估集。

一、为什么通用排行榜不够用

通用Benchmark测的是知识广度和推理能力，但你的业务需要的是：理解行业术语不跑偏、输出格式符合系统要求、不编造政策条款、语气符合品牌调性。这些能力排行榜不测。更麻烦的是，很多模型在通用排行榜上刷分很高，但实际业务表现一般，因为排行榜的测试题它可能见过类似的。

二、如何构建业务评估集

第一步从真实业务日志中取200个典型问题，覆盖高频场景和边缘case。第二步为每个问题准备标准答案或评分标准。第三步让几个候选模型分别回答，人工或用更强的模型做裁判打分。评分维度不只是答案对不对，还包括格式合规性、语气一致性、是否有幻觉。第四步定期更新评估集，因为业务场景在变化。

三、评测不只是选型工具

评估集的价值不止于选模型。它还是日常质量监控的基准：每次换Prompt、换模型版本，都跑一遍评估集确保不退化。好的评估集应该像单元测试一样，成为AI应用持续集成的一部分。不要觉得200个case太少——一个精心设计的业务评测集，比任何第三方排行榜都有参考价值。