选大模型大家都看排行榜，但这些通用考试分数和你的业务效果之间没有直接关系。

一、排行榜测什么

通用Benchmark测的是知识广度和推理能力。但你的业务需要的是：理解行业术语不跑偏、输出格式符合系统要求、不编造政策条款。这些能力排行榜不测。

二、业务评测集

正确的做法是从真实业务日志取200个典型问题，覆盖高频场景和边缘case。为每个问题准备评分标准。让几个候选模型分别回答，人工打分。

三、评测是持续过程

评测集不只是选型时用一次。每次换模型版本、换Prompt策略，都应该跑一遍评测集确保不退化。