很多团队一开始就想搞分布式推理集群，其实完全没必要。大模型部署应该根据实际流量逐步升级。

一、单机起步

开发验证阶段，单张GPU跑7B以下模型完全够用。成本最低、运维最简单。公司内部工具、小流量产品，单机部署就够了。过早上分布式集群是浪费钱。

二、什么时候升级

当单卡GPU显存不够（模型太大）、或者并发量上来单卡扛不住延迟，再升级到多卡并行。用vLLM等推理框架优化后，单卡服务能力已经很强。大多数业务在这个阶段就够了。

只有面向大规模用户（QPS很高）、需要多区域部署时，才需要分布式推理和自动扩缩容。

三、架构设计原则

部署架构的核心原则是：先让简单的方案跑起来，再根据实际瓶颈优化。不要为想象中的流量做过度设计。模型路由层也是——先接一个模型，再根据成本和性能引入多模型策略。