很多团队一开始就想搞分布式推理集群，其实完全没必要。

一、单机起步

开发验证阶段，单张GPU跑7B以下模型完全够用。成本最低、运维最简单。过早上分布式集群是浪费钱。

二、什么时候升级

当单卡GPU显存不够、或并发量上来单卡扛不住延迟，再升级到多卡并行。用vLLM等推理框架优化后，单卡服务能力已经很强。大多数业务在这个阶段就够了。

三、架构设计原则

部署架构的核心原则是：先让简单的方案跑起来，再根据实际瓶颈优化。不要为想象中的流量做过度设计。