大模型私有化部署，中小企业到底该怎么选硬件？

问：想在企业内部署大模型，7B、13B、70B到底怎么选？消费级显卡能用吗？预算有限的情况下怎么配？

答：7B起步够用，13B兼顾效果和成本，70B量力而行。大部分中小企业的实际需求，7B模型+1张RTX 4090就能满足。

下面从模型参数量、并发用户数、内存存储三个维度把配置讲清楚。

一、模型参数量决定GPU选型

模型越大，需要的显存越多。以下是常见模型尺寸的显存需求和推荐GPU配置：

几点说明：

FP16 vs INT4：FP16是半精度推理，效果最好但显存大。INT4是4位量化，显存减少60-70%，效果损失通常在2-5%以内。企业部署推荐INT4起步。

RTX 4090能跑7B：消费级显卡24GB显存足够跑7B的FP16或13B的INT4。性价比高，但缺少ECC内存，不适合7×24小时高负载生产环境-13。

A100是生产首选：40GB版本性价比最高，80GB适合70B。华为昇腾910B（64GB显存）可作为国产替代，适合有信创要求的企业。

二、并发用户数决定GPU数量

单张GPU的并发能力有限。模型推理时每个并发请求都占用显存（KV Cache），并发越多，显存压力越大。

“并发用户数”指同时发起请求的用户数。如果总用户100人但同时在线的通常不超过15人，1张卡就够了。大部分中小企业的内部部署，15-30并发已经够用。

三、容易被忽略的内存和存储

很多人只盯着GPU选型，结果服务器内存不够、硬盘太慢，推理速度照样上不去。

内存（RAM）：至少是GPU总显存的2倍。7B方案建议64GB，13B方案128GB，70B方案256GB以上。内存不够会导致模型加载和KV Cache交换变慢，响应延迟翻倍。

存储：必须用NVMe SSD。模型文件本身就几十到上百GB，用普通SATA SSD加载要等1-2分钟，NVMe只要10-15秒。

系统盘：500GB NVMe SSD

数据盘：1-2TB NVMe SSD（存模型文件、知识库数据、日志）

知识库包含大量文档时，额外加4TB+ HDD做冷存储

CPU：推理主要靠GPU，但数据预处理、文档解析、向量编码都靠CPU。7B方案建议32核以上。

四、中小企业两套务实方案

方案A：入门级（7B模型，5-8万）

GPU：1×RTX 4090 24GB

CPU：16-24核

内存：64GB

存储：500GB NVMe SSD+2TB NVMe SSD

适合：50人以下团队，问答+文档处理

方案B：标准级（13B模型，15-20万）

GPU：1×A100 40GB

CPU：24-32核

内存：128GB

存储：500GB NVMe SSD+2TB NVMe SSD

适合：100人以下团队，复杂推理任务

不建议中小企业一上来就上70B。4张A100的硬件成本60万起步，加上机房、电费、运维，TCO一年至少80万。大部分企业的业务场景，13B经过微调后效果已经够用。

更务实的做法：先用7B把场景跑通，验证业务价值后再升级。模型可以换，硬件可以加，但场景没跑通就砸钱买顶配是最常见的弯路。

FAQ

Q：能不能用云服务器，不买硬件？

A：可以。7B模型用1张A10云实例，月费约2000-3000元。但长期来看（超过12个月），买硬件比租云划算。云部署适合前期验证阶段。

Q：消费级显卡能用于生产环境吗？

A：能用但有风险。4090没有ECC内存，长时间高负载可能出现计算错误；散热设计不适合7×24小时运行。建议开发测试和小规模内部使用（15人以下），正式生产用A100。

Q：后续模型升级，硬件要换吗？

A：7B升13B，1张4090换1张A100，服务器主板和电源通常不用换。13B升70B，需要从1卡变4卡，服务器基本要换。采购时建议选支持多卡的4U服务器主板，给后续升级留空间。

一句话总结：7B起步够用，13B兼顾效果和成本，70B量力而行。先把场景跑通再升级，别在业务还没验证的时候就砸钱买顶配。