一句话先记住B Billion十亿。7B 70 亿参数13B 130 亿参数70B 700 亿参数。 这个数字指的是模型参数量Parameters是大模型最常标注的规格。一、什么是参数Parameter参数可以通俗理解成模型学到的知识权重是模型大脑里存储的数十亿个 “小开关”。类比人脑 人脑有上千亿神经元神经元之间连接强弱决定了你怎么判断、怎么联想、怎么回答。 AI 大模型的每一个参数就相当于神经元之间连接的权重数值。权重数值大这条连接很重要看到这个词就要激活对应的信息权重数值小这条连接不重要可以忽略模型训练的时候本质就是不断调整这几十亿个小数字让模型学会语言、逻辑、知识。训练完成之后这些固定下来的数字集合就是模型参数。⚠️重点区分参数 ≠ 训练数据训练数据是书本、网页文章用来教模型 参数是模型学完之后沉淀下来的那套 “记忆规则”存在模型文件里。二、B 是什么单位还有 MBBillion十亿7B 7 Billion 70 亿参数34B 340 亿参数70B 700 亿参数MMillion百万一般小模型才会用 M1.5M 150 万参数很小只能做简单分类举个直观例子 Llama 3 8B → 80 亿参数 Llama 3 70B →700 亿参数 Qwen2 7B →70 亿参数 GPT-3 是 175B →1750 亿参数。三、参数量越大意味着什么很多人误以为B 越大模型就一定越强。大体趋势是对的但不是绝对。✅参数量变大带来的好处记忆更多知识更大的模型能记住更多常识、历史、公式、专业内容。例子7B 模型可能不知道冷门历史事件70B 模型很大概率知道细节。逻辑推理更强复杂数学题、多步骤推理、长文本理解大参数模型更容易做对。例子做 3 层逻辑推理题7B 经常断思路70B 稳定性高很多。遵循复杂指令能力更好长要求、多任务同时完成大模型表现更好。❗但是B 大不等于一定更好有 3 个关键限制条件训练数据质量如果用垃圾数据训练哪怕 1000B回答也很烂。就像你读了 1000 本错误的书知识依然错。训练的算力、训练轮次同样 7B好好训练的版本远强于随便训练的 7B。推理时的对齐微调SFT/RLHF有的模型参数量大但没有做人类对齐说话乱、爱胡说有些小模型微调做得很好日常对话很舒服。通俗比喻 参数大小 大脑的容量上限训练数据 读了什么书微调对齐 学会怎么好好说话大脑容量大潜力上限高但如果读的书很差或者没学会好好表达聪明人也会说胡话。四、参数量和硬件电脑显卡的关系【非常实用】模型运行推理的时候参数要加载到显存GPU 显存里B 越大需要的显存越大。原理每一个参数都要占用存储空间。精度不同占用空间不一样。常见精度说明FP16半精度1 个参数占 2 字节INT44bit 量化1 个参数占 0.5 字节压缩牺牲一点点精度大幅省显存计算示例7B 模型FP1670 亿 × 2 Byte 14GB。所以原版 7B显卡显存至少要 16G 才能跑。7B 模型INT4 量化70 亿 × 0.5 Byte 3.5GB。8G 显存显卡就能本地跑。模型参数量FP16 占用显存INT4 量化占用显存Qwen2 7B70 亿~14GB~3.5GBLlama3 8B80 亿~16GB~4GBQwen2 14B140 亿~28GB~7GBLlama3 70B700 亿~140GB~35GB 结论本地跑模型B 数字直接决定你显卡门槛。家用消费卡RTX3060/4060 8G适合跑 7B、8B 量化模型RTX409024G可以跑 14B、34B 量化版本70B 大模型个人显卡基本跑不动需要多张 A100/H100 专业卡五、容易混淆的坑很多人搞错坑 1参数量 ≠ 模型文件大小模型文件大小受量化精度、是否压缩影响。 同样 7BFP16 文件≈14GBINT4 文件≈3.5GB。就像同一个电影原片 4K大压缩成 720P小内容主体不变细节略有损失。坑 2不是任务都需要超大 B 模型简单任务写短文、翻译、日常问答7B/8B 量化模型完全够用速度还快。复杂任务写长代码、复杂数学、深度专业分析才需要 34B/70B。类比 去超市买东西不需要动用超级计算机 但做航天仿真就需要最强算力。 AI 模型同理按需选择参数量不是越大越好。坑 3GPT-4 没有公开参数量网上流传 GPT-4 是 1.76T万亿级只是猜测OpenAI 官方没有公布不要当成确定事实。六、总结一句话回顾AI 模型名字里的B 是十亿参数参数就是模型学习到的数十亿权重数字参数量代表模型能力上限越大越擅长复杂推理但对显卡要求越高。但最终模型好不好还要看训练数据、模型架构、微调质量参数量只是其中一个指标不是唯一标准。
