大模型基础模型多模态本地部署【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF点击查看免费下载本文带你把 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 当作微调起点来用基于仓库中的BF16 全精度权重走一遍 Unsloth 微调的 SFT 监督微调与后训练完整路线从数据准备、LoRA/QLoRA 训练、模型合并到 GGUF 量化导出与本地部署验证一条线讲清楚。一、先认识这个仓库它为什么为微调而生在跑训练之前花 3 分钟看懂仓库结构能帮你少走很多弯路。Nemotron 3.5 Bolt 74B-A9B 是 NVIDIA Nemotron 家族的视觉语言模型VLM项目说明总参数 / 激活参数74B / 9BMoE 架构推理成本低架构Mamba-2 Transformer 混合 LatentMoE配 C-RADIO v4-H 视觉编码器上下文长度最高 256K tokens输入 / 输出文本、图像、视频 / 文本许可OpenMDW-1.1可用于商业与非商业场景官方在 README.md 中明确说明BF16 版本主要用于定制化与后训练customization and post-training而不是直接生产推理。也就是说这个仓库的定位就是给你拿来微调的底座。 仓库文件结构与用途对照路径用途微调相关度BF16/4 个分片BF16 全精度权重SFT 微调的首选起点⭐⭐⭐⭐⭐Q8_0/3 个分片8-bit 高精度量化显存吃紧时做 LoRA/QLoRA 的起点⭐⭐⭐⭐UD-Q4_K_XL/、UD-Q5_K_XL/、UD-Q6_K_XL/Unsloth Dynamic 动态量化微调后推理验证用⭐⭐⭐NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q2_K_XL.gguf、NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q3_K_XL.gguf 等低比特文件极限显存下的本地推理⭐⭐mmproj-BF16.gguf视觉投影器多模态推理/微调必须配套⭐⭐⭐⭐⭐dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.ggufDFlashLiLiCorr投机解码草稿模型用于加速推理⭐⭐⭐ 记忆口诀BF16 起步微调 → Q8_0 兜底 → UD 系列量化 → 视觉任务别忘了 mmproj。二、微调前的关键一步如何选对起点权重新手最常犯的错就是拿低比特量化版去微调。量化权重有精度损失微调时梯度信息会被噪声污染最终效果通常不如从 BF16 或 Q8_0 出发。推荐策略如下你的场景推荐起点理由高质量 LoRA / 全参 SFT显存充足BF16/ 全精度分片无量化损失后训练上限最高显存有限只能跑 QLoRAQ8_0/ 分片8-bit 几乎无精度损失体积约减半微调完成后做效果验证UD-Q5_K_XL/ 或 UD-Q4_K_XL/动态量化质量/体积平衡好涉及图像、视频任务上述任意权重 mmproj-BF16.gguf缺了投影器视觉能力无法生效如果本地没有权重可以用一条命令拉取仓库git clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF三、用Unsloth跑通SFT六步完整路线下面是不含大段代码的路线版每一步都对应 Unsloth 工作流中的标准动作。第 1 步准备微调数据SFT 数据格式使用对话格式的 JSONL 数据每条含instruction/input/output或多轮conversations。该模型支持英语及西班牙语、法语、德语、意大利语、日语等多语言数据可直接混训。想让模型学会先思考再回答就在训练样本中带上推理过程思维链并在推理时用 chat-template 的enable_thinkingTrue/False开关控制。第 2 步加载 BF16 权重由于 74B 参数即使激活只有 9B也建议通过 Unsloth 直接加载 BF16/ 下的多分片 GGUF或对应的 PyTorch 检查点。Unsloth 会自动处理张量并行与显存卸载无需手动切分分片。第 3 步配置 LoRA / QLoRA 微调对 74B 级模型LoRA/QLoRA 是事实标准显存紧张QLoRA4-bit 加载 LoRA 适配器可把训练显存压到 24GB 级别显存宽裕BF16 加载 LoRA收敛更稳训练目标可按需选择只训 LLM、还是连同视觉投影层一起训恢复/增强视觉能力时需要。第 4 步训练与检查点保存训练期间关注 loss 曲线保存多个 checkpoint。Unsloth 会自动管理 checkpoint 合并所需的中间产物训练结束后你会得到一个底座 LoRA 适配器的组合。第 5 步合并模型并自测把 LoRA 权重合并回 BF16 底座然后做快速自测。官方推荐的采样参数temperature 1.0、top_p 0.95可直接沿用作验收标准。第 6 步导出 GGUF 量化完成微调 → 部署闭环合并后的模型用 Unsloth 一键导出 GGUF再按目标硬件选量化档位部署目标建议档位追求最高质量Q8_0 级别24GB 显存单卡UD-Q4_K_XL / UD-Q5_K_XL极致省内存UD-Q2_K_XL 及更低位仓库自带的 UD-Q4_K_XL/、UD-Q5_K_XL/、UD-Q6_K_XL/ 可作为量化基准对照微调后导出同档位权重与官方基准做对比就能量化评估你的 SFT 收益。若用 llama.cpp 系推理并希望提速可搭配 dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf 做投机解码。四、SFT 之后还能做什么RL、蒸馏与合并README 中透露的原厂后训练配方Stage 3/4本身就是一份优秀的路线图参考视觉侧重 SFT在 SFT 阶段混入大量图文数据ScreenSpot、WebArena 类任务恢复压缩带来的视觉损耗Checkpoint MergingSLERP 插值把只训视觉适配器的检查点与 SFT 检查点插值合并文本与视觉能力更均衡——低成本、高收益的后训练技巧RLHF E2E GRPO在 MCP 工具调用、SWE 等 Agent 环境上做端到端强化学习官方报告 MCP 能力从约 48 提升到约 56MCP-Atlas 500 子集蒸馏Distillation用更强教师模型生成轨迹再回流训练。如果你想复现这套配方README.md 的 Training Methodology 与 Use Case 章节是最佳参考其中也列出了 NeMo RL、NeMo Gym 等官方推荐的 RL 工具链。五、避坑清单新手最容易踩的 5 个坑拿低比特量化版做微调请从 BF16/ 或 Q8_0/ 起步量化版只用于部署视觉任务漏装 mmproj多模态推理必须与 mmproj-BF16.gguf 配套否则图像输入不生效上下文开满 256K训练时按显存设置较小上下文部署时再按需放大推理参数乱调先用官方推荐 temperature 1.0 / top_p 0.95 建立基线再微调采样参数只看 loss 不看任务该模型强项是 Agent 任务Terminal-Bench 2.1 达 50.98、GPQA Diamond 86.43验收时务必跑真实工具调用/终端任务而非纯对话。六、总结NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 不只是下载下来就能跑的推理仓库更是一个为后训练设计的底座起点BF16/ 全精度权重 mmproj-BF16.gguf 视觉投影器路线数据准备 → QLoRA/LoRA SFT → 合并自测 → GGUF 量化导出进阶SLERP 合并、MCP/SWE 环境的端到端 RL、蒸馏验收对齐官方采样参数temperature 1.0、top_p 0.95用 Agent 类真实任务验证效果。按这条完整路线走完你就能把一台 9B 激活的高效 Agent 引擎真正变成属于自己的领域模型 。赞分享大模型基础模型多模态本地部署【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF点击查看免费下载相关推荐NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 完全入门24GB级本地视觉Agent大模型是什么、能做什么NVIDIA Nemotron 3.5 Bolt 74B A9B GGUF 完全入门24GB级本地视觉Agent大模型是什么、能做什么 想在只有 24GB 内大模型基础模型多模态本地部署ZenML 发布分支回迁实战把 develop 上的文档与示例改动 Backport 到在版 ReleaseZenML 发布分支回迁实战把 develop 上的文档与示例改动 Backport 到在版 Release 本文基于 ZenML 仓库内置的 Claude采样参数与enable_thinking思维模式配置指南把NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF调得更聪明的10个技巧采样参数与enable_thinking思维模式配置指南把NVIDIA Nemotron 3.5 Bolt 74B A9B GGUF调得更聪明的10个技巧 N大模型基础模型多模态本地部署创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
