Ollama Windows 本地部署全指南：从零开始搭建大模型运行环境

Ollama Windows 本地部署全指南：从零开始搭建大模型运行环境

本文将带你一步步在 Windows 系统上完成 Ollama 的部署，包括解决安装路径限制、模型下载加速、以及验证模型是否在显卡上运行等关键问题。

一、我的硬件环境

先交代一下本次部署的硬件配置，方便大家对照参考：

说明：RTX 5070 拥有 12GB 显存，理论上可以流畅运行 7B 参数级别的模型。但新手建议先从 1.5B 小模型开始尝试，熟悉流程后再逐步升级。

二、下载 Ollama

访问 Ollama 官网：https://ollama.com

Windows 平台会得到一个.exe安装包。

三、绕过 C 盘安装限制（关键步骤）

⚠️ 问题说明

Ollama 官方安装包默认强制安装到 C 盘，且安装过程中没有提供图形化的路径选择界面。对于 C 盘空间紧张的用户来说，这非常不友好。

✅ 解决方案：命令行安装

通过命令行方式启动安装包，可以自定义安装路径。

操作步骤：

1. 打开命令提示符（CMD）或 PowerShell
2. 导航到安装包所在目录，执行以下命令：

OllamaSetup.exe /DIR="D:\YourCustomPath\Ollama"

注意：安装路径不建议包含中文，建议使用全英文路径。我这里图中使用了中文路径，属于错误示范，请勿模仿。

可以看到数据已被正确安装到目标路径：

四、启动 Ollama 与修改模型下载路径

1. 启动方式

不要直接双击.exe文件运行，否则会提示错误：

“Ollama must be run from the command line”

正确的启动方式是通过命令行进入安装目录后执行：

&'.\ollama app.exe'

小技巧：在 VSCode 终端中进入该目录后，输入ollama再按Tab键，系统会自动补全为& '.\ollama app.exe'。

2. 修改模型下载位置

启动 Ollama 后，点击左侧Settings（设置）菜单：

在设置界面中，将Model Location修改为你希望的模型下载路径。同样不建议放在 C 盘：

同时建议删除 C 盘默认路径下的残留文件（位于C:\Users\<用户名>\.ollama\models），以节约 C 盘空间：

五、配置环境变量（双重保险）

只修改软件内部的模型路径，有时仍会出现模型被下载到 C 盘的问题。经过实测，需要同时配置系统环境变量才能彻底解决。

操作步骤：

1. 右键“此电脑”→属性
2. 在系统信息下找到“高级系统设置”→环境变量
3. 在用户变量区域点击“新建”
4. 变量名：OLLAMA_MODELS
5. 变量值：你的模型下载路径（与软件内部设置保持一致）

经验总结：简单测试发现单独改软件内部路径或只添加环境变量均无效，两项都改完才能让模型正常下载到指定目录。

六、下载模型

1. 从 Ollama 官方源下载（速度较慢）

Ollama 提供了模型广场，可以直接在命令行中拉取模型。

以DeepSeek-R1 1.5B为例：

ollama run deepseek-r1:1.5b

官网有提供下载的CLI命令

但实测下载速度非常缓慢，经常只有100 KB/s左右：

2. 🚀 从国内镜像站加速下载（推荐）

使用国内 ModelScope（魔搭社区）镜像站进行加速下载，速度提升显著。

访问地址：https://modelscope.cn/models

注意事项：

• 需要选择GGUF 格式的模型，因为 Ollama 使用的是该格式。
• 输入关键词搜索deepseek-r1-1.5B即可找到相关模型。

本次我选择的是模型：
bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF

从名称可以看出，这是一个以 Qwen 模型为基底、从 DeepSeek-R1 蒸馏而来的小模型——它继承了 DeepSeek 的推理逻辑，但体积大幅缩小。

下载命令格式：

ollama pull modelscope.cn/你的模型名字

实际操作：

ollama pull modelscope.cn/bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF

可以看到下载速度明显提升，几分钟内即可完成。

3. 初步验证已下载的模型

使用以下命令查看本地已有模型列表：

ollama list

七、测试运行模型

1. 启动 Ollama 并开始对话

在命令行(ollama安装目录下)执行：

&'.\ollama app.exe'

会启动ollama的UI界面。
然后在 UI界面中新建对话，选择刚下载的模型进行测试：

体验感受：1.5B 模型确实有些"呆呆的"，对于复杂问题的回答能力有限。这符合预期——它体积小、速度快，但智力上限较低。

2. 验证模型是否在显卡上运行

使用ollama ps命令查看当前运行的模型状态：

ollamaps

从输出可以看到，模型已经在 GPU（显卡）上运行，说明配置成功！

八、总结与后续建议

关键要点回顾

部署完成Ollama后可以做什么？

• 尝试更大的模型：例如我的12GB 显存的 RTX 5070 可以尝试运行 7B 级别的模型, 他们的能力会比 1.5B 强很多。
• 结合 接入到你的WEB程序：为你的WEB应用或接入一个对话框页面，像deepseek官网那样和本地的模型进行对话。
• 接入本地知识库：配合 RAG（检索增强生成）技术，让模型基于你自己的文档进行问答。