本文描述普通笔记本(集成显卡)上安装和运行DeespSeek模型的方法。最终效果如图
image.png
安装步骤
安装Ollama
访问Ollama主页,点击下载 -> Download For Windows,下载并安装。
安装完毕后打开windows命令行cmd
# 检查ollama版本
> ollama --version
ollama version is 0.5.7
# 检查已经安装的模型,默认是空
>ollama list
NAME ID SIZE MODIFIED
确认安装成功
下载和运行模型
# 启动模型,如果没有安装则会自动下载安装
ollama run deepseek-r1:1.5b
# 等待一定时间后显示以下界面表示运行成功
>>> Send a message (/? for help)
# 退出模型
>>> /bye
可以直接在命令行打字交互。
可以安装更多的模型。
#
>ollama list
NAME ID SIZE MODIFIED
deepseek-r1:7b 0a8c26691023 4.7 GB 42 minutes ago
deepseek-r1:32b 38056bbcbb2d 19 GB 55 minutes ago
deepseek-r1:14b ea35dfe18182 9.0 GB 2 hours ago
deepseek-r1:latest 0a8c26691023 4.7 GB 3 hours ago
deepseek-r1:1.5b a42b25d8c10a 1.1 GB 4 hours ago
修改模型存储位置(可选)
默认模型存在 C:\Users\XXX\.ollama\models,如果要修改模型存储的位置。
在电脑环境变量中新建变量
OLLAMA_MODELS = D:\XXXX
改变后重启电脑,注意一定要重启电脑才能生效。
image.png
模型实测比较
以本人笔记本 R7 4750+32G内存,实测模型占用的内存和性能大概如下:
模型 | 内存占用 | 速度 |
---|---|---|
1.5b | 1~2 GB | 较快,与线上模型相似 |
7b | 4~5 GB | 每秒5-8词 |
14b | ~10 GB | 每秒2-3词 |
32b | ~20GB | 每秒1词 |
回答质量上,1.5b的模型在回答国内冷门区域的旅游景点时会胡编乱造,7b偶尔会中英夹杂但意思对,其余都可以较正确回答。
安装Docker
访问Docker wiki说明文档,下载 Docker Desktop for Windows - x86_64 并安装。
安装后,运行桌面的Docker Desktop
image.png
Docker中安装运行open-webui
在Docker中可以直接安装运行open-webui,因此不用额外独立安装
# 端口3000可修改为其他端口
> docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
# 输出信息
Unable to find image 'ghcr.io/open-webui/open-webui:main' locally
main: Pulling from open-webui/open-webui
af302e5c37e9: Pull complete
...
aa537a9b900a: Pull complete
Digest: sha256:b2c83b5c7b9b244999307b4b1c0e195d41268f3d3a62b84b470c0cea5c5743fd
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
a8750b9857788452e981249168dcc520fe5cea4c0d917e50b58c694aca214de4
# 查看当前运行的容器
> docker ps
# 输出信息
CONTAINER ID IMAGE COMMAND CREATED STATUS
PORTS NAMES
a8750b985778 ghcr.io/open-webui/open-webui:main "bash start.sh" 31 minutes ago Up 31 minutes (healthy) 0.0.0.0:3000->8080/tcp open-webui
839a434b163a docker/welcome-to-docker:latest "/docker-entrypoint.…" 47 minutes ago Up 47 minutes
0.0.0.0:8088->80/tcp welcome-to-docker
使用
浏览器打开
http://localhost:3000/
输入设置用户名密码
image.png
可以直接对话,左上角选择模型
image.png
相关资源链接
DeepSeek-R1 本地部署指南:Ollama 助你轻松实现,支持2G显卡
open-webui Github主页
open-webui wiki 说明文档
Docker wiki说明文档
Ollama主页