说明
TIP:
实验时间是2023年10月23号,
如果大家想自己去实验的,建议全部下载最新版本的工具插件源码,
本文中实验时文件的路径,大家也根据自己实际情况调整
本地环境如下:
操作系统:win10 专业版
CPU:i5-7400 3.00GHz
内存:32G
硬盘(机械):2T
显卡(没有用GPU跑哦):GTX1050TI 4G
相关软件版本:
vscode:1.83.1(user)
https://code.visualstudio.com/docs#vscode
w64devkit:11.0.1
https://github.com/skeeto/w64devkit
codeshell-vscode:0.0.2
https://github.com/WisdomShell/codeshell-vscode
llama_cpp_for_codeshell:20231023官方最新版本
https://github.com/WisdomShell/llama_cpp_for_codeshell
nodeJS:18.18.1
http://www.nodejs.com.cn/
CodeShell-7B-Chat-int4:20231023官方最新版本
https://huggingface.co/WisdomShell
步骤:
1、阅读官方文档,并把前面说明中的相关软件全部准备好
2、编译vscode插件(CodeShell VSCode Extension)
进入codeshell-vscode-main目录下,打开PowerShell,输入
npm install
npm exec vsce package
生成插件文件,并直接把codeshell-vscode-0.0.2.vsix拖动到vscode插件列表中,重启vscode,就可以看到插件了
3、通过w64devkit编译模型服务
运行w64devkit.exe后,根据指令进入到llama_cpp_for_codeshell目录,输入
make
4、将模型codeshell-chat-q4_0.gguf放置在 llama_cpp_for_codeshell-master/models 文件夹的路径下
5、通过w64devkit启动模型服务
运行w64devkit.exe后,进入llama_cpp_for_codeshell目录,输入
./server -m ./models/codeshell-chat-q4_0.gguf --host 127.0.0.1 --port 8080
6、实验插件功能(cpu直接拉满,不想用显卡,老显卡怕烧了)
总结
1、官方文档步骤非常清晰,本地部署也非常简单,相对其他开源的AI模型部署来说已经非常友好了,就是下载软件时可能需要梯子下载,特别是模型文件4.25G,在下也是找了朋友帮下载,然后上次百度网盘(老实冲了会员),在下载回来才能用的(https://huggingface.co/WisdomShell)
2、个人电脑下,如果cpu和GPU不高的话,实验验证就行了,不建议介入到工作生成中,特别是插件的自动生成功能,要调整成快捷键触发的方式,不然100或者GPU动不动就跑了哦~
3、当前实验中用的软件包等,放在了百度网盘,我不确定会不会失效,建议大家还是自己下载最新的版本
链接:https://pan.baidu.com/s/1BcYpN5zAZlshcnGxg-QXnw?pwd=cvyc
提取码:cvyc