RogAlly掌机的配置:AMD Ryzen Z1 and Z1 Extreme 16GRam with shared memory for GPU、2TB NVME
!!!请注意Ally必须要在Rog设置里将显存大小重设为:自动!!!
故只能运行相对较小的模型,这里的DeepSeek-R1-Distill-Qwen-7B就很适合没有独立显卡的电脑或者独立显卡性能较差的电脑运行的模型
1、LM Studio下载链接:https://lmstudio.ai/(目前最新0.39)
2、下载完之后安装到电脑上,这里我选择给全部用户安装并且选择安装目录是默认目录C:\Program Files\LM Studio因为我的使用macOS的习惯软件都是安装在系统盘的
3、下载DeepSeek模型,这里推荐使用https://www.modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files
4、请必须要选择GGUF格式下载
(如果你不知道该下载多大的模型,请打开你的任务管理器查看GPU栏目的专用GPU显存,模型大小需要和专用GPU显存差不多大,可以小但是不建议大太多否则超过专用GPU显存太多会纯粹使用CPU计算)
5、下载过程会很忙因为是镜像站,浏览器下载大约200kb/s你可以使用BT下载工具这里我使用的是群晖的download station速度大约3mb/s(建议在中国时间的后半夜下载,速度能到22mb/s)
6、下载后打开LM Studio-请点击软件右下角的齿轮图标-会打开App Setting-请点击Language切换你所需要的语言(请注意即使选择了非英语在极少部分情况也会显示英文)
7、导入模型:请点击File图标“我的模型”-在资源管理器打开模型目录,请创建以下文件夹:DeepSeek Publisher(DeepSeek改为你需要的名字不可以中文后面有空格)然后打开DeepSeek Publisher文件夹再创建DeepSeek Repository文件夹(DeepSeek改为你需要的名字不可以中文后面有空格)然后打开DeepSeek Repository 将你的模型放入到这里,以下是参考目录路径:C:\Users\12313\.lmstudio\models\DeepSeek Publisher\DeepSeek Repository/DeepSeek-R1-Distill-Qwen-7B-Q8_0.gguf
8、返回LM Studio即可看到导入的模型,请点击Chat聊天。在软件顶部点击导入模型:
Your models DeepSeek R1 Distill Qwen 7B Q8_0 DeepSeek Publisher 7B qwen2 GGUF 7.54 GB
9、点击加载模型即可加载,此DeepSeek模型配合LM Studio为本地纯离线形,如果需要联网搜索必须要更改部分设置,此教程目的仅为本地执行简单操作不需要联网搜索故不讲述以下内容
RogAlly 5.55 tok/sec
幻14 2020 2.24tok/sec