DeepSeek模型+LM Studio本地部署在RogAlly掌機上
DeepSeek模型+LM Studio本地部署在RogAlly掌機上

DeepSeek模型+LM Studio本地部署在RogAlly掌機上

RogAlly掌機的配置:AMD Ryzen Z1 and Z1 Extreme 16GRam with shared memory for GPU、2TB NVME
!!!請注意Ally必須要在Rog設置里將顯存大小重設為:自動!!!
故只能運行相對較小的模型,這裡的DeepSeek-R1-Distill-Qwen-7B就很適合沒有獨立顯卡的電腦或者獨立顯卡性能較差的電腦運行的模型
1、LM Studio下載鏈接:https://lmstudio.ai/(目前最新0.39)
2、下載完之後安裝到電腦上,這裡我選擇給全部用戶安裝並且選擇安裝目錄是默認目錄C:\Program Files\LM Studio因為我的使用macOS的習慣軟件都是安裝在系統盤的
3、下載DeepSeek模型,這裡推薦使用https://www.modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files
4、請必須要選擇GGUF格式下載
(如果你不知道該下載多大的模型,請打開你的任務管理器查看GPU欄目的專用GPU顯存,模型大小需要和專用GPU顯存差不多大,可以小但是不建議大太多否則超過專用GPU顯存太多會純粹使用CPU計算)
5、下載過程會很忙因為是鏡像站,瀏覽器下載大約200kb/s你可以使用BT下載工具這裡我使用的是群暉的download station速度大約3mb/s(建議在中國時間的後半夜下載,速度能到22mb/s)
6、下載後打開LM Studio-請點擊軟件右下角的齒輪圖標-會打開App Setting-請點擊Language切換你所需要的語言(請注意即使選擇了非英語在極少部分情況也會顯示英文)
7、導入模型:請點擊File圖標“我的模型”-在資源管理器打開模型目錄,請創建以下文件夾:DeepSeek Publisher(DeepSeek改為你需要的名字不可以中文後面有空格)然後打開DeepSeek Publisher文件夾再創建DeepSeek Repository文件夾(DeepSeek改為你需要的名字不可以中文後面有空格)然後打開DeepSeek Repository 將你的模型放入到這裡,以下是參考目錄路徑:C:\Users\12313\.lmstudio\models\DeepSeek Publisher\DeepSeek Repository/DeepSeek-R1-Distill-Qwen-7B-Q8_0.gguf
8、返回LM Studio即可看到導入的模型,請點擊Chat聊天。在軟件頂部點擊導入模型:
Your models DeepSeek R1 Distill Qwen 7B Q8_0 DeepSeek Publisher 7B qwen2 GGUF 7.54 GB
9、點擊加載模型即可加載,此DeepSeek模型配合LM Studio為本地純離線形,如果需要聯網搜索必須要更改部分設置,此教程目的僅為本地執行簡單操作不需要聯網搜索故不講述以下內容
RogAlly 5.55 tok/sec
幻14 2020 2.24tok/sec

发表回复