5000元组装一台本地运行中、小模型主机,参考配置 (运行DeepSeek、Qwen)

5000元中、小模型主机 DeepSeek、Qwen 各精度模型推荐启动方式
| 模型名称 | 参数量 | 精度 | 模型大小 | 推荐运行模式 |
| DeepSeek R1 | 7b | Q4 | 5 GB | LM Studio纯GPU |
| 14b | Q4 | 9 GB | LM Studio纯GPU | |
| 32b | Q4 | 20 GB | LM Studio纯GPU | |
| Q8 | 35 GB | Ollama纯CPU | ||
| FP16 | 66 GB | Ollama纯CPU | ||
| 70b | Q4 | 43 GB | Ollama纯CPU | |
| Q8 | 75 GB | |||
| FP16 | 141 GB | |||
| 671b | Q4 | 404 GB | 不能运行 (增大虚拟内存可启动) | |
| Q8 | 713 GB | |||
| FP16 | 1.3 TB | |||
| Qwen qwq | 32b | Q4 | 20GB | LM Studio纯GPU |
| Q8 | 35GB | LM Studio GPU+CPU | ||
| FP16 | 66GB | Ollama纯CPU |
Ollama下载模型拷贝到 LM Studio \models 目录下需要建立两层子目录,并改文件格式为.gguf
C:\Users\Administrator\.lmstudio\models\Qwen\Qwq\qwq-fp16.gguf