运用非专业计算显卡,能跑DeepSeek满血版吗?

实践计较

使用非专科计较隐卡，能跑DeepSeek谦血版吗？

凡是观点下，DeepSeek谦血版指DeepSeek-R1-671B(最高级参数目)的模子。

按照前文归纳的计较公式，671B参数目，用int4截至质化，实践上最少需要 335.5 GB 的隐存才气减载。

目前，nvidia消耗级隐卡最年夜隐存天花板是 4090 48G，由出厂的 4090 24G魔改而去。

一台八卡效劳器，最年夜隐存能够到达 48 x 8 = 384GB，实践可止。
理论尝试

因而正在八卡效劳器上，用 ollama 推与了 DeepSeek-R1-671B 模子截至尝试，确实能够跑起去，隐存占用约 339.88GB(包罗 Xorg自身 的隐存 0.13GB)。

理论隐存占用情况
上面干了个尝试，比力 DeepSeek-R1-671B 战 DeepSeek-R1-70B 的结果区分。

问问尝试：


DeepSeek-R1-671B 结果

DeepSeek-R1-70B 结果
写今年浙江卷下考做文题：


DeepSeek-R1-671B 结果

DeepSeek-R1-70B 结果