运用ollama本地部署AI大言语模型—以DeepSeek-R1为例

A1PZT7rw 发表于 2025-2-7 13:03:20 | 显示全部楼层 |阅读模式 |快速收录 Vol.1 为何要当地布置狂言语模子 当地布置 AI 狂言语模子（LLM）有多个主要的劣势战合用场景，此中最主要的多少个启事是数据隐衷战宁静、离线可用性和节省本钱等。正在数据隐衷战宁静圆里，关于涉及敏感数据（如调理、金融、法令等）的任务，当地布置能够保证数据没有会分隔当地情况，制止数据保守危急。正在离线可用性圆里，当地布置的模子能够正在不互联网跟尾的情况下运行，适宜收集没有颠簸或者没法联网的情况（如偏僻地域、军事装备等）。正在节省本钱圆里，云效劳凡是按使用质免费，而当地布置能够制止这类连续的用度。 Vol.2 ollama的下载取装置 Ollama (https://ollama.com/  )是一个启源的庞大语言模子效劳东西，旨正在简化庞大语言模子（LLMs）的当地布置战使用。邪如ollama民网所展示的这样，以下图所示，Ollama的介绍只需短短多少句话，“Get up and running with large language models”，启用并运行狂言语模子。它供给了一个号令止界里（CLI），使用户能够轻快下载、运行战办理各类 LLMs，包罗 Meta (Facebook)公司拉出的Llama (Large Language Model Meta AI )、 Mistral AI 公司开辟的庞大语言模子Mistral、阿里巴巴开辟的通义千问Qwen、和近来十分十分炽热的由深度供索公司拉出的DeepSeek等多种狂言语模子。 Ollama现在已经撑持当地布置十分多品种的狂言语模子，各人能够颠末该链交(https://ollama.com/library)盘问ollama现在撑持的模子列表，也能够间接面ollama民网右上角的“Models”按钮盘问今朝撑持的模子，以下图所示（根据流行水平排序）。 对于ollama的装置，实在战尽年夜大都硬件的装置一致，用户能够间接从ollama民网高低载对于应体系的ollama版原，macOS，Linux，和Windows。ollama的装置十分简朴。 Vol.3 Ollama的经常使用号令战年夜模子布置 正在装置完毕后，用户能够颠末搜刮cmd翻开号令提醒符窗心，输出号令ollama -v去查抄可否装置胜利，假设前去了ollama的版原即表白装置胜利了。 输出ollama -h号令用于检察ollama中的经常使用号令。如图所示，此中最经常使用的多少个号令是pull:长途推与年夜模子；run:运行年夜模子；rm:简略年夜模子；list:列出已经装置的年夜模子。 使用ollama pull DeepSeek-R1号令将deepseek推与到当地，需要留神的是，deepseek-R1需要4.7个G的装置内乱存，假设用户借念装置其余的狂言语模子，比方通义千问战llama，用户能够颠末ollama pull qwen:0.5b去装置通义千问0.5b模子，颠末ollama pull llama llama3.3:70b号令装置llama3.3-70b模子，以此类拉。需要留神的是llama3.3-70b占内乱存40G，用户当地布置时能够按照自己的电脑设置思考其余的llama模子。对于可推与的年夜模子的称呼请参照前文中对于ollama的介绍。 装置完毕后，咱们能够颠末ollama run DeepSeek-R1号令去挪用deepseek狂言语模子，如图所示，而后咱们就能够正在输出框中截至提问，deepseek将会给咱们供给答复。 比方，尔期望deepseek为psych统计自习室一个勤奋于分享心机统计战心机丈量常识的公家号写一篇骈文，能够参照滕王阁序。 到此为行，咱们实在已经把DeepSeek-R1布置到了条记原电脑上，即使没有联网，咱们依旧能够当地使用年夜模子。为了更熟练天正在当地使用年夜模子，咱们借需要介绍其余多少个号令，当咱们期望参加年夜模子，咱们能够颠末快速键“Crtl + Z”参加，当咱们输出ollama list，则枚举出已经下载的年夜模子，如图所示。而当咱们念简略qwen:0.5b年夜模子时，能够颠末ollama rm qwen:0.5b完毕。 咱们皆道DeepSeek强大，但是语言可以很易直觉暗示进去，这咱们便干一个简朴的比照，咱们将统一段prompt喂给DeepSeek战qwen:0.5b，咱们能够比照那二个年夜模子的成果，咱们就可以一眼瞅出qwen:0.5b正在DeepSeek眼前仿佛即是一个小师长教师，固然那可以是因为通义千问0.5b模子参数锻炼的罕见干系，但是也能表示DeepSeek的强大。 Vol.4 鉴于 WebUI 布置 Ollama 可望化对于话界里 起首，咱们需要装置Node.js 东西(https://nodejs.org/zh-cn)，颠末该链交获得Node.js的装置包，而后一般装置，对于Node.js东西的装置用户可参照CSDN上的一篇专客(https://blog.csdn.net/zimeng303/article/details/112167688)。装置完毕后，用户需要使用办理员身份运行cmd，而后顺次输出以下号令： cd C:\Users\username git clone https://github.com/ollama-webui/ollama-webui-lite.git cd ollama-webui-lite npm config set registry http://mirrors.cloud.tencent.com/npm/ npm install npm run dev 上述号令中的username是用户电脑名，每一台电脑皆没有太一致，需要用户自止改正。假设呈现以下图所示的输出则表示着Web 可望化界里已经胜利了，而后用户只要供浏览器翻开 Web 可望化界里：http://localhost:3000/  就能够了。 第一次装置需要残破运行上述代码，但是以后挪用可望化界里时，用户只要供运行上面2句代码就能够了。运行完以后颠末浏览器翻开http://localhost:3000/  链交就能够截至网页接互式输出了。 cd C:\Users\username\ollama-webui-lite npm run dev 如图所示，咱们挑选当地装置的狂言语模子，而后退一步将以前的prompt喂给Deepseek，察看新的成果。 以下图所示，那是网页版DeepSeek对于该成就的答复。 PSYCH统计尝试室 报告通告 收集阐发课程今朝盛开望频课啦 单次课200元/道（师长教师），250元/道（非师长教师） 公有四道实质： ①横断里收集阐发简介取根底 ②收集阐发取果子阐发 ③穿插滞后收集阐发 ④时间序列收集阐发 购置后盛开望频权力14天，可屡次恳求。 并赠予统统课程相干质料（无PPT） 假设念恳求购置，请联系M18812507626 更多资讯 存眷咱们 文稿：戴星 排版：Peruere 考核：戴星 原文由“Psych统计自习室”问题组本创，欢送转收至朋友圈。如需转载请联系背景，征患上作家附和前方可转载。

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜