职贝云数AI新零售门户

标题: 如何搭建本地AI大模型(秒搭建) [打印本页]

作者: tsB16T 时间: 3 小时前
标题: 如何搭建本地AI大模型(秒搭建)
真的是秒搭建。主流的教程普通是用ollma，lm studio这些。第一个倾向命令行，我都不知道能不能正常拉取一些资源，碍于网络环境的成绩，我没尝试；第二个LM studio，这个是图形化的界面，下载上去之后，运转之后，准绳上是可以本人另外下载大模型，然后导入出来。我tm的导入了有数次，测试了有数次，都无果，也不知道是不是官方锁定了，必需要经过外部下载，最后放弃。最简单的办法是，下载一个KobOldCpp的程序即可。

就这么一个程序，直接下载上去，免安装。下载网址：https://github.com/LostRuins/koboldcpp/releases/tag/v1.108.2
(, 下载次数: 0)
下载这两个，根据你本人来，我的电脑比较老了，而且也很渣滓的，是组装的。
(, 下载次数: 0)
假如你有很高的配置，且不错的显卡，那就下载下面那个。
下载大模型：大模型下载国外有一个非常有名的站。https://huggingface.co/
(, 下载次数: 0)

当然模型也分很多种，有0.5B,4B,7B,14B等。

我的电脑跑7B绰绰不足，但是跑14B正好勉强能接受。

凶猛的电脑可以跑更高的B。B你可以了解为10亿个参数。

我最后下载了很多个，从小到大都下载过。

反正14B目前最合适我一些。

(, 下载次数: 0)

跑本地大模型有什么好处呢？

第一，保护本人的隐私；

第二，可以选择各种模型；

第三，限制更少，回答率更高。

我前几天在某个国内AI上，问“世界上有哪些街机游戏的厂商”，没想到都回绝回答，他回答一半的时分就中缀了，说“我不能回答”。

由于外面出现了某一个旗帜，大家自行脑补吧。

假如你要追求最开放的模型，那就搜这类关键词。

(, 下载次数: 0)

uncensored.

千问也有这样的模型。

我下载过一个7B的，胡编乱造，没有对齐。

我上去说了一句“你好”，对方回答居然来了一堆关于信息战的内容。

还有，有一些高度敏感的，依然不会回答你，也是做过设置的。

不过要是让它写个“小红文”“小绿文”，还真的能输入一堆来。

(, 下载次数: 0)

我下载的模型是这个：
qwen2.5-14b-instruct-abliterated-v2-q4_k_m.gguf

如何运转本地大模型

直接双击下面的软件。

(, 下载次数: 0)

双击它！别多点，也不需求管理员运转。

(, 下载次数: 0)

会出现这样界面。

稍微调整一下这里。

(, 下载次数: 0)

假如你有CUDA的N卡，那就选择第一个。

我是用CPU的，我是A卡显卡。

(, 下载次数: 0)

选择好之后，这里也最好做一下更改，8192太大了，上下文不用那么大。

4096也足够了，不过你根据本人来吧。

(, 下载次数: 0)

点击这里的browse来选择模型。

(, 下载次数: 0)

最后点击launch，运转。

(, 下载次数: 0)

(, 下载次数: 0)

尤其留意最底部。

为什么我要本人尝试本地跑一个大模型。

次要大家也知道最近的openclaw很火，将来我想在我本地的NAS上跑一个zeroclaw，哪怕是openclaw也可以的，我都可以接入本人的本地大模型接口。

这样的好处是，不花钱！不用买token了。

(, 下载次数: 1)

点开来之后，就有本地的一个网页，默许端口是5001.

而且局域网的设备，例如手机也可以访问对应的IP:5001端口访问，经过阅读器即可。

(, 下载次数: 1)

这样就曾经完成了。

开着就有了。

当然功能一定是比不上你手机上下载的豆包，千问这些官方的。

但是本地的好处在于token是收费的。

(, 下载次数: 0)

有必要说一下zeroclaw，虽然我本人还没末尾正式玩过。

不过zeroclaw是非常小的一款AI Agent，小到什么程度。

就是当年网心云那个玩客云的矿渣机器，都能跑，由于zeroclaw运转内存小于512MB内存。

你可以把玩客云刷机成armbian，再安装。

安装好之后接入本人的本地大模型，反正也不要钱。

(, 下载次数: 0)

(, 下载次数: 0)

(, 下载次数: 0)

欢迎光临职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)