localGPT是什么？localGPT 一款可以使用GPT模型在本地设备上进行聊天、数据在本地运行、且 100% 保密的开源应用项目。
它是建立在privateGPT的基础上进行改造而成的。
它最大的亮点是本地化部署，即无需联网就可以提问，所有的源数据100%私密，支持.txt、.pdf、.csv 和 .xlsx文件类型提取自己的数据集。
应用场景有哪些呢？
- AI学习爱好者学习
- 企业内部知识库
- 半开放客服系统
等等。
是不是马上有兴趣了？不过别着急，从现在开始，到搭建完成还有一条很长的路要走。
本文就从0开始，教你如何搭建一套属于自己的GPT，即使你不懂AI、不懂GPT、不懂python。
基础环境准备：windows、git、python3.11.4、C++编译器
由于在下载依赖过程中需要C++编译器，所以我们可以提前安装好环境。
进入微软官方下载VS2022工具：https://visualstudio.microsoft.com/visual-cpp-build-tools/。
下载完成后打开进行安装即可。
python3.11.4可以直接到python官网下载并安装，安装时勾选自动添加环境变量，傻瓜式安装。
安装完成后，需要安装setuptools和pip工具，后面所有的依赖都需要使用到pip。官网：https://pypi.org/project/pip/#files。setuptools地址：https://pypi.org/project/setuptools/。安装pip前需要先安装setuptools。
本地下载完成后，键盘win+R键，输入cmd，然后cd进入解压的目录。在命令行中输入：
1 | python setup.py install |
执行完成后，命令行中输入：
1 | pip -version #查看pip的版本 |
如果显示了版本号，则表示安装完成。
以上都是基本的环境准备，接下来进入关键的安装环节。
1. localGPT部署
localGPT在Github 上面开源了,我们可以在里面复制克隆地址,把项目克隆到本地。
GitHub 地址: https://github.com/PromtEngineer/localGPT
通过Git 把项目克隆到本地windows目录,在目录中打开Powershall,执行:
打开命令行工具，进入localGPT目录。执行
好了，大部分网上的文档写到这，基本就完成了，但是事实上，这个环节出现的问题是最多的。
我总结了一下，出现的问题及解决方案。
auto_gptq要求的版本是0.2.2，但是目前pip能下载到的最高版本是0.0.1。解决方案是手动导auto_gptq下载whl，然后手动安装。
下载地址：https://github.com/PanQiWei/AutoGPTQ/releases/download/v0.2.2/auto_gptq-0.2.2+cu118-cp37-cp37m-win_amd64.whl
下载完成后，修改文件名称为：auto_gptq-0.2.2+cu118-cp311-cp311-win_amd64.whl。
命令行到文件的目录下，执行：
为什么要改文件名称？因为安装时会提示和当前的系统环境不匹配。其中文件名称中cp311表示 python的版本，最低版本到最高版本。
文件无法下载。文件无法下载的情况分两种，第一种文件太大，第二种网络问题导致超时。
文件太大，下载比较慢也会导致超时，其中我在安装torch时一直过不去，太大了，就直接下载了whl文件。
文件下载地址：https://download.pytorch.org/whl/torch_stable.html
找到匹配自己环境的下载就行，安装命令一如既往的pip install。
如果是网络问题，可以使用国内的镜像：
pip install 包 -i https://pypi.tuna.tsinghua.edu.cn/simple/ –trusted-host pypi.douban.com
ps ：–trusted-host pypi.douban.com 这是为了获得ssl证书的认证
常见pip镜像源（国内源）
清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学：http://pypi.hustunique.com/
山东理工大学：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/
2. 启动
打开localGPT目录,可以看到一个文件夹,叫:SOURCE_DOCUMENTS,我们只需把文档放到该目录下。
然后打开我们刚刚的命令行,下面命令提取数据,此处如果出现错误,可以尝试使用代理。
默认情况下，localGPT将使用你的GPU来运行ingest.py和run_localGPT.py脚本。但是，如果你没有GPU并希望在CPU上运行，现在你可以做到（警告：这将会很慢！）。你需要使用–device_type cpu标志与两个脚本一起使用。
如果运行过程中报错
PydanticUserError: If you use `@root_validator` with pre=False (the default) you MUST specify `skip_on_failure=True`. Note that `@root_validator` is deprecated and should be replaced with `@model_validator`. For further information visit https://errors.pydantic.dev/2.0.2/u/root-validator-pre-skip
可以尝试
当你看到如下运行日志，那么说明第二步执行成功。
3 使用
同样命令行，运行
启动后我们可以看到api 接口端口号和地址,注意,这个窗口不能关闭,需保持运行,因为web ui 界面需要和这个api 接口保持通信。
当你看到这个界面的时候，恭喜你，安装成功。
Running on http://127.0.0.1:5110
接下来启动web ui 服务,重新在localGPT目录打开一个新的命令行窗口,然后进入localGPTUI目录。切记，一定要重新打开一个命令行。
python localGPTUI.py在浏览器中输入：http://127.0.0.1:5111/，你将看到下图。
恭喜你，localGPT安装成功，好了，让我们来试一下。
很显然，有点莫名其妙，对中文的支持度有限。
不过我们只是做测试，数据集有限，参数也没办法优化。
好了，有兴趣的伙伴们来试试吧。如果安装时碰到了问题，可以留言一起讨论哦。
转载请注明：迷路的老鼠 » localGPT本地windows安装使用-从0开始