最新消息:从今天开始,做一个有好习惯的人。

localGPT本地windows安装使用-从0开始

开源 迷路的老鼠 650浏览 0评论

localGPT是什么?localGPT 一款可以使用GPT模型在本地设备上进行聊天、数据在本地运行、且 100% 保密的开源应用项目。

它是建立在privateGPT的基础上进行改造而成的。

它最大的亮点是本地化部署,即无需联网就可以提问,所有的源数据100%私密,支持.txt、.pdf、.csv 和 .xlsx文件类型提取自己的数据集。

应用场景有哪些呢?

  • AI学习爱好者学习
  • 企业内部知识库
  • 半开放客服系统

等等。

是不是马上有兴趣了?不过别着急,从现在开始,到搭建完成还有一条很长的路要走。

本文就从0开始,教你如何搭建一套属于自己的GPT,即使你不懂AI、不懂GPT、不懂python。

基础环境准备:windows、git、python3.11.4、C++编译器

由于在下载依赖过程中需要C++编译器,所以我们可以提前安装好环境。

进入微软官方下载VS2022工具:https://visualstudio.microsoft.com/visual-cpp-build-tools/。

下载完成后打开进行安装即可。

python3.11.4可以直接到python官网下载并安装,安装时勾选自动添加环境变量,傻瓜式安装。

安装完成后,需要安装setuptools和pip工具,后面所有的依赖都需要使用到pip。官网:https://pypi.org/project/pip/#files。setuptools地址:https://pypi.org/project/setuptools/。安装pip前需要先安装setuptools。

本地下载完成后,键盘win+R键,输入cmd,然后cd进入解压的目录。在命令行中输入:

1
python setup.py install

执行完成后,命令行中输入:

1
pip -version #查看pip的版本

如果显示了版本号,则表示安装完成。

以上都是基本的环境准备,接下来进入关键的安装环节。

1. localGPT部署

localGPT在Github 上面开源了,我们可以在里面复制克隆地址,把项目克隆到本地。

GitHub 地址: https://github.com/PromtEngineer/localGPT

通过Git 把项目克隆到本地windows目录,在目录中打开Powershall,执行:


1
git clone https://github.com/PromtEngineer/localGPT.git

打开命令行工具,进入localGPT目录。执行


1
pip install -r requirements.txt

好了,大部分网上的文档写到这,基本就完成了,但是事实上,这个环节出现的问题是最多的。

我总结了一下,出现的问题及解决方案。

auto_gptq要求的版本是0.2.2,但是目前pip能下载到的最高版本是0.0.1。解决方案是手动导auto_gptq下载whl,然后手动安装。

下载地址:https://github.com/PanQiWei/AutoGPTQ/releases/download/v0.2.2/auto_gptq-0.2.2+cu118-cp37-cp37m-win_amd64.whl

下载完成后,修改文件名称为:auto_gptq-0.2.2+cu118-cp311-cp311-win_amd64.whl。

命令行到文件的目录下,执行:


1
pip install auto_gptq-0.2.2+cu117-cp311-cp311-win_amd64.whl

为什么要改文件名称?因为安装时会提示和当前的系统环境不匹配。其中文件名称中cp311表示 python的版本,最低版本到最高版本。

文件无法下载。文件无法下载的情况分两种,第一种文件太大,第二种网络问题导致超时。

文件太大,下载比较慢也会导致超时,其中我在安装torch时一直过不去,太大了,就直接下载了whl文件。

文件下载地址:https://download.pytorch.org/whl/torch_stable.html

找到匹配自己环境的下载就行,安装命令一如既往的pip install。

如果是网络问题,可以使用国内的镜像:

pip install 包 -i https://pypi.tuna.tsinghua.edu.cn/simple/ –trusted-host pypi.douban.com

ps :–trusted-host pypi.douban.com 这是为了获得ssl证书的认证

常见pip镜像源(国内源)

清华:https://pypi.tuna.tsinghua.edu.cn/simple

阿里云:http://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

华中理工大学:http://pypi.hustunique.com/

山东理工大学:http://pypi.sdutlinux.org/

豆瓣:http://pypi.douban.com/simple/

2. 启动

打开localGPT目录,可以看到一个文件夹,叫:SOURCE_DOCUMENTS,我们只需把文档放到该目录下。

然后打开我们刚刚的命令行,下面命令提取数据,此处如果出现错误,可以尝试使用代理。


1
python ingest.py

默认情况下,localGPT将使用你的GPU来运行ingest.py和run_localGPT.py脚本。但是,如果你没有GPU并希望在CPU上运行,现在你可以做到(警告:这将会很慢!)。你需要使用–device_type cpu标志与两个脚本一起使用。


1
python ingest.py --device_type cpu

如果运行过程中报错

PydanticUserError: If you use `@root_validator` with pre=False (the default) you MUST specify `skip_on_failure=True`. Note that `@root_validator` is deprecated and should be replaced with `@model_validator`. For further information visit https://errors.pydantic.dev/2.0.2/u/root-validator-pre-skip

可以尝试


1
pip install ydata-profiling

当你看到如下运行日志,那么说明第二步执行成功。

3 使用

同样命令行,运行


1
python run_localGPT_API.py

启动后我们可以看到api 接口端口号和地址,注意,这个窗口不能关闭,需保持运行,因为web ui 界面需要和这个api 接口保持通信。

当你看到这个界面的时候,恭喜你,安装成功。

Running on http://127.0.0.1:5110

接下来启动web ui 服务,重新在localGPT目录打开一个新的命令行窗口,然后进入localGPTUI目录。切记,一定要重新打开一个命令行。

python localGPTUI.py

在浏览器中输入:http://127.0.0.1:5111/,你将看到下图。

恭喜你,localGPT安装成功,好了,让我们来试一下。

很显然,有点莫名其妙,对中文的支持度有限。

不过我们只是做测试,数据集有限,参数也没办法优化。

好了,有兴趣的伙伴们来试试吧。如果安装时碰到了问题,可以留言一起讨论哦。

转载请注明:迷路的老鼠 » localGPT本地windows安装使用-从0开始

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址