本项目提供基于ModelScope魔搭社区的在线体验, 欢迎尝试和反馈!
受langchain-ChatGLM启发, 利用LangChain和ChatGLM-6B系列模型制作的Webui, 提供基于本地知识的大模型应用.
目前支持上传 txt、docx、md、pdf等文本格式文件, 提供包括ChatGLM-6B系列的模型文件以及GanymedeNil/text2vec-large-chinese、nghuyong/ernie-3.0-base-zh、nghuyong/ernie-3.0-nano-zh等Embedding模型.
效果如下:
提供ModelScope版本和HuggingFace版本.
需要Python>=3.8.1
docker镜像: dockerhub.pcl.ac.cn:5000/user-images/openi:LangChain_ChatLLM
- git clone本项目:
git clone https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui.git - 进入本项目目录：
cd LangChain-ChatGLM-Webui - 安装依赖包：
pip3 install -r requirements.txt - 执行app.py：
python3 app.py
详细部署文档可参考: 部署文档
若存在网络问题可点击以下链接快速下载:
| large language model | Embedding model |
|---|---|
| ChatGLM-6B | text2vec-large-chinese |
| ChatGLM-6B-int8 | ernie-3.0-base-zh |
| ChatGLM-6B-int4 | ernie-3.0-nano-zh |
| ChatGLM-6B-int4-qe | ernie-3.0-xbase-zh |
| ernie-3.0-medium-zh |
- 多个模型选择
- 支持上下文
- 支持上传多个文本文件
- 提供ModelScope版本
- 提供环境镜像和部署文档
- 支持用户自定义Embedding模型
- 代码重构
- ChatGLM-6B: ChatGLM-6B: 开源双语对话语言模型
- LangChain: Building applications with LLMs through composability
- langchain-ChatGLM: 基于本地知识的 ChatGLM 应用实现
- langchain-ChatGLM提供的基础框架
- 魔搭ModelScope提供展示空间
- OpenI启智社区提供调试算力