JittorLLMs是一个由Jittor团队开发的大模型推理库,它具有高性能、配置要求低、中文支持好、可移植等特点。以下是对其特性的详细介绍:
- 成本低:相比同类框架,JittorLLMs可以大幅降低硬件配置要求,没有显卡,2G内存就能运行大模型,使得大模型可以在普通机器上本地部署,是目前已知的部署成本最低的大模型库。
- 支持广泛:目前JittorLLMs支持了4种大模型:ChatGLM大模型;鹏程盘古大模型;BlinkDL的ChatRWKV;国外Meta的LLaMA大模型。后续还将支持更多优秀的大模型,统一运行环境配置,降低大模型用户的使用门槛。
- 可移植:用户不需要修改任何代码,只需要安装Jittor版torch(JTorch),即可实现模型的迁移,以便于适配各类异构计算设备和环境。
- 速度快:Jittor框架通过零拷贝技术,大模型加载开销降低40%,同时,通过元算子自动编译优化,计算性能相比同类框架提升20%以上。
- 配置要求低:JittorLLMs只需要2G内存和40GB空闲磁盘空间,无需显卡,也可以部署大模型。在显存充足的情况下,其性能优于同类框架,而在显存不足甚至没有显卡的情况下,JittorLLMs都能以一定速度运行。
- 速度更快:Jittor框架通过内存直通读取,减少内存拷贝数量,大大提升模型加载效率。相比PyTorch框架,Jittor框架的模型加载效率提升了40%。
- 可移植性高:Jittor团队发布Jittor版PyTorch接口JTorch,用户无需修改任何代码,只需要按照如下方法安装,即可通过Jittor框架的优势节省显存、提高效率。
总的来说,JittorLLMs是一个强大的大模型推理库,它可以帮助用户更快、更容易地构建和训练深度学习模型。同时,JittorLLMs也有一个活跃的开发者社区,用户可以在社区中找到大量的教程和示例代码,也可以向社区提问和分享经验。
JittorLLMs的使用也非常简单,只需要通过以下命令安装依赖和部署:
# 国内使用 gitlink clone
git clone https://gitlink.org.cn/jittor/JittorLLMs.git --depth 1
# github: git clone https://github.com/Jittor/JittorLLMs.git --depth 1
cd JittorLLMs
# -i 指定用jittor的源, -I 强制重装Jittor版torch
pip install -r requirements.txt -i https://pypi.jittor.org/simple -I
部署只需一行命令即可:
python cli_demo.py [chatglm|pangualpha|llama|chatrwkv]
运行后会自动从服务器上下载模型文件到本地,会占用根目录下一定的硬盘空间。例如对于盘古α约为 15G。最开始运行的时候会编译一些CUDA算子,这会花费一些时间进行加载。
此外,JittorLLMs还提供了WebDemo,通过gradio库,允许用户在浏览器之中和大模型直接进行对话。只需要运行以下命令:
python web_demo.py chatglm
总的来说,JittorLLMs是一个强大的大模型推理库,它可以帮助用户更快、更容易地构建和训练深度学习模型。同时,JittorLLMs也有一个活跃的开发者社区,用户可以在社区中找到大量的教程和示例代码,也可以向社区提问和分享经验。
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。