最近折腾小模型，觉得小模型有机会成为大模型落地应用的一个途径。可以把大模型看作操作系统，小模型是操作系统上的应用。这样小模型的"小巧"，配合落地场景的个性化数据与应用需求，可能会解决大模型应用落地的问题。
我在两台机器上分别都部署了一次，过程非常简单，对机器配置要求不高，适合自己动手在本机部署模型玩一下的需求。
安装环境
台式机
操作系统：Windows10 WLS ubuntu22.04
CPU：Intel(R) Core(TM) i7-4790 CPU @ 3.60GHz 3.60 GHz
内存：16G
显卡：GTX745
PYTHON版本：3.10
笔记本
操作系统：Ubuntu 22.04.2 LTS
CPU：Intel(R) Core(TM) i5-9300H CPU @ 2.40GHz × 8
内存：16G
显卡：NVIDIA Corporation GP107M [GeForce GTX 1050 3 GB Max-Q]
PYTHON版本：3.10
安装过程
一、建立安装空间和python虚拟环境。
在硬盘上建立一个Ai的文件夹，未来所有的安装和配置都在这个文件夹下进行。
在Ai文件里建立虚拟环境。
cd Ai
python3 -m venv . （如果没有安装python的venv包，会提示进行安装）
进入到Python虚拟环境
二、在Python虚拟环境下，进行Qwen-1.8B本机部署。
安装git。网上自行寻找安装教程。github的访问稳定性和速度，想办法解决吧。
在Ai目录下，下载Qwen包
git clone https://github.com/QwenLM/Qwen.git
进入到Qwen文件夹，安装运行需要的包。
cd Qwen
python3 -m pip install --upgrade pip (升级pip到最新版本，最好把pip源改成国内镜像)
pip3 install -r requirements.txt
pip3 install -r requirements_web_demo.txt
下载模型（需要先安装 Git LFS）
建立models文件夹
开始下载（时间和你的网络速度相关）
git lfs install
git clone https://www.modelscope.cn/qwen/Qwen-1_8B-Chat.git
三，运行Qwen
从models目录回到你的Qwen目录下，修改文件web_demo.py，将默认模型文件的路径修改到你的路径。
DEFAULT_CKPT_PATH = '/Qwen/models/Qwen-1_8B-Chat' （最好写成绝对路径）
运行模型
看看效果
这样一个小模型在本机上跑，我的配置回复完成这些内容，需要2分钟左右吧。如果是一块好的显卡，估计飞快。github上有模型微调的教程，下一步可以根据找个教程，租用一个算力，自己动手微调一下这个模型。任何事物的学习，光看不动手，是学不到东西的。
|
