最近尝试了Qwen-1.8B这个小型AI模型，它的部署过程简单，对计算资源的要求不高，而其输出效果也不错。这让我在想，以小模型为核心的应用，是否会成为人工智能场景化应用的一种可能。
我们熟知的LLM（大型语言模型）应用，大多是通过与基座模型进行对话来实现。开发者通过特定的prompt来适配大模型的能力，以获得期望的输出。然而，这种方式存在一些局限：
- 用户可用的交互手段相对单一，主要是通过prompt进行。
- 交互的结果受限于大模型的预先训练和调教效果。
这些局限可能会阻碍用户在特定场景下实现专业化应用。尽管大模型提供了API接口，但对实现个性化和专业化的输入输出效果仍不够理想。
然而，对大多数场景和用户来说，部署和调教一个个性化的基座大模型是不切实际的。这时，小模型的优势就显现出来了。小模型源自大模型，通过2至3B的参数精调而成。它们相对独立，同时也能与大模型进行有效的信息和数据传输，类似于社区医院和三甲医院之间的关系。小模型部署在本地，进行个性化的调教与交互，遇到难题时可以通过与大模型的通信获得协助。这样，小模型将越来越场景化、专业化和个性化，而大模型则通过广泛的小模型应用，形成智能化生态，成为整个生态的“大脑”。
这种小模型和大模型的关系，与手机操作系统和应用商店之间颇为相似。操作系统负责驱动硬件，提供基础功能，而应用商店则利用这些基础功能，驱动手机硬件，生成个性化的APP应用。现在一个手机的应用动辄就是几个G，或者二三十个G，我测试玩Qwen-1.8B整个系统跑起来也不到10G的空间，对于当下的手机存储空间发展趋势来说，肯定是够用的。何况，基于小模型应用，核心模型大概率也是跑在应用的server端上。
当然，小模型本地化应用还面临一个挑战，那就是手机算力。如果这条路走通，相信硬件厂商会迅速解决这个问题。毕竟，让全球集体更换一次手机，是任何硬件厂商都乐于看到的事情。
总的来说，小模型本地化，个性化的调教，是可以尝试做一些人工智能场景化应用的。随着技术的不断进步和硬件的升级，模型能力，硬件算力和网路通讯能力都不会成为小模型应用的障碍。
|
