找回密码
 注册
搜索

小模型场景化应用,人工智能下一站?

Mazrom 2023-12-31 20:56 显示全部楼层 阅读模式 来自: 中国辽宁大连
最近尝试了Qwen-1.8B这个小型AI模型,它的部署过程简单,对计算资源的要求不高,而其输出效果也不错。这让我在想,以小模型为核心的应用,是否会成为人工智能场景化应用的一种可能。
我们熟知的LLM(大型语言模型)应用,大多是通过与基座模型进行对话来实现。开发者通过特定的prompt来适配大模型的能力,以获得期望的输出。然而,这种方式存在一些局限:

  • 用户可用的交互手段相对单一,主要是通过prompt进行。
  • 交互的结果受限于大模型的预先训练和调教效果。

这些局限可能会阻碍用户在特定场景下实现专业化应用。尽管大模型提供了API接口,但对实现个性化和专业化的输入输出效果仍不够理想。
然而,对大多数场景和用户来说,部署和调教一个个性化的基座大模型是不切实际的。这时,小模型的优势就显现出来了。小模型源自大模型,通过2至3B的参数精调而成。它们相对独立,同时也能与大模型进行有效的信息和数据传输,类似于社区医院和三甲医院之间的关系。小模型部署在本地,进行个性化的调教与交互,遇到难题时可以通过与大模型的通信获得协助。这样,小模型将越来越场景化、专业化和个性化,而大模型则通过广泛的小模型应用,形成智能化生态,成为整个生态的“大脑”。
这种小模型和大模型的关系,与手机操作系统和应用商店之间颇为相似。操作系统负责驱动硬件,提供基础功能,而应用商店则利用这些基础功能,驱动手机硬件,生成个性化的APP应用。现在一个手机的应用动辄就是几个G,或者二三十个G,我测试玩Qwen-1.8B整个系统跑起来也不到10G的空间,对于当下的手机存储空间发展趋势来说,肯定是够用的。何况,基于小模型应用,核心模型大概率也是跑在应用的server端上。
当然,小模型本地化应用还面临一个挑战,那就是手机算力。如果这条路走通,相信硬件厂商会迅速解决这个问题。毕竟,让全球集体更换一次手机,是任何硬件厂商都乐于看到的事情。
总的来说,小模型本地化,个性化的调教,是可以尝试做一些人工智能场景化应用的。随着技术的不断进步和硬件的升级,模型能力,硬件算力和网路通讯能力都不会成为小模型应用的障碍。
回复

使用道具 举报

大神点评1

静boy 2024-1-1 09:09 显示全部楼层 来自: 中国辽宁大连
这是什么玩意?天健也有人赶时髦?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

  • 0 关注
  • 1 粉丝
  • 1 帖子
 

天健社区APP