首页 学习成长内容详情

留给“端侧大模型”的时间不多了

2024-06-04 1328 区块链百科

大模型(Edge AI models),也就是只在设备本地(如智能手机、IoT设备、嵌入式系等)运行的大模型,去一两年来非常流行。

 

具体表在,设备厂商,如苹果、荣耀、小米、OV等,AI公司如商科技,都推出了自研的大模型。

 

大模型存在的意,就是“以小博大”。

 

简单,和云大模型相比,端大模型要在本地部署,所以参数模都不大,不用担心私密数据在推理被泄露;不需要网络传输,因此响速度更快;设备原生搭,不需要租用云源,用起来更省……

 

听起来,端大模型直是AI设备不可或缺的配啊。但实际情况,可能出乎很多人的意料。

 

 

8c1c52b48b6899b1877f016626686032_Fooi9Y26GdIq9zmxp-gcebm-Q-Nu.jpg

 

研和使用多个端厂商的大模型时发现,端云同、云端大模型,才是大模型在端的主流形式。

 

比如目前很流行的“手机拍照一擦除背景人物”,靠端大模型的算能力是无法实现的,需要端云同来完成。

 

再比如公文写作、文要点总结、PDF要点摘要等,端大模型要么无法完成,比如荣耀、OPPO端大模型都不支持PDF文本摘要,小米MiLM的支持度和生成效果也不好。

 

,用户还是要访问GPT-4、文心一言、智清言、讯飞星火、KIMI等云端大模型的网/APP,来足一些复AIGC需求。

 

看到,端大模型听起来很美,但真正用起来却有点肋。

 

而随着云端大模型“大”(走向一多模)又“小”(压缩),留“端大模型”的时间,真的不多了。

 

 

 

大模型不是万能的,但没有云大模型是万万不能的

目前来看,“端大模型”收益和,根本算不平。

 

收益,云端大模型比端大模型的价更大。

 

AI首先要保障用,先有价,再其他。只能在设备本地运行,意味着“端大模型”注定不会太大,必然限制了模型本身的性能表,无法媲美云端大模型。

 

所以,用在使用端大模型,要牲一部分体,那么所得的收益是否更大呢?并不是。

 

云端大模型的能力得越来越大,与不得不“因小失大”的端大模型,拉开了更大的体差距。比如近期OpenAI和谷歌斗得火的多模大模型,GPT-4o和Gemini来令人惊音交互、多种模一次生成等能力,片、视频、音等数据和复杂逻辑,都要在云端运行。


 6d4bf030ce98c01330b397d41a774673_FnEg-OdHWqRvWOZGW8hlK7FMoLXR.png

 

一位国内PC行深从者曾告诉脑极体,大模型出来之后我硬件企就在研究,怎么将大模型跟PC合,究竟什么是真正的AI PC?结论就是,搭了GPT-4(代指当下最先大模型)的硬件,确可以叫“AI xx”,模型能力才是最核心的。

 

所以,想做好端AI,端大模型不是万能的,但没有云大模型是万万不能的。

 

云端大模型不得不用,那端大模型也一非用不可就要来说说损失了。

 

不用端大模型,并不会户带来更大的麻

 

此前,端追求搭“端大模型”,主要受限于两点:算瓶、安全顾虑。大模型推理对实时性的要求,云端相比本地的延更高。此外,手机、PC涉及大量私数据,传输到云端行推理,很多人有顾虑。上述两点“失”正在被极地解决。

 

比如前不久谷歌I/O大会上,就布了响速度快、成本低的量化模型Gemini 1.5 Flash。谷歌采用了“蒸方法,将大Gemini 模型的核心知和技能迁移到了更小、更高效的模型中,Gemini 1.5 Flash在摘要、聊天用、像和视频字幕等多种任中,有很好的表,可以在不同平台运行。

 

此外,本地算硬件针对AI务进化,也可以提升云端推理服的流度。目前x86、Arm阵营都在极提升端侧计AI专项的适配度,已有旗和高端手机支持实时运行大模参数量的大模型。

 

数据安全面,端厂商和大模型企都推出了相私安全保机制,通“数据可用不可”、脱敏、邦学等多种手段,防范泄露风险

 06feab06da6c56039c765e97af302ecc_Fk203TBXLQUc5L1G4WX7O9ZA2o0L.jpg

 

以一注重私安全的苹果例,也自研了端模型OpenELM,可在手机和笔电脑设备上运行,但在真正上线AIGC等能力,据也将选择与大模型企合作(国外据是OpenAI,国内据是文心一言)。

 

上,使用“云端大模型”的收益正著增大,不用“端大模型”的失却越来越小。这让“以小博大”端大模型,得越来越不划算了。

 

接下来的故事也不难预测,随着越来越多的端企纷纷把云端大模型塞进设备大模型的存在会越来越尬,入到“不好用-不用-更不好用”的循中。

 

 

 

大模型,端厂商是非做不可

你可能会了,既然端大模型不如云端大模型好用,什么端厂商都在下大力气做呢?

 

情况是,大模型必得有,但端厂商并不适合做云端大模型,所以端、端云同就成了必选项

 

一位国内某端企负责人曾直言:即使我的研发费用再翻一倍,也没法做像ChatGPT、AIGC、Sora这样的通用大模型,是会选择跟百度、腾讯、阿里巴巴等伙伴合作。

 

比如荣耀正在引百模千,在手机中接入文心一言等通用大模型,以及高德地、航旅横等行大模型;华为在PC中接入了文心一言、讯飞星火、智AI的通用大模型,同线了基于自研古大模型的AI要功能……

 

从主角度猜端厂商做端大模型,既有品牌方面的考量,彰大模型技的自研能力,也有“将灵魂握在自己手里”的考似于行、金融机构、企希望将数据一核心优势,掌握在自己手里,打造行大模型,而非交大模型厂商。

 

94867d301db9f1083e48e5d1fd50a670_Fsspy4j_Q3pRDbQjOqfynIUyCiEu.jpg

 

端厂商,既希望通合作云端大模型,拔高AI设备的体验优势,增强产者的吸引力,又希望通自研抓住端大模型,守住数据城河,是可攻、退可守的大模型策略。

 

们预计,随着云端大模型的性能、能力在非线性增端厂商的大模型,会被拉开越来越大的差距,无法成者的购买决策依据。

 

的将来,能否在设备侧整合优质云端大模型生,会成AI设备点。

 

总结一下就是,端大模型,端厂商可以做,但没必要。云大模型,端厂商必有,且得比人

 

 

 

深度作的不只大模型,有两厂商

在一次与华为终端的交流中,方提到:华为是唯一一个云通用大模型、端大模型全自研的端厂商(指古大模型),这给AI硬件奠定了很好的基。比如要完成一个复的AIGC任,可以拆分云、端、边缘等并行训练,兼推理效果、运行速度、数据安全等。

 

需要明的是,上述思路仍于概念验证阶段,目前我们还未能在华为终设备上体古大模型从云到端的深度整合。但一理念,在逻辑上确得通的——通端云高效同,可以建立起无短板的大模型品力,打AI硬件的潜在消者,而离不开端厂商和通用大模型厂商的深度合作。

 

大模型和云通用大模型全自有的端企,确备紧密融合的先天优势,不,其他厂商也可以通开放生态补足,形成一个更全面的AGI模型生

 

这对双方来,是一件互利共的事情:

2cce51f9b2dd9a087bd21c6df9ef545a_Fun3C7An78PJ8805jsIESG43S7WA.jpg

 

 

 

通用大模型厂商,需要借助端厂商的设备,作大模型落地的土壤,回收基座模型的大投入。借助端设备数据,更好地解决大模型的幻觉问题,推模型化。

 

端厂商,需要通用大模型(尤其是尖端版本的云端大模型)作支撑,提供最先的AIGC用和体,避免在基座模型上投入太高的研成本,也避免在AI体上被其他端厂商拉大。

 

在此基上,端厂商和云端通用大模型厂商要抓解决的重点问题

 

安全问题。如何在保证隐私数据的基上,学习设备数据,明确数据益与属,数据生的商收益建立合理的分配机制。

 

者分利政策。无是手机的AI用,是云端大模型的AI用,都需要开者来完成。端开者生和大模型开者生一步打通,也会增加者的吸引力,加速AI用的孵化。那么,如何共同能并分利者,将成厂商合作与博弈的关

 

今年上半年,我们见证了通用大模型的多突破,留大模型的时间不多了,留给终端厂商构建大模型共同体生的机会窗口期,也并不会太久。

 

下半年,我或将见证端厂商+大模型厂商”携手的“阵营战

 

本文接:https://www.aixinzhijie.com/article/6845944

转载请注明文章出