天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

访客1年前AI生活97
天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

联发科最近推出了全新的一代旗舰级5G生成式AI移动芯片天玑9300,这款芯片通过采用创新的全大核架构设计和使用新一代AI处理器APU等技术,成功地为生成式AI应用提供了强劲的性能,在终用户中提供了令人惊艳、丰富的生成式AI体验。与此同时,联发科还加强了与多家AI企业的深度合作,一同在移动端建立了丰富的AI生态环境。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

       全新第七代AI处理器APU 790,为生成式AI而生

随着用户对生成式AI应用需求日益增长,端侧生成式AI便捷、安全性等优势便凸显出来。当然,部署端侧AI大语言模型需要强大的AI算力支撑。

天玑9300搭载联发科第七代AI处理器APU 790,为生成式AI而设计,拥有硬件级的生成式AI引擎,可以实现更加高速且安全的边缘AI计算,深度适配Transformer模型进行算子加速,速度是上一代的8倍。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

同时APU 790的性能和能效得到显著提升,整数运算和浮点运算能力提升至前一代的2倍,苏黎世ETHZv5.1 AI-Benchmark Mobile Soc跑分2109 分,AI性能成功霸榜,功耗更是降低了45%。在强大的AI性能支持下,1秒以内即可生成图片。天玑9300强悍的AI算力、创新的全大核CPU架构和Immortalis-G720 GPU都为端侧运行生成式AI打下坚实的性能基础。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

同时,基于亿级参数大语言模型的特性,联发科开发了混合精度 INT4 量化技术,结合联发科特有的内存硬件压缩技术NeuroPilot Compression,可以更高效地利用内存带宽,大幅减少AI大模型占用终端内存,为端侧运行AI大语言模型突破手机内存限制,助力更大参数模型在端侧落地。

基于以上,天玑9300首次在vivo旗舰手机端侧落地70亿参数AI大语言模型,处理速度可达20 Tokens每秒。不仅如此,联发科突破了行业极限,已经与vivo成功在端侧运行了130亿参数的大语言模型。甚至,天玑9300已率先实现在移动芯片上成功运行330亿参数的AI大语言模型,领跑业界。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

天玑9300还支持多模态生成式AI大模型,打造出“文生诗”“文生图”“文生趣图”等丰富有趣的端侧体验。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

可见,天玑9300的AI算力和端侧生成式AI能力已领先行业,足以让用户随时随地AI创造力全飙。

生成式AI模型端侧技能扩充,带来全面、丰富的端侧生成式AI体验

与云侧生成式AI解决方案不同,由于硬件环境的差异,部署端侧生成式AI也需要考虑手机内存、存储容量、负载上限等因素。为此,联发科率先提出了先进的解决方案。

APU 790 支持生成式AI模型端侧技能扩充技术NeuroPilot Fusion,它可以基于基础大模型持续在端侧进行低秩自适应(LoRA,Low-Rank Adaptation)融合,在混合式AI的赋能下,可以基于1个基础大模型,通过云端训练,在端侧完成N个功能的融合,赋予基础大模型更全面、更丰富的生成式AI应用能力。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

比如基于AI模型端侧技能扩充技术的“图生GIF动图”功能,用户可以根据一张照片更换不同的风格甚至表情,玩出个人专属风格的表情包,秒变表情包小达人。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

       AI开发平台NeuroPilot加速端侧生成式AI生态布局

基于强大的AI算力和先进的内存硬件压缩技术、AI模型端侧技能扩充等技术,天玑9300的APU 790将端侧生成式AI的速度和广度提升到了全新的水平。同时,为加速生成式AI在端侧部署和普及,联发科也凭借其AI开发平台NeuroPilot构建了丰富的AI生态,从底层硬件到工具链、模型中心以及开发生态,助力生态快速、高效地部署端侧生成式AI应用。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

AI开发平台NeuroPilot支持Android、Meta LIama 2、百度文心一言大模型、百川智能百川大模型等前沿主流AI大模型。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

更为重要的是,NeuroPilot拥有一套完整且先进的工具链,除了NeuroPilot Compression低秩自适应融合,还有Speculative Decoding推测解码加速和模型优化与转化技术。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

联发科的天玑开发者中心还可提供端侧生成式AI落地一站式开发者资源,分享端侧模型部署案例提升开发效率。目前已有20多个生成式AI合作伙伴加入生态共建。

联发科还携手业界合同伙伴打造精彩的生成式AI应用体验。虹软的生成式AI超级分辨率技术基于天玑9300 APU 边缘计算能力,相比前代,性能可提升30%。在25倍放大的拍摄时,利用生成式AI超级分辨率技术,可以拍出细节更真实的图像效果。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

极感科技的生成式AI语意搜索技术也基于天玑9300 APU边缘计算能力,对比前代,性能可提升260%。比如在手机的相册中搜索照片,描述照片的内容即可在毫秒内精准搜到对应的照片。而且在断网状态下也能搜索,隐私也不会泄露。

QQ图片20231109125729.png

QQ图片20231109125729.png

Morpho的视频通话实时数字分身生成技术,同样基于天玑9300 APU边缘计算能力,对比前代,性能提升26%。一般的虚拟人像生成器需手动选取容貌样式花费时间。但基于视频通话实时数字分身生成技术,用户操作容易,仅需打开摄像头单帧图片即可瞬间生成数字分身。

QQ图片20231109125729.png

基于天玑9300 APU边缘计算能力,慧鲤生成式AI防眩光技术性能可提升60%。在此技术加持下,无论是室外还是室内,在拍摄时如有眩光,只要轻松一暗即可消除眩光干扰。

QQ图片20231109125729.png

可以看到,在AI端云融合的趋势下,天玑9300在AI算力、生成式AI用户体验和生态方面展现出全面的优势,为新一代旗舰级端侧生成式AI体验树立了新的标杆,强大生成式AI就要用天玑。

天玑9300支持AI模型端侧技能扩充技术,最丰富的端侧生成式AI体验来了!

同时,代表如联发科的生成式AI先驱者们,通过持续技术创新和精心生态布局,大幅推动混合式AI计算,为端侧生成式AI部署指明了一条独特且高效的道路,全心全意推动生成式AI在端侧的普及,让广大用户享受到个性化的端侧AI体验,以打造全新的全情景智能体验,使科技真正惠及每一个人。

本站部分文章来自互联网,文章版权归原作者所有。如有疑问请联系QQ:362580117!

相关文章

腾讯李强:行业模型将成为AI大模型价值引爆点

腾讯李强:行业模型将成为AI大模型价值引爆点

7 月 7 日,在2023世界人工智能大会腾讯论坛上,腾讯副总裁、腾讯政企业务总裁李强表示,通用大模型不是模型应用的唯一方向,面向垂直产业的模...

场景实验室吴声:方向盘后无人场景下,“城市”概念将被重构

场景实验室吴声:方向盘后无人场景下,“城市”概念将被重构

8月7日,以“心流不息”为主题的“新物种爆炸·吴声商业方法发布2022”如期举行。场景方法论提出者、场景实验室创始人吴声在演讲中指出:“审视新...

蔚来发布毛利率「历史最低」财报,留给李斌的时间不多了

蔚来发布毛利率「历史最低」财报,留给李斌的时间不多了

蔚来第一季度财报没有惊喜,只有惊吓。 毛利率跌至1.5%,再次破历史纪录。 蔚来2023年Q1的核心财务数据如下: 汽车销售收入为92.24...

对话加拿大工程院于非院士:寻找 AI 领域的「香农定理」

对话加拿大工程院于非院士:寻找 AI 领域的「香农定理」

当科学家把一些菟丝子移植到几株营养状态不同的山楂树上时,那些营养状况更好的山楂树会更容易获得菟丝子的「青睐」。这在以往被看作是植物内「被动」...

阿里云第八代企业级实例g8i算力升级,整机性能提升85%,AI推理最高提速7倍

阿里云第八代企业级实例g8i算力升级,整机性能提升85%,AI推理最高提速7倍

如果说2023年是人工智能大模型元年,那么2024年或许就是各形态AI应用大规模落地元年。 据IDC预测,2024 年全球将涌现出超过5亿个新...

2023腾讯全球数字生态大会智慧教育专场:腾讯教育发布Edu-Link教育连接器,携手伙伴育向未来

2023腾讯全球数字生态大会智慧教育专场:腾讯教育发布Edu-Link教育连接器,携手伙伴育向未来

9月8日, 2023腾讯全球数字生态大会智慧教育专场在深圳国际会展中心正式举办。众多来自教育行业主管单位、高校、科研单位、企业的相关领导齐聚一...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。