工联院大模型测评:360智脑位列国产第一梯队表现超ChatGPT

访客1年前AI生活157

近日,中国工业互联网研究院(以下简称“工联院”)针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测。结果显示,360集团(601360.SH,下称“360”)自研大模型“360智脑”在多项指标超过GPT3.5,综合表现位于国产大模型前列。

工联院此次评测选取了工业领域典型的八大行业,集合五大院士,八大IEEE Fellow共13位顶级专家构成了专家委员会。每个行业抽取客观题和主观题,主观题主要考察基础能力、语句能力、概括能力和逻辑能力四大维度,最终八大行业共计超过1100道题,对大模型就行全方位评测。评测对象涵盖GPT4、GPT3.5、360智脑、文心一言等国内外具有代表性的头部大模型。

工联院大模型测评:360智脑位列国产第一梯队表现超ChatGPT

从评测结果可以看出,GPT4表现最佳,国内大模型表现亮眼,360智脑在多个行业均处于前列,其中装备制造业和纺织行业更是超过GPT-3.5,表现优异。

虽然国内大模型在本次评测表现较好,以360智脑为代表的国产大模型甚至在部分行业赶超GPT3.5,但工联院评测报告也指出,国内外通用大模型在工业知识问答领域探索仍处于初级阶段,也缺乏行业针对性训练。

其实,360近期已经推出一个企业级的AI大模型解决方案,基于360智脑的能力,综合行业和企业的专业知识库,打造“行业化、企业化、垂直化、小型化、专有化”企业级大模型,目前已在智慧城市、智慧企服场景下落地应用实践,且双双入选“北京市通用人工智能大模型行业应用十大典型场景案例”。

这不是360智脑第一次在第三方评测中表现出优异成绩,早在不久前中文通用大模型基准(SuperCLUE)评测中,360智脑数次上榜,且多项能力蝉联国产大模型第一。

本站部分文章来自互联网,文章版权归原作者所有。如有疑问请联系QQ:362580117!

相关文章

“刷脸”测温机正式启用,戴着口罩也能测!

“刷脸”测温机正式启用,戴着口罩也能测!

由于疫情防控的需要,我们在进入小区、商场、写字楼等场所时,工作人员都会使用额温枪进行体温监测。但人工测试体温,不仅耗费人力,也会大大降低通行...

自动驾驶下半场,低成本高性价比或成趋势?|2023上海车展

自动驾驶下半场,低成本高性价比或成趋势?|2023上海车展

智能驾驶随着硬件和软件的提升渐渐走入下半场,智能化的下半场玩家们关注的点也逐渐现实,以往生动的故事再也不是打动客户的依仗,可量产落地的产品才...

阿里云最新季报:AI相关收入同比三位数增长

5月14日,阿里巴巴集团发布最新季度业绩,阿里云季度收入增长3%至255.95亿元,其中核心公共云产品收入实现两位数增长,AI相关云产品实现三...

08年奥运「黑客」今何在?

08年奥运「黑客」今何在?

人总是难免奋不顾身。 1 季昕华想做产品 在奥运结束一年后,季昕华去监狱探视了一位技术顶尖的年轻黑客。 季昕华问道:“像你这么厉害的高手,为...

未来会有越来越多的人下岗吗?人工智能是否真的能取代人工?

未来会有越来越多的人下岗吗?人工智能是否真的能取代人工?

人工智能无疑是如今最炙手可热的话题之一。虽然以当下的科学技术,人工智能远远达不到威胁人类生命的能力,但它却有“伤害”打工人的能力。近...

把实验室建在车间里 临港高校研发团队成为企业创“新”力量

把实验室建在车间里 临港高校研发团队成为企业创“新”力量

走进上海顺超五金机械制造有限公司生产车间,实训基地操作台前火花四溅,来自上海电机学院的学生正在调试自主研发的激光焊接机器人完成十字焊接,突破原来仅能实现直线焊接的技术局限。 自动...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。