清华第二代60亿参数ChatGLM2开源!中文榜居首,碾压GPT-4,推理提速42%

sxkk20081年前智能百科117
ChatGLM-6B 自从三月份问世之后,引起了 AI 社区的轰动,至今已在 GitHub 上收获了 29.8k 颗星。然而,现在第二代的 ChatGLM 已经悄然而至!清华大学知识工程与数据挖掘小组(THUDM)最近发布了一款中英双语对话模型——ChatGLM2-6B。

ChatGLM-6B 自从三月份问世之后,引起了 AI 社区的轰动,至今已在 GitHub 上收获了 29.8k 颗星。然而,现在第二代的 ChatGLM 已经悄然而至!清华大学知识工程与数据挖掘小组(THUDM)最近发布了一款中英双语对话模型——ChatGLM2-6B。

值得一提的是,在中文评估榜单 C-Eval 中,ChatGLM2 以突出的 71.1 分位居榜首,轻松超越 GPT-4。而最新版本的 ChatGLM2-6B 更是以 51.7 分的优异成绩登上了第六名的宝座。


清华第二代 60 亿参数 ChatGLM2 开源!中文榜居首,碾压 GPT-4,推理提速 42%

ChatGLM-6B 的第二代版本,在继承了初代模型流畅对话和低门槛部署等许多优秀特性的基础上,引入了许多令人振奋的新特性:


1. 超强的性能


基于初代模型的开发经验,ChatGLM2-6B 的基座模型经过全面升级。ChatGLM2-6B 使用了混合目标函数的 GLM,经过了 1.4T 中英标识符的预训练并与人类偏好进行对齐训练。


评测结果表明,与初代模型相比,ChatGLM2-6B 在 MMLU(增长 23%)、 CEval(增长 33%)、 GSM8K(增长 571%)和 BBH(增长 60%)等数据集上取得了巨大的性能提升,在同尺寸的开源模型中具有强大的竞争力。

2. 更广泛的上下文


基于 FlashAttention 技术,研究人员将基座模型的上下文长度从 ChatGLM-6B 的 2K 扩展到了 32K,并且在对话阶段使用 8K 的上下文长度进行训练,使得更多轮的对话成为可能。然而,目前版本的 ChatGLM2-6B 对于单轮超长文档的理解能力还有限,这将在后续的迭代升级中进行重点优化。


3. 更高效的推理


基于 Multi-Query Attention 技术,ChatGLM2-6B 具有更高效的推理速度和更低的显存占用。在官方模型实现下,推理速度相比初代提升了 42%,在 INT4 量化下,可以支持的对话长度从 1K 提升到了 8K,仅使用了 6G 的显存。

4. 更开放的授权协议


ChatGLM2-6B 权重完全对学术研究开放,并允许商业使用,前提是获得官方的书面许可。

与初代模型相比,ChatGLM2-6B 在多个方面的能力都取得了巨大的提升。


与此同时,研究团队选取了部分中英文典型数据集进行评测并发布了 ChatGLM2-6B 模型在 MMLU(英文)、 C-Eval(中文)、 GSM8K(数学)、 BBH(英文) 上的测评结果。此外,该团队还对比了生成 2000 个字符的平均速度,其效果如下图所示:

清华第二代 60 亿参数 ChatGLM2 开源!中文榜居首,碾压 GPT-4,推理提速 42%


清华大学发布了第二代规模达 60 亿参数的 ChatGLM2,该模型在中文领域表现出众,远超过了 GPT-4,推理速度提高了 42%。ChatGLM2-6B 采用 Multi-Query Attention 技术,极大地提升了生成速度,同时还有效降低了生成过程中 KV Cache 的显存占用。

除此之外,ChatGLM2-6B 采用了 Causal Mask 技术进行对话训练,使连续对话时能够重复利用之前轮次的 KV Cache,进一步优化了显存占用。


因此,使用 6GB 显存的显卡进行 INT4 量化的推理时,一代的 ChatGLM-6B 模型最多能够生成 1119 个字符就会提示显存耗尽,而 ChatGLM2-6B 能够至少生成 8192 个字符。研究团队还对量化对模型性能的影响进行了测试,结果显示量化对模型性能的影响在可接受范围内。


项目地址:https://github.com/ THUDM / ChatGLM2-6B

HuggingFace:https://huggingface.co/THUDM/chatglm2-6b

相关文章

首款搭载 ChatGPT 的自行车问世,让你骑行不再孤单

首款搭载 ChatGPT 的自行车问世,让你骑行不再孤单

在 AI 技术的浪潮中,聊天机器人已成为一种热门趋势,甚至在电动自行车领域也开始出现。当我们骑行时,我们可以向自行车提问路线,或者与其探讨量子物理等各种话题。在过去,这可能被视为天方夜谭,但如今已成为...

「目前最好的文生视频 AI」来了,做广告、电影都不在话下,网友:很丝滑

「目前最好的文生视频 AI」来了,做广告、电影都不在话下,网友:很丝滑

最近,一款名为 Pika Labs 的文生视频 AI引起了热议,这个AI能够创作出极其精彩流畅的视频,可用于广告制作和电影制作,效果堪比专业制作!最近,一款名为 Pika Labs 的文生视频 AI引...

CITE2024 | TCL华星又上大分!前沿屏实力带你探显未来

CITE2024 | TCL华星又上大分!前沿屏实力带你探显未来

2.8K印刷OLED笔电惊艳逼人,120Hz高刷电竞屏流畅丝滑,85"极致画质TV巨幕沉浸,健康护眼平板自动监测调光,2K LTPO极窄边框手机屏视野无界…&hel...

西湖区:提升楼宇“社区化”管理水平 激活区域经济发展引擎

西湖区:提升楼宇“社区化”管理水平 激活区域经济发展引擎

 俯瞰杭州市西湖区版图,商圈集聚、楼宇林立,如何从“面子”和“里子”上提升楼宇商圈的基层治理水平是经济转型升级、提质增效的重要引擎...

百度文心大模型进化神速:推理速度提升30倍

百度文心大模型进化神速:推理速度提升30倍

2023年7月6日,2023世界人工智能大会(WAIC)在上海世博中心开幕,百度CTO王海峰从容地阐释了文心大模型3.5版的核心技术,并宣布了飞桨生态的最新进展。王海峰在现场透露,迄今为止,飞桨已经吸...

中国清洗机第一股:绿田机械选择蓝凌

中国清洗机第一股:绿田机械选择蓝凌

 近日,绿田机械股份有限公司选择蓝凌EKP数智化办公平台,加强企业管理效率,全面支撑组织数智化可持续发展,提效业务创新。 1 公司简介   绿田机械创...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。