清华第二代60亿参数ChatGLM2开源!中文榜居首,碾压GPT-4,推理提速42%

sxkk20082年前智能百科136
ChatGLM-6B 自从三月份问世之后,引起了 AI 社区的轰动,至今已在 GitHub 上收获了 29.8k 颗星。然而,现在第二代的 ChatGLM 已经悄然而至!清华大学知识工程与数据挖掘小组(THUDM)最近发布了一款中英双语对话模型——ChatGLM2-6B。

ChatGLM-6B 自从三月份问世之后,引起了 AI 社区的轰动,至今已在 GitHub 上收获了 29.8k 颗星。然而,现在第二代的 ChatGLM 已经悄然而至!清华大学知识工程与数据挖掘小组(THUDM)最近发布了一款中英双语对话模型——ChatGLM2-6B。

值得一提的是,在中文评估榜单 C-Eval 中,ChatGLM2 以突出的 71.1 分位居榜首,轻松超越 GPT-4。而最新版本的 ChatGLM2-6B 更是以 51.7 分的优异成绩登上了第六名的宝座。


清华第二代 60 亿参数 ChatGLM2 开源!中文榜居首,碾压 GPT-4,推理提速 42%

ChatGLM-6B 的第二代版本,在继承了初代模型流畅对话和低门槛部署等许多优秀特性的基础上,引入了许多令人振奋的新特性:


1. 超强的性能


基于初代模型的开发经验,ChatGLM2-6B 的基座模型经过全面升级。ChatGLM2-6B 使用了混合目标函数的 GLM,经过了 1.4T 中英标识符的预训练并与人类偏好进行对齐训练。


评测结果表明,与初代模型相比,ChatGLM2-6B 在 MMLU(增长 23%)、 CEval(增长 33%)、 GSM8K(增长 571%)和 BBH(增长 60%)等数据集上取得了巨大的性能提升,在同尺寸的开源模型中具有强大的竞争力。

2. 更广泛的上下文


基于 FlashAttention 技术,研究人员将基座模型的上下文长度从 ChatGLM-6B 的 2K 扩展到了 32K,并且在对话阶段使用 8K 的上下文长度进行训练,使得更多轮的对话成为可能。然而,目前版本的 ChatGLM2-6B 对于单轮超长文档的理解能力还有限,这将在后续的迭代升级中进行重点优化。


3. 更高效的推理


基于 Multi-Query Attention 技术,ChatGLM2-6B 具有更高效的推理速度和更低的显存占用。在官方模型实现下,推理速度相比初代提升了 42%,在 INT4 量化下,可以支持的对话长度从 1K 提升到了 8K,仅使用了 6G 的显存。

4. 更开放的授权协议


ChatGLM2-6B 权重完全对学术研究开放,并允许商业使用,前提是获得官方的书面许可。

与初代模型相比,ChatGLM2-6B 在多个方面的能力都取得了巨大的提升。


与此同时,研究团队选取了部分中英文典型数据集进行评测并发布了 ChatGLM2-6B 模型在 MMLU(英文)、 C-Eval(中文)、 GSM8K(数学)、 BBH(英文) 上的测评结果。此外,该团队还对比了生成 2000 个字符的平均速度,其效果如下图所示:

清华第二代 60 亿参数 ChatGLM2 开源!中文榜居首,碾压 GPT-4,推理提速 42%


清华大学发布了第二代规模达 60 亿参数的 ChatGLM2,该模型在中文领域表现出众,远超过了 GPT-4,推理速度提高了 42%。ChatGLM2-6B 采用 Multi-Query Attention 技术,极大地提升了生成速度,同时还有效降低了生成过程中 KV Cache 的显存占用。

除此之外,ChatGLM2-6B 采用了 Causal Mask 技术进行对话训练,使连续对话时能够重复利用之前轮次的 KV Cache,进一步优化了显存占用。


因此,使用 6GB 显存的显卡进行 INT4 量化的推理时,一代的 ChatGLM-6B 模型最多能够生成 1119 个字符就会提示显存耗尽,而 ChatGLM2-6B 能够至少生成 8192 个字符。研究团队还对量化对模型性能的影响进行了测试,结果显示量化对模型性能的影响在可接受范围内。


项目地址:https://github.com/ THUDM / ChatGLM2-6B

HuggingFace:https://huggingface.co/THUDM/chatglm2-6b

相关文章

HELLO ,「新」德佑!德佑品牌升级计划正式启动

HELLO ,「新」德佑!德佑品牌升级计划正式启动

 11月15日,“品质·向前”德佑品牌升级区域发布会暨浙皖品牌说明会在杭州国际博览中心召开。德佑品牌全国总经理赵涛、贝壳找房副总裁兼浙皖区域...

全国生态日:“碳”索未来、“数”说绿色,海信开启绿色发展新篇章

全国生态日:“碳”索未来、“数”说绿色,海信开启绿色发展新篇章

 生态兴则文明兴,绿色发展是高质量发展的底色。8月15日是第2个全国生态日,海信集团于近日正式发布《2023环境、社会及治理报告》,展现绿色升级和关键技术突破,坚定不移走绿色高质...

Shulex AI聊天AI 助手插件,AI聊天侧边栏电商 AI 助手

Shulex AI聊天AI 助手插件,AI聊天侧边栏电商 AI 助手

Shulex AI 聊天 AI 助手插件是首款为电商卖家打造的 AI 聊天插件侧边栏工具,适用于 Chrome 浏览器,无需 AI 聊天账户即可进行便捷访问,可支持在所有主要的电子商务网站上都可免费与...

涂鸦智能携手星环科技、思码光,重塑全屋智能影音新体验

涂鸦智能携手星环科技、思码光,重塑全屋智能影音新体验

近日,全球化云开发者平台涂鸦智能(NYSE: TUYA,HKEX: 2391)与国内知名影音品牌星环科技、智能照明行业领先品牌思码光达成合作,共同打造了“星光绘梦&rdqu...

AIChat lite插件, 将AI聊天机器人集成到任何网站

AIChat lite插件, 将AI聊天机器人集成到任何网站

AIChat lite 插件支持将 AI 聊天机器人集成到 Chrome 浏览器任何网站上,AI 聊天机器人的回应与常规搜索引擎结果一起出现,可为用户提供即时、有用的答案,帮助用户快速、轻松地获取需要...

AI:插件, 在Chrome任何网站上使用AI聊天

AI:插件, 在Chrome任何网站上使用AI聊天

AI:插件无需 AI 聊天帐户,可在 Chrome 浏览器任何网站上使用 AI 聊天、 Bard 、 Bing 和 Claude,无需复制粘贴,支持一键编写、重写、总结、翻译、解释或回复任何文本。AI...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。