清华第二代60亿参数ChatGLM2开源!中文榜居首,碾压GPT-4,推理提速42%

sxkk20081年前智能百科104
ChatGLM-6B 自从三月份问世之后,引起了 AI 社区的轰动,至今已在 GitHub 上收获了 29.8k 颗星。然而,现在第二代的 ChatGLM 已经悄然而至!清华大学知识工程与数据挖掘小组(THUDM)最近发布了一款中英双语对话模型——ChatGLM2-6B。

ChatGLM-6B 自从三月份问世之后,引起了 AI 社区的轰动,至今已在 GitHub 上收获了 29.8k 颗星。然而,现在第二代的 ChatGLM 已经悄然而至!清华大学知识工程与数据挖掘小组(THUDM)最近发布了一款中英双语对话模型——ChatGLM2-6B。

值得一提的是,在中文评估榜单 C-Eval 中,ChatGLM2 以突出的 71.1 分位居榜首,轻松超越 GPT-4。而最新版本的 ChatGLM2-6B 更是以 51.7 分的优异成绩登上了第六名的宝座。


清华第二代 60 亿参数 ChatGLM2 开源!中文榜居首,碾压 GPT-4,推理提速 42%

ChatGLM-6B 的第二代版本,在继承了初代模型流畅对话和低门槛部署等许多优秀特性的基础上,引入了许多令人振奋的新特性:


1. 超强的性能


基于初代模型的开发经验,ChatGLM2-6B 的基座模型经过全面升级。ChatGLM2-6B 使用了混合目标函数的 GLM,经过了 1.4T 中英标识符的预训练并与人类偏好进行对齐训练。


评测结果表明,与初代模型相比,ChatGLM2-6B 在 MMLU(增长 23%)、 CEval(增长 33%)、 GSM8K(增长 571%)和 BBH(增长 60%)等数据集上取得了巨大的性能提升,在同尺寸的开源模型中具有强大的竞争力。

2. 更广泛的上下文


基于 FlashAttention 技术,研究人员将基座模型的上下文长度从 ChatGLM-6B 的 2K 扩展到了 32K,并且在对话阶段使用 8K 的上下文长度进行训练,使得更多轮的对话成为可能。然而,目前版本的 ChatGLM2-6B 对于单轮超长文档的理解能力还有限,这将在后续的迭代升级中进行重点优化。


3. 更高效的推理


基于 Multi-Query Attention 技术,ChatGLM2-6B 具有更高效的推理速度和更低的显存占用。在官方模型实现下,推理速度相比初代提升了 42%,在 INT4 量化下,可以支持的对话长度从 1K 提升到了 8K,仅使用了 6G 的显存。

4. 更开放的授权协议


ChatGLM2-6B 权重完全对学术研究开放,并允许商业使用,前提是获得官方的书面许可。

与初代模型相比,ChatGLM2-6B 在多个方面的能力都取得了巨大的提升。


与此同时,研究团队选取了部分中英文典型数据集进行评测并发布了 ChatGLM2-6B 模型在 MMLU(英文)、 C-Eval(中文)、 GSM8K(数学)、 BBH(英文) 上的测评结果。此外,该团队还对比了生成 2000 个字符的平均速度,其效果如下图所示:

清华第二代 60 亿参数 ChatGLM2 开源!中文榜居首,碾压 GPT-4,推理提速 42%


清华大学发布了第二代规模达 60 亿参数的 ChatGLM2,该模型在中文领域表现出众,远超过了 GPT-4,推理速度提高了 42%。ChatGLM2-6B 采用 Multi-Query Attention 技术,极大地提升了生成速度,同时还有效降低了生成过程中 KV Cache 的显存占用。

除此之外,ChatGLM2-6B 采用了 Causal Mask 技术进行对话训练,使连续对话时能够重复利用之前轮次的 KV Cache,进一步优化了显存占用。


因此,使用 6GB 显存的显卡进行 INT4 量化的推理时,一代的 ChatGLM-6B 模型最多能够生成 1119 个字符就会提示显存耗尽,而 ChatGLM2-6B 能够至少生成 8192 个字符。研究团队还对量化对模型性能的影响进行了测试,结果显示量化对模型性能的影响在可接受范围内。


项目地址:https://github.com/ THUDM / ChatGLM2-6B

HuggingFace:https://huggingface.co/THUDM/chatglm2-6b

相关文章

AiTuTu AI聊天插件,网页侧边栏智能助手

AiTuTu AI聊天插件,网页侧边栏智能助手

AiTuTu AI 聊天插件支持在 Chrome 浏览器中以侧边栏形式为用户提供更为方便的 AI 服务,浏览绝大多数网站时可快速唤醒人工智能助手,在网页侧边显示,不仅支持自由提问,且可以一键改写选中网...

杭州链家“漏水信息披露”服务正式上线,破解房屋漏水四大难题!

杭州链家“漏水信息披露”服务正式上线,破解房屋漏水四大难题!

 有人说,这世上没有完美的房子,尤其是二手房。而在二手房中,漏水又是最令人头疼的问题。一到雨季,担惊受怕不说,还要防患于未然,让人焦头烂额。但多数人只能哑巴吃黄莲,自己掏钱解决。...

续写“敢为“新篇章,TCL实业即将重磅亮相CES 2024

续写“敢为“新篇章,TCL实业即将重磅亮相CES 2024

 2024年1月9日-12日,世界规模最大、水平最高、影响最广的消费类电子产品展览会之一 --美国拉斯维加斯国际消费类电子产品展览会(CES 2024)将盛大举行。 作为全球...

Luna插件,从Chrome浏览器任意位置进入AI聊天

Luna插件,从Chrome浏览器任意位置进入AI聊天

Luna 插件支持在 Chrome 浏览器搜索和任何网站右键菜单添加 AI 聊天,可帮助用户轻松从浏览器中的任何位置尽快进入 AI 聊天对话,无论用户身在何处,都可以直接通过快捷键轻松打开,非常简单方...

从房产经纪到居住服务,贝壳如何实现让家更美好?

从房产经纪到居住服务,贝壳如何实现让家更美好?

全面放开二手房限购,不再审核购房资格,重磅政策落地,杭州楼市再次成为焦点。如今,全国购房者都可以在杭州购买二手房,且不限套数。 没有了资质门槛的限制,如何更高效、更安心、更有性价比地在杭...

AWE 2024正式开幕:TCL携多款全球首发首展产品亮相

AWE 2024正式开幕:TCL携多款全球首发首展产品亮相

 3月14日,中国家电及消费电子博览会(以下简称AWE 2024)在上海开幕。TCL两大主体TCL实业和TCL科技,聚焦智能终端、半导体显示、新能源光伏三大核心产业,携37个品类...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。