一张贺年卡里,能有多少尖端AI技术?
新年
圣历初开岁 云山半老时
七轮才偃月 九陌乱填丝
曙角分龙节 寒尘敛隼旗
元宵几处玩 禁火夜弥迟
最后再说说,这张贺年卡背后,图片生成的AIGC产品——CogView。
CogView的算法框架分为VQ-VAE和Transformer两部分,对图像和文本进行大规模生成式联合预训练,首先以VQ-VAE将图像压缩成Token,再将其输入Transformer进行生成训练;反其道而行之,也可以将Transformer输出的Token作为依据,生成图像。
在文字、诗歌、图片生成的领域,AIGC都担任了重要的工作。而在小呆、悟能、CogView的背后,都有大规模语言训练模型GLM-130B的影子。
这个由清华大学计算机系KEG实验室,和智谱AI开发的开源双语大规模语言训练模型,在前些时间的基准测试上超过了OpenAI的GPT-3和谷歌的PALM,并且以开源的形式,作为开源大模型的中国力量,普惠广大的使用者。
一张小小的贺年卡,背后是一个开源大模型的支持,和三种AIGC的尖端技术。在未来,AIGC技术可能也会给一年一度的“拜年文学大赛”画上句点。