大家都在吐槽GPT-4变「笨」了，可能是架构重新设计惹的祸
据广大网友们的反馈，似乎人们普遍认为GPT-4变得有些愚笨了。距离OpenAI最初发布GPT-4已经过去了将近四个月。然而，随着时间的推移，最近网络上开始出现了一些质疑声，认为世界上最强大的GPT-4似乎变得不那么强大了。
一些业内人士认为，这可能与OpenAI对该系统进行重大重新设计有关。实际上，在最近几周，我们或多或少地在网络上看到了一些GPT-4用户对其性能下降的怨声。有用户称这个模型相比先前的推理能力和其他输出变得"懒散"和"愚笨"。
而且，不仅如此，在Twitter和OpenAI的在线开发者论坛中，用户们也表达了对这一问题的不满。例如，他们认为GPT-4的逻辑能力减弱了，回答错误增多了，对提供的信息追踪能力丧失了…
对于GPT-4究竟发生了什么，让我们来看看网友们的反馈：
一位使用GPT-4进行网站开发的网友写道："现在的GPT-4真是让人失望。感觉就像你开了一个月的法拉利，突然它变成了一辆破旧的皮卡车。按照这种趋势，我不确定我是否愿意为此付费了。"
还有用户表示："我使用ChatGPT有一段时间了，自从GPT-4发布以来，我一直是GPT Plus的付费用户。最近几天，GPT-4似乎在之前擅长的事情上遇到了困难。以前，它似乎能很好地理解我的请求。现在，它对信息的追踪能力下降了，给出的信息有误，并且经常误解我的问题。"
Roblox的产品负责人Peter Yang在Twitter上声称，GPT-4的输出速度变快了，但质量却降低了。例如，在让它输出更清晰、简洁和有创意的文本任务时，GPT-4给出的结果质量下降了。
"GPT-4开始反复输出代码和其他信息，就像它大脑死亡一样。如果你没有真正经历过它之前的能力，你可能不会注意到。但对于那些之前充分使用过GPT-4的人来说，他们明显感觉到它变得更愚蠢了。"另一位用户抱怨道。
"我对GPT-4的回答质量也有同样的问题，有人知道如何解决或纠正这种情况吗？"
"我确实注意到了这一点。在一天中的某些时候，它似乎只记得最近的提示。但在一整天的使用中，GPT-4的性能似乎有波动，在不同的时间尝试时，感觉它的表现也不一样。"
通过网友的反馈，可以看出大家都有感受到GPT-4变得愚笨的事实。
自OpenAI在去年年底发布ChatGPT，这一举动震惊了整个人工智能界。最初，ChatGPT是建立在GPT-3和GPT-3.5基础之上的。而在三月中旬，GPT-4发布后，迅速成为开发者和其他科技行业人士的首选模型。
GPT-4被认为是广泛可用的最强大的人工智能模型，具备多模态功能，可以理解图像和文本的输入。根据创业公司Lamini首席执行官Sharon Zhou的说法，它虽然速度较慢，但非常精准。
然而，几周前，情况开始发生变化。尽管GPT-4的速度变快了，但性能却明显下降了。这引发了整个人工智能社区的讨论。根据Sharon Zhou和其他专家的说法，这意味着着发生了重大的变革。
他们认为，OpenAI正在创建一些较小的GPT-4模型，这些模型在功能上类似于大型模型，但运行成本更低。
几天前，SemiAnalysis发布的一篇付费订阅内容也涉及到这一点。文章中提到，OpenAI通过使用混合专家（MoE）模型来维持可行的成本。他们在模型中使用了16个专家模型，每个专家模型大约有111B个参数。这些专家模型中的两个被路由到每个前向传递。
"这些较小的专家模型针对不同的任务和领域进行了训练。可能有一个专门用于生物学的小型GPT-4，以及其他用于物理学、化学等领域的小型模型。当一个GPT-4用户提问时，新系统就会知道向哪个专家模型发送该查询。新系统可能会决定将查询发送给两个或多个专家模型，然后将结果合并起来。"Sharon Zhou解释道。
开发者兼黑客George Hotz在最近的一个播客中描述了GPT-4是运行8个混合模型。需要提到的是，艾伦人工智能研究所创始CEO Oren Etzioni在看到这些信息后，通过邮件向Business Insider表示：“我『推测』这些猜测大致准确，但我没有证据。”
Oren Etzioni认为，采用混合模型的目的在于提升生成式模型的输出质量、降低成本并提高响应速度。
eEtzioni进一步补充道："恰当地使用混合模型可以同时满足上述需求，但通常需要在成本与质量之间做出权衡。有传言称OpenAI正在为了降低成本而牺牲一部分质量，但这只是无根据的传闻。"
据实际情况，2022年，OpenAI的总裁Greg Brockman与几位同事合作撰写了一篇有关MoE方法的文章。该文中提到："采用MoE方法，在不增加计算成本的前提下，模型可以支持更多参数。"
Sharon Zhou表示："与训练和OpenAI推出的小型专家GPT-4模型有关，GPT-4近几周的性能下降是很可能的。当用户对其进行测试时，我们会提出各种不同的问题。尽管它的回答可能不理想，但它会从我们那里收集数据，并不断改进和学习。"
