Mozilla 的 AI Help 工具终遭官方停用:生成的技术信息真假参半
MDN Web 文档项目(前身为 Mozilla Developer Network)在开发者圈中享有良好声誉,被认为是极其可靠的信息来源。
据称,AI Help 是 Mozilla 与 Supabase 合作开发的生成式人工智能助手 ,旨在成为开发者在 MDN Web Docs 上寻找答案时的「问题解决伴侣」,能够帮助 Web 开发者更快、更轻松地找到相关文档支持。
据 MDN 负责人 Hermina Condei 表示,AI Help 的构想是优化开发者的搜索流程,使他们能够「快速轻松」地找到所需信息。AI Help 使用 OpenAI 的 API 将提示信息传递给 ChatGPT,生成式人工智能将从 MDN 综合文档存储库中检索「最相关的信息」。
开发者只需在 MDN 上提出问题,AI Help 就会开始工作。但由于 AI Help 频繁出错,社区批评声不断,大部分开发者认为该工具经常提供错误信息,认为它不如没有这个功能,反而更加麻烦。
在 Mozilla 开发的 Yari 存储库中,一个名为 Eevee 的开发者发表了一段言辞激烈的评论,说“MDN 现在似乎会自动向寻求技术信息的人提供错误的答案”。
Eevee 在浏览器的地址栏历史记录中打开了 MDN 的第一篇文章(关于网格属性),并在第一个代码块(语法摘要)中点击了“interprete”按钮,结果出现了以下错误信息:
grid: "a" 100px "b" 1fr;:此值将网格模板设置为两行两列。第一行的高度为 100 像素,第二行的高度为 1 个分数单位 (1fr)。这些列被命名为“a”和“b”。
Eevee 表示,这是一个严重但微妙的错误:只创建了一个列(而应该是多个列需要使用斜杠),而且引用的字符串是区域的名字而非列的名字。尽管这个错误与其他正确的属性值解释混杂在一起,但它却令人难以置信。这尤其糟糕,因为网格属性具有复杂的快捷语法,是用户可能希望点击“解释”按钮来理解的内容。
“生成的文本似乎缺乏审查,不可靠、不负责任,甚至无法纠正。如果这些文本被嵌入到存储库中,至少还可能会接受人类的监督和合并请求。但据我所知,这些文本只是存在某个缓存中?似乎在设计、开发和部署这个功能时没有考虑到 LLM(自然语言处理)可能会产生令人信服的胡言乱语。”
Eevee 说道。“我希望 MDN 提供准确的信息,但实际上 MDN 却生成了听起来很令人信服的谎言,并且没有明显的纠错机制。”
开发者 Lifning 也发表了自己的评论,并附上了一张截图:
还有其他人表示,AI Help 功能经常自相矛盾,错误地识别 CSS 属性,错误地解释辅助功能,而且通常无法理解 CSS。
在 Eevee 的帖子下,几乎充斥着对 MDN 的批评。开发者“MrLightningBolt”表示:“基于以上原因,这种所谓的‘AI’不仅毫无用处,反而会更糟糕;其他实例的创建要简单得多。MDN 的存在只会让情况变得更糟。”
因此,官方于 7 月 6 日临时下线按钮,该工具目前已完全无法使用。MDN 的一位主要志愿者开发人员(昵称 sideshowbarker)曾承诺解决这些问题,但目前尚不清楚 Mozilla 需要多长时间将该工具进行彻底改进,因此还需要等待后续的更多消息。