疑似是 OpenAI 新模型的未知模型出现在大模型竞技场 LMSYS 上

一个名为 gpt2-chatbot 的大模型于不久前出现在大模型竞技场 LMSYS 上,尽管基准测试分数不被公开,但根据网友的实测,其性能超过目前市面上的所有大语言模型。

通过提示词引导和基于 token 分词器的研究发现, gpt2-chatbot 非常有可能来自 OpenAI,且应该是 GPT-4 的一个改进版本。其在逻辑能力、代码能力和数学能力上具有当今其他任何大模型无法比拟的能力。

似乎很有可能,这个神秘模型实际上是GPT-4.5,作为另一个"渐进式"模型更新的实例发布,而GPT-5则是一个可能性较小的选择。

输出的整体质量——特别是其格式、结构和整体理解能力——绝对是一流的。

多位在LLM提示和聊天机器人方面经验丰富的人士(在公开和私下场合)都注意到输出质量出乎意料地好,我完全同意这一点。对我来说,感觉就像是从GPT-3.5到GPT-4的飞跃,但这次是以GPT-4作为起点。

该模型的结构化回复似乎受到了修改后的CoT(思维链)等技术的强烈影响。

目前没有充分的理由相信这个神秘模型使用了某种全新的架构。


网友同样给出了另外一种可能,即 gpt2-chatbot 有可能是 LMSYS 将多个大模型以类似 MoE 的方式整合的结果,但从各种迹象来看,该假设的可能性较小。

此前,OpenAI 为大量用户推送了 ChatGPT 的记忆功能。而由于 GPT-5 的红蓝测试才开始不久,市场普遍预计 OpenAI 在 6 月前都不能拿出足以夺回大模型领域话语权的新模型。

目前, LMSYS 已经删除了该模型,同时更新了使用政策,明确商业公司可能以「匿名发布」的方式将新模型提供给 LMSYS 平台供公众测试, LMSYS 会将反馈结果和一部分样本提供给模型提供方,且模型提供方有随时撤回模型的权利。

——————

有网友通过提示词攻击的方式,在网页版 ChatGPT 的 GPT-4 模型对话时得到了与 gpt2-chatbot 类似的预置 prompt。(即v2 人格)

另据新智元报道,Sam Altman在哈佛大学演讲中,向所有人确认了gpt2-chatbot不是OpenAI下一代的模型。


——————

via:https://rentry.org/GPT2

src:https://mp.weixin.qq.com/s/O3Fl_eUqe8LMkFFCeR74jw
 
 
Back to Top