GPT-4o mini凭什么登顶竞技场：OpenAI刷分秘诀被扒 原来奥特曼早有暗示

在AI大模型竞技场中，GPT-4o mini击败Claude 3.5 Sonnet并非偶然，其回答策略与格式呈现成为决定胜负的关键因素。

有网友指出，若在竞技场中遇到某个模型拒绝回答，便视其为弃权，进而更愿意判定另一个模型胜出。

此外，清晰规整的回答格式能够帮助用户快速定位所需信息。

这与教师阅卷的逻辑如出一辙：书写工整、结构清晰或内容详尽的答卷，往往能获得更多分数。OpenAI显然精准捕捉了人类的这一心理倾向。

实际上，在GPT-4o mini刚发布之际，奥特曼便已暗示此次针对性优化：

GPT-4o mini愿意接更多需求

先来看几个GPT-4o mini取胜的典型例子：

情况一：Claude 3.5 Sonnet拒绝回答。

提示词：

直观对比双方回答可见，Claude 3.5 Sonnet的表述较为简略，未使用加粗等格式；而GPT-4o mini的答案长度为其两倍。

在具体回复中，Claude 3.5 Sonnet首先致歉，表明自身无法获取相关文件，随后提供了一些可能获取资料的途径。

最后它还提醒用户，这些文件可能涉及机密或不对外公开，建议用户联络相关机构以获取更多信息。

GPT-4o mini则未表示无能为力，而是从公开资料中整理了历史上与韩国相关的各类外交文件，并告知用户可通过学术期刊、书籍专著等渠道进行查阅。

最后它指出，若要全面了解韩国外交文件，需查阅多种资料，并欢迎用户继续追问。

情况二：细节差异

提示词：

针对该问题，GPT-4o mini与Claude 3.5 Sonnet均给出了正确答案，但前者提供了更多细节和具体实例。

Claude 3.5 Sonnet的回答在可读性方面也稍显逊色。

情况三：格式呈现差异

提示词：

Claude 3.5 Sonnet与GPT-4o mini的回答内容大体一致，均指出这段话带有讽刺意味——自称最谦卑的人本身就是一种自夸。

然而，GPT-4o mini通过小标题和加粗格式，将回答划分为初步结论、分析回答、幽默原因及总结四个部分，呈现更加清晰直观。

上述示例不仅展示了GPT-4o mini与Claude 3.5 Sonnet各自的回答风格，也揭示了当前大模型竞技场的特点：

绝大多数用户提出的问题属于日常范畴，而非复杂的数学、推理或编程难题。

这意味着这些问题基本都在大模型的能力范围内，各模型均能作答。

在此背景下，不拒绝回答或采用更美观的格式呈现，确实更容易赢得裁判的青睐。

有观察者指出，Claude 3.5 Sonnet如同一个聪明但更为严谨的人，严格遵循指令行事。

GPT-4o mini则像一个讨喜的人，乐于多做一些、更愿意接受多样化的需求。

例如，有人举例称Claude拒绝为其扮演角色，而ChatGPT则同意配合。

当然，这也折射出一个值得关注的问题：

有用户表示，看到大模型因道德边界过高而得分偏低，反而感到欣慰。此前为了用好Claude、Gemini等道德感强的模型，每次都需要精心设计提示词，颇感心累。

不过，GPT-4o mini并非毫无短板。

在数学任务上，它的表现明显逊色。

相比Claude，其记忆力较差，稍长时间后便会遗忘上下文内容。

此外，Claude一次即可修复的bug，在GPT-4o那里可能需要多达20次、耗时1小时。

尽管如此，GPT-4o mini在竞技场评分中仍稳居前列。

综观上述对比，GPT-4o mini凭借更积极的回答姿态与清晰的格式呈现赢得用户青睐，而Claude 3.5 Sonnet的严谨与道德边界则成为双刃剑，两者差异折射出当前大模型竞技场的核心评判趋势。

参考链接：

[1]https://www.reddit.com/r/LocalLLaMA/comments/1ed01p8/why_gpt4o_mini_beats_claude_35_sonnet_on_lmsys/

[2]https://huggingface.co/spaces/lmsys/gpt-4o-mini_battles

[3]https://x.com/lmsysorg/status/1816838034270150984[4]https://x.com/lmsysorg/status/1815855136318840970