更小更强大的 GPT-4o mini 背后：AI 模型的未来不再是越大越好

曾揭秘苹果智能幕后功臣，一款经微调的3B小模型专精摘要润色，适配器加持后性能超越Gemma-7B，非常适合手机端运行。这恰好展示了小模型“以小胜大”的潜力，为后续探讨奠定基础。

正因如此，前OpenAI大神Andrej Karpathy最近提出判断：模型尺寸竞争将“反向内卷”，不再追求更大，而是比谁更小更灵活。

小模型凭什么以小胜大

Andrej Karpathy的预测并非空穴来风。

在以数据为核心的时代，模型正迅速变得庞大复杂，经过海量数据训练的超大模型（如GPT-4）大部分精力用于记忆无关紧要的细节，也就是死记硬背。

然而，经过微调的模型在特定任务上能“以小胜大”，其好用程度不亚于许多超大模型。

Hugging Face CEO Clem Delangue曾建议，多达99%的使用案例可借助小模型解决，并预测2024年将是小型语言模型的一年。

探究其原因，需先科普一些背景知识。

2020年，OpenAI在一篇论文中提出著名定律：Scaling law，即模型性能随规模增大而提升。随着GPT-4等模型推出，Scaling law的优势逐渐显现。

AI领域的研究者和工程师坚信，增加模型参数数量能进一步提升学习与泛化能力。于是，模型规模从数十亿参数跃升至几千亿，甚至向万亿攀登。

在AI世界，模型规模并非衡量智能的唯一标准。

相反，精巧设计的小型模型通过优化算法、提升数据质量、采用先进压缩技术，往往能在特定任务上展现与大型模型相当甚至更优的性能。

这种以小博大的策略正成为AI领域新趋势。其中，提高数据质量是小模型取胜的关键方法之一。

Coalesce首席技术官兼联合创始人Satish Jayanthi曾形容数据对模型的作用：

为了产出高质量结果，大型语言模型需要针对特定主题和领域的高质量、有针对性的数据训练。如同学生需要优质教材，LLM也需要优质数据源。

颠覆传统“大力出奇迹”的暴力美学，清华大学计算机系长聘副教授、面壁智能首席科学家刘知远提出大模型时代的“面壁定律”：模型知识密度不断提升，平均每8个月翻一倍。

其中知识密度=模型能力 / 参与计算的模型参数。

刘知远形象解释：若给你100道智商测试题，得分不仅取决于答对多少，更在于动用的神经元数量。用更少神经元完成更多任务，智商越高。

这正是知识密度传达的核心理念：

相比2020年OpenAI发布的1750亿参数GPT-3，2024年面壁发布同等性能但参数仅24亿的MiniCPM-2.4B，知识密度提升约86倍。

多伦多大学一项研究也表明，并非所有数据都必要。从大型数据集中识别高质量子集，这些子集更易处理且保留原始数据所有信息与多样性。

即使去除高达95%的训练数据，模型在特定分布内的预测性能也不会受到显著影响。

近期最典型例子当属Meta Llama 3.1大模型。

Meta训练Llama 3时使用了15T tokens数据，但负责Llama2和Llama3训练后工作的Meta AI研究员Thomas Scialom表示：网络文本充斥无用信息，基于这些信息训练是浪费计算资源。

此外，知识蒸馏也是“以小胜大”的重要方法。

知识蒸馏通过大型“教师模型”指导小型“学生模型”训练，将大模型的强大性能与泛化能力转移给更轻量、运算成本更低的小模型。

Llama 3.1发布后，Meta CEO扎克伯格在长文《Open Source AI Is the Path Forward》中强调微调和蒸馏小模型的重要性。

业内普遍认为，Meta Llama 3.1的8B和70B版本由超大杯蒸馏而成，因此整体性能显著跃迁，模型效率更高。

模型架构优化同样关键，例如MobileNet专为移动设备设计高效深度学习模型。

它通过深度可分离卷积（Depthwise Separable Convolution）大幅减少参数数量。MobileNetV1相比ResNet参数减少约8-9倍。

参数数量减少使MobileNet计算更高效，对资源受限环境（如移动设备）尤其重要，可在不牺牲太多性能前提下显著降低计算与存储需求。

尽管技术层面取得进步，AI行业本身仍面临长周期投入和高成本挑战，回报周期相对较长。

据《每日经济新闻》不完全统计，截至今年4月底国内共推出约305个大模型，但截至5月16日仍有约165个尚未完成备案。

百度创始人李彦宏曾公开批评，众多基础模型的存在是资源浪费，建议将资源更多用于探索模型与行业结合的可能性，以及开发下一个潜在超级应用。

这也是当前AI行业核心问题：模型数量激增与实际应用落地不相称的矛盾。

面对这一挑战，行业焦点逐渐转向加速AI技术落地，部署成本低、效率高的的小模型成为更合适的破局点。

一些专注特定领域的小型模型开始涌现，如烹饪大模型、直播带货大模型。这些名头虽看似唬人，却恰恰走在正确道路上。

简言之，未来AI将不再是单一庞大的存在，而是更加多样化和个性化。小模型的崛起正是这一趋势的体现，它们在特定任务上的卓越性能证明了“小而美”同样能赢得尊重与认可。

One more thing

若想在iPhone上提前运行模型，不妨尝试Hugging Face推出的iOS App——“Hugging Chat”。

借助魔法和外区App Store账号下载该App后，用户可访问使用各种开源模型，包括Phi 3、Mixtral、Command R+等。

总而言之，小模型崛起正在重塑AI格局，从手机端到特定任务，小而美的方案正成为主流。在最新一代iPhone上体验Hugging Chat，即可亲身感受这一趋势。