LIMO: Less is More for Reasoning

我们挑战了当前普遍假设——大语言模型(LLM)的复杂推理需要海量训练数据。研究表明，仅需少量示例即可激发模型的复杂数学推理能力。通过简单监督精调，LIMO模型在AIME24和MATH500测试中分别达到63.3%和95.6%准确率，超越先前需要100倍训练数据的精调模型（AIME24 6.5%，MATH500 59.2%）。该模型还展现出强大的分布外泛化能力，在多样化基准测试中实现45.8%绝对提升。

基于这些发现，提出少即是多推理假设(LIMO Hypothesis)：当基础模型的预训练已全面编码领域知识时，仅需少量但精心设计的认知过程示范即可激发复杂推理能力。该假设表明，激发复杂推理的门槛不取决于任务复杂度，而取决于两个关键因素：

1. 预训练知识库的完备性
2. 2. 精调样本作为"认知模板"引导推理的有效性

更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）