随着 AI 技术的不断进步，如何让大模型具备 “并行思维” 能力，成为了研究者们关注的热点话题。最近，腾讯 AI Lab 联合多所高校的研究团队推出了一个名为 Parallel-R1的全新强化学习（RL）框架，旨在教会大模型如何同时探索多条推理路径。这一创新的框架为应对复杂的数学推理任务开辟了新思路。
传统的方法往往依赖于监督微调（SFT），这种方式不仅对数据质量要求极高，而且模型通常只会模仿已有的数据，缺乏自主学习和泛化能力。为了解决这些问题，Parallel-R1框架应运而生。研究团队的关键发现是，利用简单的提示，可以让模型在处理简单数学题时生成高质量的并行思维数据。随后，通过一套 “渐进式课程” 的训练模式，模型先从简单任务开始学习并行思维的 “语法格式”，再逐步过渡到更复杂的数学问题中进行强化学习。
此外，团队还针对奖励设计的问题提出了一种交替式奖励策略，巧妙地平衡了 “解题准确率” 和 “思维多样性”。在训练过程中，模型大部分时间以 “准确率奖励” 为主，而少部分时间则给予并行思维使用的额外奖励。这种策略显著提高了模型的并行思维使用率，最终在多个数学基准测试中取得了显著提升。
实验结果显示，Parallel-R1框架不仅使模型在多个数学基准上提升了高达8.4% 的平均准确率，在 AIME25测试中更是实现了42.9% 的性能飞跃。研究者们发现，经过训练，模型的思维策略会逐渐从初期的 “广撒网” 式探索，转变为后期的 “精准验证”，充分展现了并行思维带来的优势。
Parallel-R1的成功不仅为大模型的推理能力开辟了新方向，也为今后的 AI 研究提供了新的思路，显示了并行思维在解决复杂任务中的潜力。
文章来源：https://news.aibase.cn/news/21375
