一个基于Qwen2.5-Coder-3B的小模子，靠后查验在AIME26、LiveCodeBenchv6等可考证任务上冲到前沿模子隔邻。

3B参数，原本应该是小模子的空闲区。

能土产货跑，资本低，速率快，相宜作念轻量任务。很少有东说念主会把它和ClaudeOpus4.5、DeepSeekV3.2、KimiK2.5、GLM-5、Gemini3Pro这么的前沿模子作念对比。

VibeThinker-3B此次偏巧挤了进来。

代码部分先把争议拉满了，LiveCodeBenchv6上，VibeThinker-3B拿到80.2，距离ClaudeOpus4.5的84.8依然不远。

AIME26上，它又拿到94.3，以0.1分的微小上风险胜671B参数的DeepSeekV3.2（94.2）。加入声明级可靠性评估（CLR）后，收成升到97.1。模子权重也已公开。

VibeThinker-3B的封闭集聚在数学、代码和部分STEM这类考证信号明确的任务上。在这些任务上，它至少知道，小模子的可考证推理上限可能比许多东说念主预期得更高。

论文标题：

VibeThinker-3B:ExploringtheFrontierofVerifiableReasoninginSmallLanguageModels

论文流畅：

代码流畅：

https://github.com/WeiboAI/VibeThinker

参数恶果

参数反差在IMO-AnswerBench上最直不雅。VibeThinker-3B成例收成为76.4，加入CLR后达到80.6。

行为参照，DeepSeekV3.2为671B，得分78.3；GLM-5为744B，得分82.5；KimiK2.5为1T，得分81.8。

〓VibeThinker-3B在IMO-AnswerBench上展现出隆起的参数恶果。

单看这个基准，3B参数依然投入数百B到1T模子的得分区间。

VibeThinker-3B在AIME26上为94.3，LiveCodeBenchv6为80.2，IFEval为93.4；加入CLR后，AIME26、HMMT25、BruMO25和IMO-AnswerBench鉴识升至97.1、95.4、99.2和80.6。

〓VibeThinker-3B与前沿推理模子的中枢主义对比。

后查验门路

外部研究最热心的，是VibeThinker-3B如安在旧底座上陆续作念后查验。

它使用的底座是Qwen2.5-Coder-3Bbase，要津在于若何通过数据构造、SFT、强化学习和自蒸馏，连接开释3B模子的推理才调。

〓VibeThinker-3B的查验经过由两阶段SFT、多域强化学习、离线自蒸馏和提醒强化学习构成。

SFT阶段选拔两阶段课程学习。

前一阶段作念广域逃避，数据包括数学、代码、STEM推理、通用对话和提醒跟班。

云开体育2026世界杯中国官网入口

后一阶段转向高难长程推理样本，过滤掉推理轨迹短于5Ktoken的样本，并用VibeThinker-1.5B对每个问题作念8次孤独采样，去掉额外率低于0.75的相对八成题。

数据构造雷同是这套查验栈的要津。其中，千般性探索蒸馏厚爱保留多种灵验解法，而非沿单一齐径作念师法。

模子通过多旅途推理蒸馏学习不同解析样貌、推导旅途和考证计谋，再经过n-gram过滤、查询质地过滤、谜底考证、代码沙箱实施和多数投票，镌汰低质地样本与基准欺压风险。

中间checkpoint的取舍也更偏向千般性：团队在领域探伤集上看Pass@K，挑出能产生更多灵验解的领域民众模子，再作念参数级澌灭。

强化学习阶段沿用MGPO。对每个问题，模子会采样一组回答，并用教导正确率(p(q))推测它对现时模子的难度。正确率接近0.5的样本最有价值，因为它们正处在模子会与不会之间，MGPO会给这类样本更高权重。

这么一来，专业赛事推荐平台强化学习更新会更集聚地放大鸿沟样本中的可考证信号。

查验规矩是数学强化学习、代码强化学习、STEM强化学习。VibeThinker-3B径直选拔64K长陡立文强化学习，减少早期采样轨迹截断对长推理行为的碎裂。

随后是Long2ShortMathRL。模子先优化准确率，再通过中心化长度感知奖励偏移，在正确轨迹里面按长度再行分拨奖励。

更短的正确谜底获取更高奖励，较长的正确谜底奖励镌汰，同期保持组内奖励偏移总数为零。标的是保住正确率，同期减少冗余推理。

离线自蒸馏还引入了学习后劲筛选。团队先用领域考证器过滤额外轨迹，再用学习后劲得分斟酌每条正确轨迹的蒸馏价值。

该得分来自学生模子对轨迹的长度归一化负对数似然；分数越高，知道学生越莫得充分掌持这条正确轨迹，蒸馏价值也越高。

临了的提醒强化学习则面向局势、规矩、数目、要津词阻挡和任务完成度，擢升复杂提醒下的可控性。

可考证推理

技艺请问用参数压缩-逃避假说解释了这一气候。

数学、代码和部分STEM任务有明确响应，中枢挑战在于搜索、阻挡欢乐、额外修正和多步组合。请问以为，这类才调更容易压缩进一个小而可复用的推理中枢。

绽放域常识则更像逃避问题，需要模子记着广宽事实、成见、语义关联和长尾场景。VibeThinker-3B能在AIME、LiveCodeBench、IMO-AnswerBench上接近前沿模子，却无法全面追平通用大模子，原因也在这里。

CLR进一步放大了谜底可判定任务的上风。它不更新模子参数，而是在测试时生成32条候选轨迹；每条轨迹皆会索要最终谜底和5个方案酌量声明，再由模子自行考证这些声明。

要津声明一朝出错，轨迹可靠性会被非线性压低。候选谜底按等价关系聚类后，再累加同组轨迹的可靠性分数，选出最终谜底。

AIME26从94.3到97.1，靠的是测试时推广带来的增益。分数提高了，推理资本也会加多，不行和等闲单次推理收成混在沿路比拟。

才调鸿沟

VibeThinker-3B更接近一个可考证推理模子，而不是通用旗舰模子的替代品。

GPQA-Diamond更能知道它的鸿沟。VibeThinker-3B成例收成为70.2，加入CLR后为72.9，仍然过期于最强的旗舰模子。

这个差距知道，3B参数不错承载很强的推理步履，但常识密集型任务依然锻练参数逃避。

近期LeetCode周赛、双周赛测试，在一定进度上恢复了静态基准过拟合的疑虑。在仅用Python的单次生成评测中，8场近期比赛共128次初度提交，VibeThinker-3B通过123次，举座通过率96.1%。

〓VibeThinker-3B在近期LeetCode比赛中的代码泛化测试。

这知道，它的代码才调不单体当今静态基准上。不外，这类题型仍然可实施、可自动评测、鸿沟了了，距离通用编程智能体或绽放式软件工程还有明显辞别。

VibeThinker-3B莫得解说3B模子不错替代通用旗舰模子。更准确地说，在谜底可判定、查验信号可靠、后查验充足风雅的任务上，小模子的上限正在被再行评估。

大模子仍然承担常识逃避和通用才调的主要脚色。但在参数领域除外专业赛事推荐平台，高质地数据、可考证响应、长推理查验和测试时推广，依然足以把小模子推到更高的才调区间。

• 模子
• 专业赛事推荐平台
• 面对
• Claude
• 3B