各位听众朋友大家好
欢迎收听Hugging Face每日爱论文速递周末特辑
每周日准时为您带来一周内Hugging Face向最受欢迎的论文汇总
本期节目涵盖的时间段是2025年6月2日至6月8日
在本期节目中我们将为您精选五篇备受关注的论文内容涵盖了通过强化学习RL
提升大型语言模型LLM的自我改进
高商仇恳在推理中的应用延长的强化学习对LM推理的拓展
测试时驱动的大模型快慢思考框架以及一种经济高效的视觉
语言动作模型
接下来让我们一起深入这些前沿研究探索AI技术的最新进展
节目正式开始
本期节目的第一篇论文是反思重视奖励通过强化学习实现LM的自我提升
这篇论文在Hugging Face社区获得了169个点赞
显示出其研究价值和社区的关注度
这篇论文的核心目标是提升大型语言模型LMS的性能
通过一种名为反思
重视
奖励的新框架来实现
这个框架的关键在于让模型在任务失败后进行自我反思
分析失败原因
并在再次尝试时利用这些反思来改进表现
具体来说
模型在失败后会生成一段自我反思的评论
解释哪里出了问题
并提出改进建议
然后模型会根据这些反思再次尝试任务
如果第二次尝试成功
模型在反思阶段生成的内容
会通过一种名为Group Relative Policy Optimization
Gruple的算法获得奖励
从而进一步优化其自我反思的能力
论文中使用了多个模型进行实验
包括Cornar
Lama 3.1
Fi 3.5
Mini Instruct等
并基于两个主要数据集
Epojin和Countdown
Epojin数据集包含6万个高质量的函数调用
要求模型生成正确的工具调用
Countdown数据集
则包含45万个数字列表和目标数字
要求模型通过这些数字生成正确的方程来达到目标
研究结果显示
这种反思
重视
奖励的方法在提升模型性能方面非常有效
特别是在Epojin数据集上
经过Gurple训练的Quin27B模型
甚至超过了未经过训练的Quin272B模型
此外
自我反思显著提升了模型在Countdown数据集上的表现
尤其是对于那些初始表现较差的模型
论文还指出
这种自我反思的方法不仅增强了模型解决复杂任务的能力
还使得较小的模型能够超越较大的未训练模型
显示出其在效率和通用性上的优势
此外
研究中几乎没有观察到灾难性遗忘的现象
表明这种方法在模型乳棒性方面也有显著提升
总的来说
这篇论文提出了一种创新的方法
通过强化学习的方式
让LLMS进行自我反思和改进
从而在复杂任务上取得更好的表现
这是本期节目的第二篇论文
题目是超越8020法则
高商少数Token驱动LLM推理的有效强化学习
这篇论文目前在Hugging Face社区获得了130个点赞
显示出它在学术界引起了广泛关注
这篇论文的核心研究问题是
在大型语言模型LLMS的验证奖励强化学习
RLVR中
不同类型的Token如何影响推理性能
以及是否可以通过专注于特定类型的Token来提升RLVR的效果
研究团队提出了一个假设
高商的少数Token作为推理路径中的关键分支点
比低商的多数Token更能有效驱动RLVR他们进一步假设
通过限制策略梯度更新到这些高商Token
可以在保持或提升性能的同时提供计算上的优势
为了验证这一假设
研究团队进行了详细的实验设计
他们选择了捆3LLM家族的8B 14B和32B基础模型作为研究对象
通过链式思维COT推理中的Token商模式分析
结合控制实验来调节这根商
并在RLVR训练中选择性的更新策略梯度
数据收集方面
他们使用了M24 M25等数据集
并在多个评估数据集上进行了验证
实验结果显示
高商Token在推理过程中起到了关键作用
他们不仅连接了逻辑推理的各个环节
还能通过调节节码温度来显著影响模型的性能
具体来说
降低高商Token的温度会降低性能
而增加其温度则能提升性能
此外
RLVR在训练过程中保留了基础模型的商模式
并且主要改变了高商Token的商值
最令人振奋的是
研究团队发现
仅关注高商Token的策略梯度更新
不仅没有降低性能
反而在Koen3模型上显著提升了推理效果
这一发现对于优化LM的推理能力具有重要意义
尤其是在处理复杂推理任务时
高商Token的聚焦策略能够平衡探索与训练稳定性
为模型带来更大的性能提升
总的来说这篇论文通过深入分析Token商对推理性能的影响
揭示了高商少数Token在驱动LM推理中的关键作用
为未来的LMU化提供了新的思路和方法
这是本期节目的第三篇论文
题目是Po
延长的强化学习拓展大型语言模型的推理边界
这篇论文目前在Hugging Face社区获得了115个点赞
显示出它在研究社区中引起了广泛关注
这篇论文的核心研究问题是
延长的强化学习训练能否在大型语言模型中揭示出新的推理策略
这些策略是基础模型在广泛采样下也无法获得的
研究团队提出了一个假设
通过延长的强化学习训练
模型可以在其基础模型的基础上拓展推理能力
发现新的解决方案路径
并在各种任务中表现更好
为了验证这一假设
研究团队设计了一种名为Pro的新训练方法
这种方法结合了KL散度控制
参考策略重置以及一系列多样化的任务
他们使用了三个模型进行实验
DeepSea Car 1-1
5B作为基础模型
Demitra Research Reasoning宽1.5B
作为经过Pro训练的模型
以及DeepSea Car 1-7B用于比较
在实验过程中
Pro训练包括了超过2000步的强化学习训练
同时引入了KL散度惩罚来保持伤
并防止策略漂移
参考策略会定期重置
以允许持续改进
训练数据涵盖了数学
代码
STEM
逻辑谜题和指令跟随等多种任务
共构建了一个包含136000个视力的
多样化训练数据集
研究结果显示
经过强化学习训练的模型
在各种任务中的表现
显著优于基础模型
例如
在数学任务中
PiSide1的提升达到了14.7%
在编码任务中提升了13.9%
在逻辑谜题中提升了54.8%
在STEM推理任务中提升了25.1%
在指令跟随任务中提升了18.1%
此外
研究还发现
Pro训练在超过2000步
后仍能持续提升模型性能
论文还引入了创造力指数
来量化推理路径的吸引性
结果表明
延长的强化学习训练
确实能够产生更具创新性的解决方案
这一发现
挑战了之前认为
强化学习模型
不会获得新推理能力的研究结论
总的来说
这篇论文提供了新的见解
展示了在什么条件下
强化学习能够有效拓展语言模型的推理边界
研究结果表明
通过稳定且延长的强化学习训练
开发出超越基础模型
初始能力的新的推理模式
本期节目的第四篇论文
我们来关注一篇
名为Alpha 1
测试时驱动大模型
进行快慢思考的推理框架的研究
这篇论文目前在Hugging Face社区
获得了89个点赞
显示出它在学术界和开发者社区中的广泛关注
这篇论文的核心目标是解决大型推理模型
LRMS在测试时
如何动态调节推理过程的挑战
研究人员提出了一个名为Alpha 1
Alpha 1的框架
旨在提升LRMS的推理能力和效率
简单来说
Alpha 1通过在测试时
动态调度慢思考和快思考的转换
帮助模型在深度分析和计算效率之间找到平衡
具体来看
研究团队使用了三个开源的LRMS作为基础模型
分别是DeepSeq R1
Distil QN1.5B
DeepSeq R1
Distil QN7B和QNQXRB
他们在一系列涵盖数学
编程和科学领域的六个基准测试上进行了实验
包括M2024
AMCR3
Minerva Math等
实验在NVIDIA L40S和A100GPU上进行
确保了计算资源的充足和实验的可靠性
论文的主要创新点在于引入了Alpha时刻AlphaMoment这一概念
通过于Alpha和后Alpha时刻的调节
Alpha1能够有效地在测试时对LRMS进行缩放
研究人员还通过对比实验
验证了Alpha1在问题解决准确性
PiCity和推理效率
FAP指标上的显著提升
例如1.5B的模型
在使用Alpha1后
问题解决准确性提高了6.15%
同时令牌长度减少了14%
研究结果显示
Alpha1不仅在准确性上超越了传统的测试时缩放方法
如SE和Chain of Draft
而且在推理效率上也表现出色
特别是
论文发现慢思考到快思考的线性调度方式
能够带来最高的推理准确性
这表明慢思考在提升推理效率方面起到了关键作用
总体而言
Alpha1为大型推理模型提供了一个通用的推理过程调节框架
展示了慢思考和快思考的动态转换
如何有效提升模型的推理能力
这一研究不仅为LRMS的实际应用提供了新的思路
也为未来在测试时优化模型推理提供了宝贵的经验
这就是本期节目关于Alpha1测试时驱动大模型进行快慢思考的推理框架的介绍
这是本期节目的第五篇论文
题目是Small Flux
一种用于经济高效型机器人的视觉
语言
动作模型
这篇论文目前在Hugging Face社区获得了75个点赞
论文的核心目标是解决现有大规模视觉
语言
动作
Flux
模型在机器人领域中面临的高训练成本和实际部署困难的问题
研究团队提出了一个关键问题
是否可以开发一种小型
高效且由社区驱动的伐模型
既能大幅降低训练和推理成本
同时还能在机器人任务中保持竞争力
论文的答案是Small Flux
这是一种紧凑的伐模型
专门设计用于单GPU训练和消费级设备的部署
Small Flux通过利用社区收集的数据和一部推理技术
实现了与更大规模模型相媲美的性能
在方法论上
Small Flux有一个紧凑的与训练视觉
以N模型VLM和一个动作专家组成
VLM负责处理语言指令
RGB图像和机器人传感器状态
而动作专家则通过交替的交叉注意力和自注意力快进行训练
输出低级别动作
数据集方面
研究团队使用了来自Hugging Face的481个社区数据集的子集
以及新的MetaWorld数据集
和几个真实世界的机器人操作任务数据集
训练过程中
Small Flux通过模仿学习
在社区数据集上进行运训练
并使用现成的VLM
如Kun 2.5
VL3B Instruct
自动生成任务描述
以改进任务注视
推理阶段
一部推理技术
将动作执行与观察处理和动作预测机
从而提高了控制频率
并减少了任务完成时间
在评估中
Small Flux在模拟和真实世界的机器人基准测试中表现出色
特别是在识取、放置、堆叠和分类任务中
优于其他Fla模型
一部推理
还使任务完成时间减少了约30%
论文的结论表明
通过利用社区驱动数据集
优化模型架构和一部推理技术
紧凑高效的Fla模型
可以在机器人任务中取得竞争性表现
Small Flux成功展示了
开发经济高效型Fla模型的可行性
为机器人研究提供了新的可能性
并使更多资源有限的实际应用成为可能
以上就是本期节目的全部内容
感谢大家的收听
如果你喜欢本期内容
欢迎在评论区留言
点赞
转发
并订阅我们的节目
同时
别忘了关注我们在小红书的账号
ISOD
我们下期节目再见
Hayae
��