HuggingFace Daily Papers(社区热门论文)·· 1 天前AI 评分40
TaH2:用自适应循环 Transformer 改进测试时扩展
Improving Test-Time Scaling with Adaptive Looped Transformers
AI 导读
针对循环 Transformer 在测试时扩展上的不足,研究者提出 TaH2,通过前瞻深度监督联合后训练主干网络与迭代决策器,让额外迭代只作用于真正受益的 token。在 AIME 基准上,TaH2 将准确率-算力斜率提升 53%(2.74 对 1.79),同等测试算力下峰值准确率超出非循环基线约 3.4 分;迭代深度从 2 增至 8 时,其增益从 +2.8 分扩大到 +3.9 分。代码已开源。
来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org