LLM 僅靠自身就能增強推理？SePT 給出簡潔在線自訓練范式

本文第一作者李夢琦為香港中文大學（深圳）計算機科學專業博士生。本項研究是與上海交通大學趙磊老師、香港中文大學蘇文藻老師合作，并在香港中文大學（深圳）孫若愚老師與李肖老師的共同指導下完成。

在推理后訓練里，多數方法仍依賴獎勵模型、驗證器或額外教師信號。如果不依賴這些外部信號，只使用模型自身生成的答案進行自訓練，是否仍然能夠提升推理能力？是的！SePT（Self-evolving Post-Training）給出肯定答案，簡潔的自訓練方法，可在數學推理任務準確率直升10個點！

• 論文標題：A Model Can Help Itself: Reward-Free Self-Training for LLM Reasoning
• 論文：https://arxiv.org/pdf/2510.18814
• 代碼：https://github.com/ElementQi/SePT

SePT的在線自訓練循環示意：樣本以采樣溫度 τ_s 生成，訓練階段采用標準 SFT；下一輪訓練數據由更新后的模型生成。

如流程圖所示，SePT 的核心極其簡潔：當前模型先生成答案，再用這些答案做標準 SFT，隨后由更新后的模型重新生成下一輪訓練數據。下面先看這種在線循環自訓練到底帶來了多少提升。

數學推理上的結果：SePT vs Baseline

主結果如圖所示。這里的 baseline 并非默認采樣設置下直接評測的基座模型，而是未做后訓練、但在推理階段經過 temperature sweep 并取最佳結果的強基線。經過 SePT 自訓練后， 在 6 個數學基準測試集平均后的 Pass@1、Pass@8、Pass@32 和 AVG 上均有明顯提升。

在 Qwen2.5-Math-7B 上，6 個數學基準測試集平均后的 Pass@1、Pass@8、Pass@32 和 AVG：SePT 在各項指標上均明顯高于上述 baseline。

數學推理上的結果：SePT vs RLVR

如果進一步與 RLVR 方法（ GRPO） 比較，可以看到：自訓練方法SePT 已經能夠取得與 GRPO 較為接近的結果，尤其是在OTM數據集上。

結合表中的結果，在 Qwen2.5-Math-7B 上，使用 OTM 時，SePT 和 GRPO 的 AVG 分別為 55.2 和 56.6，差距只有 1.4；而在 DSR 上，這一差距擴大為 4.1（55.0 vs. 59.1）。在 DeepSeek-Math-7B-Instruct 上，同樣的差距分別為 0.4（33.0 vs. 33.4）和 1.7（33.9 vs. 35.6）。甚至在 Qwen2.5-Math-7B 的 OTM 設置下，SePT 的 Pass@1 還略高于 GRPO（40.8 vs. 39.5）。

這些結果說明，在本文的比較設置下，SePT 對訓練題集選擇表現出更小的波動，而 GRPO 在 DSR 上的增益更明顯。

OpenThoughts-Math（OTM）和 DeepScaleR（DSR）在 Qwen2.5-Math-7B 與 DeepSeek-Math-7B-Instruct 上的平均基準比較。兩套訓練題集規模相近。Δ 表示 DSR 相對 OTM 的變化，陰影標出 DSR 至少高出 OTM 2.0 分的情形。

SePT 算法具體流程

SePT 有著極其簡潔的自訓練框架設計，可以概括為以下三個步驟：

這一設計的關鍵可概括為：溫度解耦、標準SFT訓練，最新模型自生成數據。

SePT 中的在線自生成數據

本文進一步通過消融實驗驗證了這一設計的重要性：如果將“由最新模型逐輪生成下一輪訓練數據”改為固定數據訓練，性能會明顯下降。以 Qwen2.5-Math-7B 為例，SePT (Offline) 的 AVG 為 45.5，而在線版本的 SePT 可達到 55.0。

SePT 與 SePT (Offline) 在 Qwen2.5-Math-7B 上的比較，括號中的數值表示相對 baseline 的變化。

SePT 中的溫度解耦

為什么這件事重要？本文的定理一給出了一個直觀的理論論證：

這一點在實驗上也被直接驗證了。以 Qwen2.5-Math-7B 為例，若使用 temperature coupling，Pass@1/Pass@8/Pass@32/AVG 只有 19.3/50.1/64.3/44.6，Pass@1 甚至低于 baseline；而采用 decoupling 后，四項指標可以提升到 39.5/57.7/67.9/55.0。

也就是說，SePT 里“低溫生成 + 標準 SFT”對于數學推理的提升并不是一個經驗 trick，而是理論與實驗都支持的重要設計。

Qwen2.5-Math-7B 在溫度耦合與解耦方案下的對比。括號內數值表示方法值與基準值的差（Method?Baseline）。

Pass@1、Pass@8、Pass@32 以及 AVG 在基座模型上隨采樣溫度變化的結果。

自訓練是否會損害模型通用能力？

模型的一般能力會不會因為只在數學自生成軌跡上繼續訓練而受損？本文在 Qwen2.5-Math-7B 上的一組 general-domain benchmark正面回答了這一問題，測試基準包括 IFEval、BBH、GPQA、MuSR 和 MMLU-Pro。結果基本是幾乎不掉：基礎模型分別為 23.4/47.5/29.9/41.4/32.1，SePT 為 23.6/47.3/30.6/41.5/32.2。也就是說，SePT 在 IFEval、GPQA、MuSR、MMLU-Pro 上都有輕微提升，BBH 基本不變；GRPO 也呈現了類似模式。這表明SePT自訓練方法不會明顯損害模型的通用能力。

Qwen2.5-Math-7B 基座模型及其 SePT、GRPO 訓練版本在通用領域的評測結果。

代碼簡單可用