僅有訓練是不夠的：大型語言模型和推理模型需要強化學習

大多數熟悉生成式模型的人都知道，許多大型語言模型（LLM）是在互聯網全部內容上訓練的。許多人認為，其數百萬的參數和超參數（數量遠超上一代神經網絡）是一項重大進步。然而，很少有人意識到，如果沒有強化學習，這些語言模型遠未準備好投入生產環境，尤其是對企業用戶而言。

這種機器學習形式對于完善（或優化）LLM以及這些模型的下一階段演進，即推理模型，是必不可少的。推理模型是指那些在返回問題答案時，同時給出模型生成輸出所采用的步驟或推理過程的模型。相比之下，LLM主要設計用于預測序列中下一個出現的詞——并不一定理解其含義或與問題的關系（這也解釋了它們的"幻覺"現象）?？傮w而言，它們缺乏具體的知識庫。

據SAS人工智能與機器學習總監Jorge Silva介紹，"強化學習在這一切中扮演什么角色？因為你需要在訓練的每一步都知道自己做得如何，而訓練是迭代的，要反復多次通過數據，所以你要看到自己表現如何。而你最想確保的事情是預測正確的詞。"

強化學習為Jorge Silva提到的訓練步驟提供獎勵，同時構建有效的策略來優化語言模型的預測。

對于推理模型，強化學習超越了僅預測序列中下一個詞的范疇。它確保模型為其回答提供具體的理由——賦予它們比LLM更完整的宇宙觀或世界觀。

"訓練推理模型時，你不僅想預測下一個詞，"Jorge Silva說，"當訓練像DeepSeek-R1這樣的模型時，你還想提供格式良好、有充分依據的推理部分。"

解構強化學習

與監督學習和自監督學習不同，強化學習不需要訓練數據。相反，模型的學習源于代理與環境的動態交互。主要基于自監督學習訓練的推理模型和LLM，正是提供了這樣的環境。

"因為強化學習是在不確定性的情況下順序做出決策，所以讓強化學習策略作為你的智能體是理想的選擇。"Jorge Silva表示。

強化學習策略為智能體提供了邏輯基礎，使其能夠對模型在訓練中經歷的各個步驟的輸出進行獎勵或懲罰。例如，包含推理模型輸出解釋的回答，比沒有解釋的輸出獲得更高的獎勵。

群體相對策略優化

群體相對策略優化是用于DeepSeek-R1等推理模型的具體強化學習方法。采用這種技術，"本質上是生成各種候選答案，"Jorge Silva解釋道，"如果你給它同樣的提示詞重復10次，它會得到10個不同的補全。然后，它會判斷這些補全中哪一個具有最大優勢。"

在更廣泛的機器學習語境中，"補全"（completions）一詞有多種含義。然而，當具體應用于強化學習時，補全"意味著它生成自己的標簽，從而避免依賴監督學習，"Jorge Silva說。

采用這種方法，對手頭任務具有最大優勢的補全會被納入獎勵計算——這指導強化學習策略的構建。

"然后，該補全作為訓練整體LLM的標簽，"Jorge Silva表示。因此，獎勵（基于數值）指導策略如何發展，以最好地促進模型的整體目標。

此外，當具體應用于推理模型時，"這是將DeepSeek-V3轉化為DeepSeek-R1的優化的一部分，讓你從基礎模型轉變為推理模型，"Jorge Silva評論道。

候選補全

補全是群體相對策略優化的一個核心方面，因為它們代表了推理模型可能執行的邏輯步驟的各種潛在回答。雖然強化學習不涉及訓練數據，但用于訓練LLM和推理模型的自監督學習方法確實涉及訓練數據。采用這種機器學習形式，"你拿一份文檔，在訓練時只給LLM一部分內容，它必須猜測其余部分。"Jorge Silva說。

群體相對策略優化中涉及的不同候選補全，部分基于模型已經完成的訓練。據Jorge Silva介紹，"每個補全都會提供替代的推理解釋，每個都有不同的獎勵值，這在很大程度上取決于匹配正確解釋應該是什么，并確保正確答案存在。"

計算不同補全獎勵的方法各不相同。有時，強化學習智能體可以審查伴隨的搜索和響應字符串，例如如何求解特定一元二次方程。在這種情況下，它們會給予涉及特定數學運算（如正負一的平方根）的補全更高獎勵。

其他時候，獎勵可能基于與思考標簽相關的分隔符中的信息。采用這種方法，補全中有一個詳盡的推理部分作為獎勵的基礎。

一如既往，"你需要知道正確答案，但你需要確保存在推理部分，"Jorge Silva說，"所以我們有一種方法來計算所有候選補全的獎勵。"

推理模型的意義

推理模型的重要性是多方面的。它們編碼了輸出所采用的邏輯和步驟，這些通過群體相對策略優化等強化學習技術得到最大化。此外，通過被構建為提供解釋，它們在與人的交互中可能更具人性化。