近期，上海人工智能實(shí)驗(yàn)室攜手清華大學(xué)及美國伊利諾伊大學(xué)香檳分校的研究團(tuán)隊(duì)，共同研發(fā)出了一種創(chuàng)新方法，用以解決大型語言模型在強(qiáng)化學(xué)習(xí)過程中的策略熵崩潰問題。這一突破性的進(jìn)展，得益于Clip-Cov和KL-Cov兩項(xiàng)技術(shù)的引入。5uK28資訊網(wǎng)——每日最新資訊28at.com

隨著大型語言模型（LLMs）在邏輯推理能力上的顯著提升，強(qiáng)化學(xué)習(xí)（RL）的應(yīng)用場景得以大幅擴(kuò)展，從原先的單一任務(wù)擴(kuò)展到更為復(fù)雜多變的環(huán)境。這一轉(zhuǎn)變，無疑為模型賦予了更強(qiáng)的泛化能力和邏輯推理能力。然而，強(qiáng)化學(xué)習(xí)的高計算資源需求以及策略熵下降的問題，成為了制約其進(jìn)一步發(fā)展的關(guān)鍵因素。5uK28資訊網(wǎng)——每日最新資訊28at.com

策略熵，作為衡量模型在利用已知策略和探索新策略之間平衡狀態(tài)的指標(biāo)，其過低會導(dǎo)致模型陷入對已有策略的過度依賴，從而失去對新策略的探索能力。這種探索與利用之間的權(quán)衡，正是強(qiáng)化學(xué)習(xí)的基礎(chǔ)所在。因此，如何有效控制策略熵，成為了強(qiáng)化學(xué)習(xí)訓(xùn)練過程中的一大難題。5uK28資訊網(wǎng)——每日最新資訊28at.com

為解決這一問題，研究團(tuán)隊(duì)提出了一個全新的經(jīng)驗(yàn)公式：R = ?a exp H + b，其中R代表下游任務(wù)的表現(xiàn)，H為策略熵，a和b為擬合系數(shù)。該公式揭示了策略性能與熵值之間的微妙關(guān)系，并指出熵耗盡是導(dǎo)致性能瓶頸的主要原因。在此基礎(chǔ)上，團(tuán)隊(duì)進(jìn)一步分析了熵的動態(tài)變化，發(fā)現(xiàn)其受到動作概率與logits變化協(xié)方差的影響。5uK28資訊網(wǎng)——每日最新資訊28at.com

針對這一發(fā)現(xiàn)，團(tuán)隊(duì)創(chuàng)新性地提出了Clip-Cov和KL-Cov兩項(xiàng)技術(shù)。前者通過裁剪高協(xié)方差token來維持熵水平，后者則通過施加KL懲罰來達(dá)到同樣的效果。實(shí)驗(yàn)結(jié)果顯示，這兩項(xiàng)技術(shù)在Qwen2.5模型和DAPOMATH數(shù)據(jù)集上均取得了顯著成效，特別是在AIME24和AIME25等高難度基準(zhǔn)測試中，32B模型的性能提升高達(dá)15.0%。5uK28資訊網(wǎng)——每日最新資訊28at.com

5uK28資訊網(wǎng)——每日最新資訊28at.com

為進(jìn)一步驗(yàn)證這兩項(xiàng)技術(shù)的有效性，研究團(tuán)隊(duì)還在包括Qwen2.5、Mistral、LLaMA和DeepSeek在內(nèi)的11個開源模型上進(jìn)行了測試，這些模型的參數(shù)規(guī)模從0.5B到32B不等，涵蓋了數(shù)學(xué)和編程任務(wù)的8個公開基準(zhǔn)測試。實(shí)驗(yàn)結(jié)果表明，Clip-Cov和KL-Cov技術(shù)均能在不同模型上維持更高的熵水平，從而顯著提升模型的性能。5uK28資訊網(wǎng)——每日最新資訊28at.com

5uK28資訊網(wǎng)——每日最新資訊28at.com

在訓(xùn)練過程中，研究團(tuán)隊(duì)采用了veRL框架和零樣本設(shè)置，并結(jié)合了GRPO、REINFORCE++等算法來優(yōu)化策略性能。實(shí)驗(yàn)結(jié)果顯示，KL-Cov方法在基線熵值趨于平穩(wěn)時，仍能保持10倍以上的熵值，充分證明了其有效性。5uK28資訊網(wǎng)——每日最新資訊28at.com

5uK28資訊網(wǎng)——每日最新資訊28at.com

此次研究不僅成功解決了策略熵崩潰問題，還為強(qiáng)化學(xué)習(xí)在語言模型中的擴(kuò)展提供了堅實(shí)的理論支持。研究團(tuán)隊(duì)強(qiáng)調(diào)，熵動態(tài)是制約性能提升的關(guān)鍵瓶頸，未來需要繼續(xù)探索更為有效的熵管理策略，以推動語言模型的智能化發(fā)展。5uK28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://m.rrqrq.com/showinfo-48-7465-0.html上海AI實(shí)驗(yàn)室攜手高校，創(chuàng)新技術(shù)破解AI強(qiáng)化學(xué)習(xí)熵崩潰挑戰(zhàn)

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 蘋果A20芯片將用2納米工藝，全新封裝技術(shù)為iPhone18帶來哪些變革？

下一篇： 英偉達(dá)市值飆漲，3.45萬億美元力壓微軟重登全球第一寶座