這項由加州大學(xué)洛杉磯分校數(shù)學(xué)系研究團隊完成的研究發(fā)表于2026年2月，論文編號為arXiv:2602.17080v2大學(xué)。研究團隊在深度學(xué)習(xí)優(yōu)化領(lǐng)域取得了重要突破，開發(fā)出了名為NAMO和NAMO-D的新型優(yōu)化算法。
訓(xùn)練人工智能模型就像調(diào)試一臺復(fù)雜的收音機大學(xué)。你需要不斷調(diào)整各種旋鈕和參數(shù)，才能收到清晰的信號。在這個過程中，有時會遇到強烈的干擾和噪聲，讓調(diào)試變得異常困難。傳統(tǒng)的優(yōu)化方法就像只有幾個基礎(chǔ)旋鈕的老式收音機，而研究團隊提出的NAMO系列優(yōu)化器則像是配備了智能信號處理系統(tǒng)的現(xiàn)代數(shù)字收音機，能夠自動識別和過濾噪聲，同時保持信號的清晰度。
在人工智能訓(xùn)練過程中，算法需要處理大量的數(shù)據(jù)噪聲，這些噪聲就像收音機中的雜音一樣，會干擾模型的學(xué)習(xí)效果大學(xué)。長期以來，研究者們一直在尋找既能有效處理噪聲，又能保持訓(xùn)練效率的優(yōu)化方法。目前最流行的Adam優(yōu)化器雖然具有自適應(yīng)特性，但在處理某些類型的矩陣結(jié)構(gòu)數(shù)據(jù)時表現(xiàn)不夠理想。而最近出現(xiàn)的Muon優(yōu)化器雖然在處理矩陣結(jié)構(gòu)方面有所突破，但對噪聲的適應(yīng)能力還有改進空間。
研究團隊意識到，現(xiàn)有的優(yōu)化器就像兩個各有特長但也各有短板的工具大學(xué)。Adam優(yōu)化器擅長適應(yīng)噪聲變化，就像一個敏感的音量調(diào)節(jié)器，能根據(jù)環(huán)境噪聲自動調(diào)整音量大小。而Muon優(yōu)化器則擅長處理矩陣結(jié)構(gòu)，就像一個專業(yè)的信號方向調(diào)節(jié)器，能夠精確控制信號的傳播方向。研究團隊的創(chuàng)新之處在于，他們成功地將這兩種能力結(jié)合起來，創(chuàng)造出了既能智能調(diào)節(jié)音量又能精確控制方向的綜合調(diào)節(jié)系統(tǒng)。
一、核心創(chuàng)新大學(xué)：智能信號處理系統(tǒng)的設(shè)計
NAMO優(yōu)化器的設(shè)計理念可以用現(xiàn)代汽車的駕駛輔助系統(tǒng)來理解大學(xué)。傳統(tǒng)的優(yōu)化器就像手動擋汽車，司機需要根據(jù)路況手動調(diào)節(jié)各種參數(shù)。而NAMO就像配備了智能駕駛系統(tǒng)的汽車，能夠自動感知路況變化并做出相應(yīng)調(diào)整。
具體來說，NAMO的工作原理包含兩個關(guān)鍵組件大學(xué)。第一個組件是"方向保持器"，它繼承了Muon優(yōu)化器的優(yōu)勢，能夠保持更新方向的數(shù)學(xué)正交性。這就像汽車的方向盤控制系統(tǒng)，確保車輛始終朝著正確的方向行駛，不會因為路面顛簸而偏離軌道。第二個組件是"速度調(diào)節(jié)器"，它借鑒了Adam優(yōu)化器的自適應(yīng)特性，能夠根據(jù)當(dāng)前的訓(xùn)練環(huán)境動態(tài)調(diào)整學(xué)習(xí)速度。這就像汽車的巡航控制系統(tǒng)，在平坦路段加速行駛，在復(fù)雜路段減速慢行。
研究團隊還開發(fā)了NAMO的增強版本NAMO-D，這個版本就像為每個車輪都配備了獨立的懸掛系統(tǒng)大學(xué)。普通版的NAMO使用統(tǒng)一的速度調(diào)節(jié)策略，就像四個車輪使用同樣的懸掛設(shè)置。而NAMO-D則為每個"神經(jīng)元"都配備了獨立的調(diào)節(jié)機制，就像每個車輪都有自己專門的懸掛系統(tǒng)，能夠更精細地適應(yīng)各種路況變化。
展開全文
在技術(shù)實現(xiàn)上，NAMO通過一個巧妙的數(shù)學(xué)技巧實現(xiàn)了這種雙重調(diào)節(jié)功能大學(xué)。研究團隊發(fā)現(xiàn)，可以將矩陣的正交化操作（保持方向）與基于范數(shù)的自適應(yīng)縮放（調(diào)節(jié)速度）有機結(jié)合起來。這種結(jié)合方式不僅保持了原有優(yōu)勢，還產(chǎn)生了協(xié)同效應(yīng)，使得整體性能超過了兩種方法簡單相加的效果。
NAMO-D的設(shè)計更加精妙，它采用了所謂的"對角矩陣右乘"技術(shù)大學(xué)。用通俗的話說，就是為每一列神經(jīng)元參數(shù)都配備了專門的調(diào)節(jié)器。這些調(diào)節(jié)器不是獨立工作的，而是在保持整體協(xié)調(diào)的前提下，各自負責(zé)自己那一部分的優(yōu)化調(diào)節(jié)。為了防止某些調(diào)節(jié)器過于激進而破壞整體平衡，研究團隊還設(shè)計了一套"夾緊"機制，就像給每個調(diào)節(jié)器都設(shè)置了安全閾值，確保所有調(diào)節(jié)器的工作都在合理范圍內(nèi)。
二、理論保證大學(xué)：為什么這套系統(tǒng)真的有效
任何新的優(yōu)化方法都需要嚴格的理論證明來支撐其有效性，就像新藥上市前需要經(jīng)過嚴格的臨床試驗一樣大學(xué)。研究團隊為NAMO和NAMO-D提供了完整的理論分析，證明了這些方法在各種條件下都能保持良好的收斂性能。
在確定性環(huán)境下，也就是沒有數(shù)據(jù)噪聲干擾的理想情況下，兩種算法都能達到最優(yōu)的收斂速度大學(xué)。這就像在平坦無風(fēng)的高速公路上駕駛，車輛能夠以最優(yōu)的速度穩(wěn)定前行。具體來說，算法的收斂速度達到了理論上的最優(yōu)界限，即O(T^(-1/2))，這意味著隨著訓(xùn)練步數(shù)T的增加，算法找到最優(yōu)解的速度會以根號倒數(shù)的形式提升。
更重要的是，在隨機環(huán)境下，也就是存在數(shù)據(jù)噪聲的實際訓(xùn)練場景中，NAMO和NAMO-D展現(xiàn)出了優(yōu)異的噪聲適應(yīng)能力大學(xué)。研究團隊證明，這兩種算法的收斂保證能夠自動適應(yīng)隨機梯度的噪聲水平。當(dāng)訓(xùn)練數(shù)據(jù)的噪聲較小時，算法接近確定性情況下的最優(yōu)性能。當(dāng)噪聲較大時，算法會自動調(diào)慢收斂速度，確保訓(xùn)練的穩(wěn)定性。
這種自適應(yīng)特性的理論表達是O(T^(-1/4) + √(σ)b^(-1/4)T^(-1/8))，其中σ代表噪聲強度，b代表批次大小大學(xué)。這個公式告訴我們一個重要的實踐指導(dǎo)原則：當(dāng)我們增加訓(xùn)練批次的大小時，算法能夠更好地抵抗噪聲干擾，從而獲得更好的收斂性能。當(dāng)批次大小足夠大時，噪聲項會被顯著抑制，算法的收斂速度接近理論最優(yōu)值O(T^(-1/4))。
理論分析還揭示了NAMO-D中夾緊機制的重要性大學(xué)。通過數(shù)學(xué)推導(dǎo)，研究團隊證明了適當(dāng)?shù)膴A緊參數(shù)設(shè)置能夠平衡兩個相互競爭的目標(biāo)：維持良好的更新方向條件數(shù)和充分利用細粒度的噪聲適應(yīng)能力。這種平衡就像調(diào)節(jié)收音機時需要在信號清晰度和音量大小之間找到最佳平衡點一樣。
三、實驗驗證大學(xué)：在GPT-2訓(xùn)練中的出色表現(xiàn)
理論再完美，也需要實際驗證來證明其價值大學(xué)。研究團隊選擇了GPT-2語言模型作為測試平臺，這是一個廣泛使用的基準(zhǔn)模型，能夠很好地驗證優(yōu)化器的實際效果。
實驗設(shè)計就像一場公平的賽車比賽大學(xué)。研究團隊讓NAMO、NAMO-D與目前最流行的AdamW優(yōu)化器以及最新的Muon優(yōu)化器在相同的條件下競賽。所有優(yōu)化器都使用相同的數(shù)據(jù)集（包含約90億個訓(xùn)練詞匯的OpenWebText數(shù)據(jù)集）、相同的模型架構(gòu)、相同的硬件環(huán)境（4塊NVIDIA H100 GPU）。
實驗包含了兩個不同規(guī)模的模型：小型版本（1.24億參數(shù)）和中型版本（3.55億參數(shù)）大學(xué)。這種設(shè)置就像測試汽車在城市道路和高速公路兩種不同場景下的性能表現(xiàn)。
在小型模型的訓(xùn)練中，NAMO和NAMO-D都展現(xiàn)出了比傳統(tǒng)方法更好的性能大學(xué)。具體來說，在經(jīng)過50,000步訓(xùn)練后，NAMO的訓(xùn)練損失降至2.9272，驗證損失為3.0351，而AdamW的相應(yīng)數(shù)值分別為3.0456和3.0643，Muon的數(shù)值為3.0265和3.0435。這些數(shù)字表明，NAMO在訓(xùn)練效率和泛化能力方面都有顯著提升。
更有趣的是，NAMO-D的表現(xiàn)甚至超過了NAMO，其訓(xùn)練損失進一步降至2.9167，驗證損失為3.0246大學(xué)。這驗證了研究團隊的預(yù)期：更精細的神經(jīng)元級別適應(yīng)能力確實能夠帶來額外的性能提升。
在中型模型的實驗中，優(yōu)勢變得更加明顯大學(xué)。經(jīng)過10,000步訓(xùn)練后，NAMO的訓(xùn)練損失為2.9359，驗證損失為2.9516，而AdamW的相應(yīng)數(shù)值為2.9760和2.9914。NAMO-D的表現(xiàn)依然是最佳的，訓(xùn)練損失為2.9351，驗證損失為2.9507。
研究團隊還進行了學(xué)習(xí)率敏感性分析，這就像測試汽車在不同速度設(shè)置下的穩(wěn)定性大學(xué)。結(jié)果顯示，NAMO和NAMO-D在更寬的學(xué)習(xí)率范圍內(nèi)都能保持穩(wěn)定的性能，這意味著它們對超參數(shù)設(shè)置的要求更加寬松，使用起來更加方便。
特別值得注意的是，NAMO-D中的夾緊參數(shù)c發(fā)揮了重要作用大學(xué)。在小型模型中，最佳的c值為0.1，而在中型模型中，最佳c值為0.9。這種差異表明，不同規(guī)模的模型需要不同程度的調(diào)節(jié)約束，這為實際應(yīng)用提供了重要的指導(dǎo)原則。
四、技術(shù)細節(jié)大學(xué)：算法的精妙設(shè)計
深入了解NAMO系列算法的技術(shù)細節(jié)，就像拆解一臺精密儀器，看看其內(nèi)部是如何巧妙運作的大學(xué)。
NAMO的核心創(chuàng)新在于將兩種看似不兼容的技術(shù)巧妙融合大學(xué)。第一種技術(shù)是矩陣正交化，這個過程可以比作給信號"校正方向"。在數(shù)學(xué)上，給定一個矩陣M，研究團隊通過奇異值分解得到M = UΣV^T，然后取其正交因子UV^T作為更新方向。這個正交因子具有特殊的幾何性質(zhì)，它保持了原始矩陣的主要方向信息，同時去除了可能導(dǎo)致訓(xùn)練不穩(wěn)定的冗余成分。
第二種技術(shù)是自適應(yīng)縮放，這個過程就像給信號"調(diào)節(jié)音量"大學(xué)。NAMO維護兩個統(tǒng)計量：動量的偏差校正估計和梯度平方范數(shù)的偏差校正估計。通過這兩個統(tǒng)計量的比值，算法能夠估計當(dāng)前的"信噪比"，并據(jù)此調(diào)節(jié)更新步長。當(dāng)噪聲較大時，這個比值較小，算法會自動減小步長以保持穩(wěn)定性。當(dāng)信號較強時，算法會相應(yīng)增大步長以加快收斂。
NAMO-D的設(shè)計更加精巧，它不是簡單地為整個矩陣使用統(tǒng)一的縮放因子，而是為每一列參數(shù)都計算獨立的縮放因子大學(xué)。這就像為一個管弦樂隊中的每種樂器都配備專門的音量控制器，而不是使用統(tǒng)一的總音量控制。具體來說，對于矩陣的第j列，算法會計算該列的范數(shù)，并基于該列對應(yīng)的二階矩估計來確定縮放因子。
為了防止某些縮放因子過于極端，NAMO-D引入了夾緊機制大學(xué)。這個機制的工作原理是：首先計算所有縮放因子的平均值，然后將每個縮放因子限制在[c*平均值, 平均值/c]的范圍內(nèi)，其中c是一個介于0和1之間的超參數(shù)。這種設(shè)計確保了所有縮放因子都在合理范圍內(nèi)，避免了某些方向的更新過于激進而破壞整體平衡。
算法的計算復(fù)雜度控制得非常好大學(xué)。NAMO相比于基礎(chǔ)的Muon優(yōu)化器，額外的計算開銷幾乎可以忽略不計，只增加了O(mn)的計算量，其中m和n分別是矩陣的行數(shù)和列數(shù)。NAMO-D的額外開銷也很少，主要是計算列范數(shù)和維護列級別的統(tǒng)計量。更重要的是，兩種算法都不需要額外的內(nèi)存開銷，這對于大規(guī)模模型訓(xùn)練來說是一個重要優(yōu)勢。
在實際實現(xiàn)中，研究團隊還考慮了數(shù)值穩(wěn)定性問題大學(xué)。他們使用了Newton-Schulz迭代來近似計算矩陣正交化，這是一種數(shù)值穩(wěn)定且計算高效的方法。同時，他們在分母中添加了小的正則化項ε來避免除零錯誤，并且這個正則化項會隨著訓(xùn)練進行動態(tài)調(diào)整。
五、實際應(yīng)用價值大學(xué)：對AI訓(xùn)練的深遠影響
NAMO系列優(yōu)化器的意義遠遠超出了學(xué)術(shù)研究的范疇，它們?yōu)閷嶋H的人工智能模型訓(xùn)練帶來了切實的改進大學(xué)。
從訓(xùn)練效率的角度來看，NAMO系列優(yōu)化器能夠幫助研究者和工程師更快地訓(xùn)練出高質(zhì)量的模型大學(xué)。在GPT-2的實驗中，NAMO-D相比AdamW在訓(xùn)練損失上平均改進了約3-4%，這個數(shù)字看似不大，但在大規(guī)模模型訓(xùn)練中，這種改進可能意味著節(jié)省數(shù)周的計算時間和大量的電力成本。
從實用性的角度來看，NAMO系列優(yōu)化器對超參數(shù)的敏感性較低，這對實際應(yīng)用來說是一個重要優(yōu)勢大學(xué)。傳統(tǒng)的優(yōu)化器往往需要精心調(diào)節(jié)學(xué)習(xí)率、動量系數(shù)等參數(shù)，這個過程既耗時又需要經(jīng)驗。而NAMO系列優(yōu)化器在更寬的參數(shù)范圍內(nèi)都能保持良好性能，這降低了使用門檻，讓更多的研究者和開發(fā)者能夠受益。
從擴展性的角度來看，NAMO的設(shè)計原理可以應(yīng)用到各種不同類型的神經(jīng)網(wǎng)絡(luò)架構(gòu)中大學(xué)。無論是用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)，還是用于自然語言處理的Transformer模型，只要涉及矩陣參數(shù)的優(yōu)化，都可以考慮使用NAMO系列優(yōu)化器。研究團隊在論文中提到，他們正在探索將這些技術(shù)擴展到更大規(guī)模的語言模型訓(xùn)練中。
對于工業(yè)界而言，NAMO系列優(yōu)化器提供了一種"即插即用"的解決方案大學(xué)。由于它們與現(xiàn)有的訓(xùn)練框架兼容，公司和研究機構(gòu)可以相對容易地將現(xiàn)有的訓(xùn)練流程升級到新的優(yōu)化器，而不需要大幅度改變現(xiàn)有的基礎(chǔ)設(shè)施。
研究團隊還開源了NAMO的完整實現(xiàn)代碼，這進一步降低了采用門檻大學(xué)。開源代碼包含了詳細的文檔和使用示例，使得其他研究者可以快速上手并在自己的項目中使用這些技術(shù)。
從長遠來看，NAMO系列優(yōu)化器代表了優(yōu)化算法發(fā)展的一個新方向：不是簡單地追求單一方面的改進，而是通過巧妙地結(jié)合現(xiàn)有技術(shù)的優(yōu)勢來實現(xiàn)整體性能的提升大學(xué)。這種思路可能會啟發(fā)更多類似的研究工作，推動整個深度學(xué)習(xí)優(yōu)化領(lǐng)域的發(fā)展。
研究團隊在論文中也誠實地指出了當(dāng)前工作的局限性大學(xué)。比如，他們主要在語言模型上進行了驗證，還需要在更多類型的任務(wù)上測試算法的泛化能力。此外，對于超大規(guī)模模型（比如參數(shù)量達到千億級別的模型），NAMO系列優(yōu)化器的表現(xiàn)還需要進一步驗證。
展望未來，研究團隊計劃開發(fā)更加輕量級的NAMO-D變體，進一步降低計算開銷大學(xué)。他們還計劃深入研究夾緊參數(shù)c的自動調(diào)節(jié)機制，使得NAMO-D能夠在訓(xùn)練過程中自動找到最佳的平衡點，進一步提升易用性。
說到底，NAMO系列優(yōu)化器的成功展示了科研中"站在巨人肩膀上"的價值大學(xué)。研究團隊并沒有完全重新發(fā)明輪子，而是聰明地識別出了現(xiàn)有技術(shù)的互補性，并找到了將它們有效結(jié)合的方法。這種研究思路不僅產(chǎn)生了實用的技術(shù)成果，也為其他研究者提供了寶貴的方法論啟示。對于那些對深度學(xué)習(xí)優(yōu)化技術(shù)感興趣的讀者，可以通過論文編號arXiv:2602.17080v2查找完整的技術(shù)細節(jié)。這項工作不僅推進了學(xué)術(shù)研究，更重要的是為實際的AI應(yīng)用提供了更好的工具，這正是優(yōu)秀科研工作應(yīng)有的價值體現(xiàn)。
Q&A
Q1：NAMO優(yōu)化器相比AdamW和Muon有什么優(yōu)勢大學(xué)？
A：NAMO優(yōu)化器結(jié)合了AdamW的噪聲適應(yīng)能力和Muon的矩陣結(jié)構(gòu)處理優(yōu)勢大學(xué)。在GPT-2訓(xùn)練中，NAMO的訓(xùn)練損失比AdamW改進了約3-4%，同時對學(xué)習(xí)率等超參數(shù)的敏感性更低，使用更方便，幾乎不增加額外的計算和內(nèi)存開銷。
Q2：NAMO-D的夾緊機制是怎么工作的大學(xué)？
A：NAMO-D為每列神經(jīng)元參數(shù)配備獨立的調(diào)節(jié)器，但為防止某些調(diào)節(jié)器過于激進，設(shè)置了夾緊機制大學(xué)。系統(tǒng)會計算所有縮放因子的平均值，然后將每個縮放因子限制在合理范圍內(nèi)，就像給每個音量調(diào)節(jié)器都設(shè)置安全閾值，確保整體平衡。
Q3：普通開發(fā)者能使用NAMO優(yōu)化器嗎大學(xué)？
A：可以的大學(xué)。研究團隊已經(jīng)開源了完整的NAMO實現(xiàn)代碼，包含詳細文檔和使用示例。由于NAMO與現(xiàn)有訓(xùn)練框架兼容，開發(fā)者可以相對容易地將現(xiàn)有訓(xùn)練流程升級到新優(yōu)化器，不需要大幅改變現(xiàn)有基礎(chǔ)設(shè)施。
