在DeepSeek-R1的開源狂歡之后，感覺不少朋友都陷入了**技術舒適區**，但其實當前的大模型技術只是跨進了應用階段，可以探索的領域還有不少，所以這一章咱不聊論文了，偶爾不腳踏實地，單純仰望天空，聊聊還有什么有趣值得探索的領域，哈哈有可能單純是最近科幻小說看太多的產物~

在DeepSeek-R1的開源狂歡之后，感覺不少朋友都陷入了技術舒適區，但其實當前的大模型技術只是跨進了應用階段，可以探索的領域還有不少，所以這一章咱不聊論文了，偶爾不腳踏實地，單純仰望天空，聊聊還有什么有趣值得探索的領域，哈哈有可能單純是最近科幻小說看太多的產物~

尚未攻克的持續學習

當前的大模型訓練還是階段式的，OpenAI每隔幾個月就會對模型進行重新訓練，延長模型的世界知識截止時間。說白了就是全新、覆蓋式的知識寫入。就像西西弗斯推石頭，每次全量訓練都意味著對先前知識的系統性遺忘。而真正意義上的持續學習和試試學習，當前似乎還是個未解之謎。當然也有觀點認為有機體的進化，本身就和無機體的進化存在完全不同的路徑，所以大模型是否真的需要持續學習，不少人也是打問號的。

之前接觸到的真正使用在線更新的主要在推薦領域，基于實時發生的用戶長短行為序列進行持續的模型訓練和迭代更新。但是這類模型本質只是行為表征和擬合，和當前的大模型還是有比較大的區別。而在NLP領域雖然之前有不少元學習，持續學習的論文發表，但是和R1的RL訓練，ChatGPT的SFT指令訓練一對比就會發現，它們可能還沒找到正確的打開方式。其實從Word2Vec、Bert、CLIP、ChatGPT、R1不難看出，每個劃時代的模型所使用的技術本身基本都符合大道至簡的原理，匠氣更少一些，Scaling曲線更長一些。

持續學習其實包含多個方面，比較重要的一個是單純的增量世界知識的補充，也就是在模型上一次截止訓練后至今世界上增量產生的知識和信息。之前訓練模式在持續訓練上最大的問題就是災難遺忘，學了新的忘了舊的，撿了芝麻丟了西瓜。這里純純個人猜想的一個可能原因來自于當前Transformer模型結構中，模型習得的語言能力、世界知識、任務完成能力、思考推理能力，這些能力是糾纏在一起存儲在Transformer參數中的。導致繼續學習的過程中我們只學知識，就會遺忘任務完成能力；只補充任務完成能力，不更新知識就會增加模型幻覺（模型以為自己行了！其實并不行）。但如果有結構能把以上能力分層解耦，知識既客觀事實的存儲純靠背誦，推理能力更多依賴模型基于反饋探索優化，而語言能力其實沒有更新的必要。甚至模型可以在實現推理和語言能力不變的情況下，持續更新知識，或者對知識存儲定期進行蒸餾壓縮。之前一些知識編輯的論文其實就研究過大模型的知識存儲，并發現在MLP層其實存在知識以Key-Value鍵值對形式存儲。

持續學習的另一個方向是推理和任務完成能力，是基于大模型在使用工具完成任務的過程中，收到的環境給予的反饋，模型需要基于反饋優化行為路徑和任務完成形式，這樣才能在不斷的練習中逐步提高任務完成的成功率。哈哈那借鑒《三體》中的文明進化機制，我們是否可以為模型構建虛擬生態圈，類似斯坦福小鎮等"AI 沙盒"，大模型本身是Policy，由沙盒本身生成大模型的任務todo，并評估模型的完成效果，生成反饋信號。沙盒中也允許模型接入各類MCP接口去和環境進行交互，還可以在沙盒環境中動態加入各類約束和競爭條件，例如

• 動態獎勵：基于任務完成度進行推理資源的動態分配，鼓勵模型用更少的資源解決更復雜的問題
• 種群競爭：多智能體同一任務完成效果對比擇優
• 環境突變模擬：隨機修改MCP接口，讓模型動態適應和環境的不同交互

內生化RAG是什么樣子

除了模型本身能力的持續進化，另一個似乎進入技術共識的就是RAG檢索增強技術。當前解決模型獲取實時信息的方式還是比較傳統上一代的搜索方案，構建知識庫，Query改寫，多路召回，粗排精排，雖然Knowledge Retriever的每一步都可以使用大模型進行能力增強但整個知識、實時信息獲取的模塊還是完全外掛在模型之外的，其實是上一代搜索技術和這一代大模型技術的拼接式實現方案。這種方案有什么問題呢？

一個就是模型上文的有限長度，雖然通過各種注意力機制改進和前期的長上文訓練，模型的上文context已經從最早的1024一路狂飆到了幾十K的長度，但依舊難以避免在更長文本上回答效果的衰減。而之所以上文的長度會更長更長，來自于通過搜索召回、多輪對話的信息是線性平鋪，沒有經過壓縮處理。

R1之后我也在想問題的表現形式和問題的解決方案可能是不一致的，就像我們看到模型推理過程中存在反思，糾錯，生成新的假設，就認為這可能是樹形的思考結構。而R1證明線性思考鏈路+Attention注意力機制也可以實現，那是否有可能上面提到的這種壓縮處理也是可以通過Attention直接實現的呢？但現在的我（哈哈未來的我不一定這么想）認為Attention并不足夠，因為之前所有Attention的改良都在提高Aettention對各個位置、各個長度信息的高效定位和選擇能力，但這只是信息選擇，而非信息壓縮，選擇只是信息的拼接，而壓縮能產生信息之外的智能和抽象概念。有些類似GraphRAG的節點和關系抽象，但是又不想Graph受到三元組形式的限制。

所以我就想那是否有可能在模型使用檢索上文進行推理的同時，對這部分上文進行重新的壓縮編碼并存儲到另一個獨立的存儲模塊，之后每一次回答模型都會使用存儲模塊和外部檢索一同回答。并隨著模型不斷回答問題，存儲模塊的內容范圍會持續擴展，而每次對存儲模塊的更新，都是新一輪的知識壓縮，知識消歧，從知識中反思形成新的思考，這樣存儲中知識的密度會越來越高而長度卻不會發生線性增長。看到最近英偉達推出的star Attention其實就有類似的context先編碼再進行推理的思路，不過只涉及到一次信息壓縮，沒有更深層次多步的壓縮和反思，類似于on-the-fly的推理信息壓縮方式。還有有一個開源項目Mem0也有類似的思路，會通過工程設計不斷對對話的上文歷史進行總結抽象，沖突消解并形成長短期、不同類型的記憶存儲。

另一個就是搜索能力和模型能力的不匹配，搜索引擎一次搜索返回的信息深度和廣度都比較有限，前一年主要方案是利用大模型去進行query改寫，從多個角度一起檢索，但這種方案的弊端就是閉著眼睛撒網全憑運氣，改寫的好問題就能回答，改寫的不好就完蛋。于是在大模型能力（反思能力為主）逐步提升的當前，又出現了以模型反思驅動的鏈式搜索推理模式，包括OpenAI的Deep Research，以及jina, Dify，Huggingface推出的更多開源版模式相似的Deep Search實現方案（對于Research和Search的邊界其實非常模糊，請不要糾結這個問題，一切以效果和具體解決的問題為主）。概念很好懂，就是每輪都是有限搜索，然后讓模型判斷對于回答用戶提問還需要補充哪些信息，然后生成新的搜索query，再去搜索，對信息進行補充更新，然后迭代下去，直到模型判斷Okay。

這種方式我們測試后信息密度和信息豐富度，在使用O1，R1以上的模型后，會有顯著的提升，但使用非思考類的模型，效果基本和我們人工調優后的多步RAG效果差別不大，但速度要顯著慢很多。原因也簡單多數問題還是能通過前期規劃和2步以內的信息補充完成，而超過這個復雜程度的問題，對模型本身思考推理能力的要求也就變得很高。但這種方式的問題就在于整個流程的時間會變得不可控制，短則幾分鐘，長則幾十分鐘。當然和人工收集信息的速度相比是快的，但是似乎又和我們理想中的Javis有了比較大的差距。

所以想要加速信息收集的過程，我們跳出Deep Research的框架，是否有可能把模型被動獲取信息，轉換成模型主動獲取并存儲信息，類似把模型直接接入數據流，持續處理、篩選、整合、并進行壓縮編碼。這樣搜索的過程就不再是調用搜索引擎去訪問外部數據，而是直接借助Attention在編碼的數據庫中直接獲取有效信息，信息提取效率，和信息獲取的豐富度都是都會更好。最大的難點不在于構建實時世界的數據流，畢竟可以先做一個子領域，像金融資訊的場景流式數據很多，難點主要在于如何流式處理數據并壓縮編碼成和模型內生參數處于同一個高維空間的數據庫。畢竟這份數據并不隨模型一起訓練，所以如何保證向量空間的一致是最大的問題，或者訓練個Adapter類似多模態的橋接模型。最近看到谷歌出的Titan其實已經開始探索這些方向啦，下一章我們就圍繞記憶展開聊聊。

哈哈哈這一章就聊這么多，也是最近代碼看的多，論文讀的少，確實沒看到啥值得分享的，所以又水了一章真棒！

想看更全的大模型論文·微調預訓練數據·開源框架·AIGC應用 >> DecryPrompt