發表時間： 2023 (NeurIPS 2023)
文章要點： 文章提出一個evolvable LLM-based agent框架REMEMBERER，主要思路是給大模型加一個experience memory存儲過去的經驗，然后用Q-learning的方式計算Q值，再根據任務相似度采樣軌跡和對應的Q值作為prompt指導LLM進一步選取動作和環境交互。這里的Semi-Parametric Reinforcement Learning就指的experience memory可以用RL來計算Q值，evolvable就指的prompt可以通過這種交互的方式不斷演化。作者把這種更新方式叫做Reinforcement Learning with Experience Memory (RLEM)。并聲稱這種外部memory存儲的方式可以利用不同任務的經驗，而且可以達到長期記憶的效果。下面這個示意圖有點太冗余了，主要區別就是memory合成一個了。

然后具體方法很簡單，LLM和環境交互得到觀測和獎勵，存到memory里面，

其實還應該有reward，圖3里面沒有強調。然后用貝爾曼最優公式更新Q值

如果來了一個新的（任務-狀態-動作）對，那就直接賦值為Q，

否則就加權更新

實際中Q的計算用的是Monte Carlo return。
然后使用軌跡的時候，結合任務相似度和觀測相似度設計一個度量指標

針對每個不同的任務設計了不同的相似度計算方式，然后采樣m條最相思的軌跡作為prompt。整個方法就結束了。
總結：很簡單的方法，也make sense。
不過有種LLM套RL殼子的感覺。比如實驗的兩個環境WebShop和WikiHow最大步長都是5，其實太短了。而且WebShop沒有中間reward，所有這個Q其實并不能stitch。而且memory的存儲方式看起來RL并沒有用網絡擬合，只是一個Q table，很難利用RL的policy improvement和泛化能力。總得來說，主要就是記住了之前的軌跡的獎勵，RL其實大概率沒影響。
然后相似度的設計要具體任務具體設計，就不太通用了。
疑問：無。