論文標題：Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG

文章導圖：

1 Introduction

LLMs 由于依賴靜態的預訓練數據而面臨重大限制。這種依賴通常導致信息過時、虛構的回答，以及無法適應動態的現實場景。這些挑戰強調了需要能夠整合實時數據并動態調整回答以保持上下文相關性和準確性的系統。

檢索增強生成（RAG）作為應對這些挑戰的一種有希望的解決方案出現。通過將 LLMs 的生成能力與外部檢索機制相結合，RAG 系統提高了回答的相關性和及時性。這些系統從知識庫、API或網絡等來源實時檢索信息，有效地彌合了靜態訓練數據與動態應用需求之間的差距。然而，傳統的 RAG 工作流程仍受限于線性和靜態的設計，限制了它們進行復雜的多步推理、整合深層次的上下文理解和迭代改進回答的能力。

Agents的演變顯著提升了人工智能系統的功能。Modern agents，包括由大型語言模型（LLM）驅動的和移動代理，是能夠感知、推理并自主執行任務的智能實體。這些agent利用agentic patterns，例如反思、規劃、工具使用以及多代理協作，來增強決策能力和適應性。

此外，這些agents采用agentic workflow模式，例如提示鏈（prompt chaining）、路由（routing）、并行化（parallelization）、編排器-工作者模型（orchestrator-worker models）以及評估器-優化器（evaluator-optimizer），來構建和優化任務執行。通過整合這些模式，Agentic RAG系統能夠高效地管理動態工作流并解決復雜的問題場景。RAG與agentic intelligence的融合催生了Agentic RAG，這是一種將agent整合到RAG流程中的范式。

Agentic RAG 實現了動態檢索策略、上下文理解和迭代改進，實現了自適應和高效的信息處理。與傳統的 RAG 不同，Agentic RAG 利用自主代理來編排檢索、篩選相關信息和改進回答，在需要精確性和適應性的場景中表現出色。Agentic RAG 的概述如下圖所示。

本綜述探討了Agentic RAG的基礎原理、分類和應用。它提供了檢索增強生成（RAG）范式的全面概述，包括 Na?ve RAG、Modular RAG和graph RAG，以及它們向agentic RAG系統的演變。主要貢獻包括對agentic RAG框架的詳細分類、在醫療保健[17,18]、金融和教育[19]等領域的應用，以及對實施策略、基準和倫理考量的見解。

本文的結構如下：第2節介紹檢索增強生成及其演變，強調傳統方法的局限性。第3節詳細闡述代理智能和代理模式的原理。第4節詳細闡述代理工作流模式。第5節提供代理式RAG系統的分類，包括單代理、多代理和基于圖的框架。第6節對代理式RAG框架進行比較分析。第7節考察代理式RAG的應用，第8節討論實施工具和框架。第9節關注基準和數據集，第10節以代理式RAG系統未來發展方向的總結結束。

2 Foundations of Retrieval-Augmented Generation

2.3 Evolution of RAG Paradigms

本節考察了檢索增強生成（RAG）范式的演變過程，介紹了其發展的關鍵階段——Na?ve RAG, Advanced RAG, Modular RAG, Graph RAG, Agentic RAG，以及它們的定義特征、優勢和局限性。通過了解這些范式的演變，讀者可以更好地理解檢索和生成能力的進步及其在各個領域的應用。

2.3.1 Na?ve RAG

下圖展示了 Na?ve RAG 的簡單檢索-閱讀工作流程，重點是**基于關鍵詞的檢索和靜態數據集**。這些系統依賴于簡單的基于關鍵詞的檢索技術，如 TF-IDF 和 BM25，從靜態數據集中獲取文檔。然后，檢索到的文檔用于增強語言模型的生成能力。

Na?ve RAG 的特點是簡單易實現，適用于涉及基于事實的查詢且上下文復雜性較低的任務。然而，它存在一些限制：

• 缺乏上下文意識：由于依賴 Lexical matching 而非 semantic understanding，檢索到的文檔往往無法捕捉查詢的語義細微差別
• 輸出碎片化：缺乏高級預處理或上下文整合往往導致回答不連貫或過于通用
• 可擴展性問題：基于關鍵詞的檢索技術在處理大型數據集時存在困難，往往無法識別最相關的信息

2.3.2 Advanced RAG

Advanced RAG 系統在 Na?ve RAG 的限制基礎上進行了改進，通過融入語義理解和增強的檢索技術。下圖突出了檢索中的語義增強以及 Advanced RAG 的迭代、上下文感知的流程。這些系統利用**密集檢索模型（如 Dense Passage Retrieval，DPR）**和**神經排序算法**來提高檢索精度。

Advanced RAG 的核心特性包括：

• 密集向量搜索：查詢和文檔以高維向量空間表示，從而實現用戶查詢和檢索到的文檔之間更好的語義對齊
• 上下文重新排序：神經模型重新對檢索到的文檔進行排序，以優先考慮最相關的上下文信息
• 迭代檢索：Advanced RAG 引入了多跳檢索機制，使得在復雜查詢中可以跨多個文檔進行推理

這些進展使得 Advanced RAG 適用于需要高精度和細致理解的應用，例如研究綜述和個性化推薦。然而，仍然存在一些挑戰，比如計算開銷和有限的可擴展性，特別是在處理大型數據集或多步查詢時。

2.3.3 Modular RAG

Modular RAG是 RAG 范式的最新演進，強調**靈活性**和**定制性**。這些系統將檢索和生成流程分解為獨立、可重用的組件，從而實現領域特定的優化和任務適應性。下圖展示了 Modular RAG 的架構，展示了混合檢索策略、可組合的流程和外部工具集成。

Modular RAG 的關鍵創新包括：

• 混合檢索策略：將稀疏檢索方法（例如 sparse encoder-BM25）與密集檢索技術（參考閱讀 7，例如 DPR - Dense Passage Retrieval）相結合，以在不同類型的查詢中最大化準確性
• 工具集成：將外部 API、數據庫或計算工具納入系統，用于處理特定任務，如實時數據分析或領域特定計算
• 可組合的流程：模塊化 RAG 使得檢索器、生成器和其他組件可以獨立替換、增強或重新配置，從而實現對特定用例的高度適應性

例如，一個專為金融分析設計的 Modular RAG 系統可以通過 API 獲取實時股票價格，利用密集檢索分析歷史趨勢，并通過定制的語言模型生成可操作的投資見解。這種模塊化和定制性使得 Modular RAG 非常適合處理復雜的、多領域的任務，既具有可擴展性又具有精確性。

2.3.4 Graph RAG

Graph RAG 通過集成基于圖的數據結構擴展了傳統的檢索增強生成系統，如下圖所示.這些系統利用**圖數據**中的關系和**層次結構**來增強多跳推理和上下文豐富化。通過整合基于圖的檢索，Graph RAG 能夠產生更豐富、更準確的生成輸出，特別適用于需要關系理解的任務。

Graph RAG 的特點包括：

• 節點連接性：捕捉并推理實體之間的關系
• 分層知識管理：通過基于圖的層次結構處理結構化和非結構化數據
• 上下文豐富：通過利用基于圖的路徑增加關系理解

然而，Graph RAG也有一些限制：

• 有限的可擴展性：依賴于圖結構可能會限制可擴展性，特別是在處理大量數據源時
• 數據依賴性：高質量的圖數據對于有意義的輸出至關重要，這限制了它在非結構化或標注不完善的數據集中的適用性
• 集成復雜性：將圖數據與非結構化檢索系統集成增加了設計和實現的復雜性

Graph RAG 非常適用于醫療診斷、法律研究和其他需要對結構化關系進行推理的領域

2.3.5 Agentic RAG

Agentic RAG 引入了具有**動態決策能力和工作流優化能力**的自主代理，**代表了一種范式轉變**。與靜態系統不同，Agentic RAG 采用**迭代改進**和**自適應檢索策略**來處理復雜的、實時的、多領域的查詢。這種范式利用了檢索和生成過程的模塊化，同時引入了基于代理的自治性。

Agentic RAG 的關鍵特性包括：

• 自主決策：代理根據查詢的復雜性獨立評估和管理檢索策略
• 迭代改進：引入反饋循環以提高檢索準確性和響應相關性
• 工作流優化：動態編排任務，實現實時應用的高效性

盡管 Agentic RAG 取得了進展，但也面臨一些挑戰：

• 協調復雜性：管理代理之間的交互需要復雜的編排機制
• 計算開銷：使用多個代理增加了復雜工作流的資源需求
• 可擴展性限制：雖然具有可擴展性，但系統的動態性可能會對高查詢量的計算資源造成壓力

Agentic RAG 在客戶支持、金融分析和自適應學習平臺等領域表現出色，其中動態適應性和上下文精確性至關重要。

2.4 Challenges and Limitations of Traditional RAG Systems

最顯著的局限性主要集中在**上下文整合**、**多步推理**以及**可擴展性**和**延遲**問題上。

2.4.1 Contextual Integration

即使 RAG 系統成功檢索到相關信息，它們通常難以將其無縫地融入生成的響應中。檢索流程的靜態性和有限的上下文意識導致輸出結果零散、不一致或過于通用

例如：對于一個查詢，比如“阿爾茨海默病研究的最新進展及其對早期治療的影響是什么？”，可能會得到相關的研究論文和醫療指南。然而，傳統的 RAG 系統往往無法將這些發現綜合成一個連貫的解釋，將新的治療方法與具體的患者情況聯系起來。同樣，對于一個類似“干旱地區小規模農業的最佳可持續實踐是什么？”的查詢，傳統系統可能會檢索到關于一般農業方法的文件，但忽視了針對干旱環境量身定制的關鍵可持續實踐。

2.4.2 Multi-Step Reasoning

許多實際查詢需要迭代或multi-hop推理，即在多個步驟中檢索和綜合信息。傳統的 RAG 系統往往無法根據中間洞察或用戶反饋來優化檢索，導致響應不完整或不連貫。

例如：一個復雜的查詢，比如“歐洲可再生能源政策中的經驗教訓如何適用于發展中國家，可能產生哪些經濟影響？”需要協調多種類型的信息，包括政策數據、發展地區的情境化信息和經濟分析。傳統的 RAG 系統通常無法將這些不同的要素連接成一個連貫的響應。

2.4.3 Scalability and Latency Issues

隨著外部數據源的增加，查詢和對大型數據集進行排序變得越來越需要大量的計算資源。這導致顯著的延遲，削弱了系統在實時應用中提供及時響應的能力。

例如：在對時間敏感的場景中，如金融分析或實時客戶支持中，由于查詢多個數據庫或處理大量文檔集而導致的延遲可能會阻礙系統的整體效用。在高頻交易中延遲檢索市場趨勢可能會導致錯失機會。

2.5 Agentic RAG: A paradigm Shift

傳統的 RAG 系統由于其靜態工作流程和有限的適應性，往往難以處理動態的、多步推理和復雜的實際任務。這些局限性促使了智能代理的整合，從而產生了 Agentic RAG。Agentic RAG 整合了能夠進行**動態決策、迭代推理和自適應檢索策略**的自主代理，且通過優化的工作流程減少了延遲，并通過迭代地改進輸出來解決了傳統 RAG 系統在可擴展性和有效性方面的歷史性挑戰。

3 Core Principles and Background of Agentic Intelligence

Agent是 Agentic RAG 系統的基礎。從本質上講，一個 AI agent包括以下組成部分：

• LLM（具有定義的角色和任務）：作為代理的主要推理引擎和對話接口，負責解釋用戶查詢，生成響應，并保持連貫性
• 記憶（短期和長期）：在交互過程中捕捉上下文和相關數據。短期記憶跟蹤即時對話狀態，而長期記憶存儲積累的知識和代理經驗
• 規劃（反思和自我批評）：通過反思、查詢路由或自我批評（參考閱讀 10）指導代理的迭代推理過程，確保有效地拆分復雜任務
• 工具（向量搜索、網絡搜索、API 等）：擴展代理的能力，使其不僅限于文本生成，還能夠訪問外部資源、實時數據或專門的計算

Agentic Patterns 提供了結構化方法以指導 Agentic RAG 系統中代理的行為。這些模式使代理能夠動態適應、規劃和協作，確保系統能夠以精確性和可擴展性處理復雜的實際任務。有四個關鍵模式支撐著 agentic 工作流程：反思（reflection）、規劃（planning）、工具使用（tool use）和多代理協作（multi-agent collaboration）。

3.1 Reflection

**reflection 是 agentic Workflows其中一個基礎設計模式，使代理能夠迭代地評估和改進其輸出。**通過引入self-feedback機制，代理可以識別和解決錯誤、不一致性和改進空間，提高在代碼生成、文本生成和問題回答等任務中的性能。在實際應用中，反思涉及促使代理對其輸出進行正確性、風格和效率的批判，并將這些反饋納入后續的迭代中。外部工具如單元測試或網絡搜索，可以進一步增強這個過程，驗證結果并突出差距。

在多代理系統中，反思可以涉及不同的角色，例如一個代理生成輸出，而另一個代理對其進行批判，促進協作改進。例如，在法律研究中，代理可以通過重新評估檢索到的案例法來迭代地改進回答，確保準確性和全面性。反思在 Self-Refine、Reflexion 和 CRITIC 等研究中已經展示了顯著的性能改進。

3.2 Planning

**規劃是 agentic 工作流程中的一個關鍵設計模式，使代理能夠自主地將復雜任務分解為更小、可管理的子任務。**這種能力對于在動態和不確定的情境中進行多跳推理和迭代問題解決至關重要。

通過利用規劃，代理可以動態確定完成更大目標所需的步驟順序。這種適應性使代理能夠處理無法預定義的任務，確保決策的靈活性。雖然強大，但與反思等確定性工作流程相比，規劃可能產生較不可預測的結果。

3.3 Tool Use

工具使用使代理能夠通過與外部工具、API 或計算資源的交互來擴展其能力。這種模式使代理能夠獲取信息、進行計算和操作超出其預訓練知識范圍的數據。通過將工具動態集成到工作流程中，代理可以適應復雜任務并提供更準確和與上下文相關的輸出。

現代 agentic workflow在各種應用中都采用了工具使用，包括信息檢索、計算推理和與外部系統的接口。這種模式的實現已經隨著 GPT-4 的函數調用能力和能夠管理多個工具訪問的系統等進展而發展得非常顯著。這些發展促進了復雜工作流程的實現，其中代理自主選擇并執行與給定任務最相關的工具。

盡管工具使用顯著增強了 agentic workflow，但在優化工具選擇方面仍存在挑戰，特別是在可用選項眾多的情況下。

3.4 Multi-Agent

**多代理協作是 agentic workflow中的一個關鍵設計模式，它實現了任務專業化和并行處理。**代理之間進行通信和共享中間結果，確保整體工作流程高效和連貫。通過將子任務分配給專門的代理，這種模式提高了復雜工作流程的可擴展性和適應性。多代理系統允許開發人員將復雜的任務分解為較小、可管理的子任務，并分配給不同的代理。這種方法不僅提高了任務性能，還為管理復雜交互提供了一個強大的框架。每個代理都有自己的記憶和工作流程，可以包括使用工具、反思或規劃，實現動態和協作的問題解決。

盡管多代理協作提供了巨大的潛力，但與反思和工具使用等更成熟的工作流程相比，它是一個較不可預測的設計模式。然而，新興的框架如 AutoGen、Crew AI 和 LangGraph 為實現有效的多代理解決方案提供了新的途徑。

這些設計模式構成了 Agentic RAG 系統成功的基礎。通過構建工作流程，從簡單的順序步驟到更具適應性和協作性的過程，這些模式使系統能夠動態調整其檢索和生成策略，以適應多樣化和不斷變化的現實環境的需求。利用這些模式，代理能夠處理迭代的、上下文感知的任務，遠遠超出傳統 RAG 系統的能力。

4 Agentic Workflow Patterns: Adaptive Strategies for Dynamic Collaboration

Agentic 工作流模式對基于 LLM 的應用進行**結構化**，以優化性能、準確性和效率。根據任務的復雜性和處理要求可以采用不同的方法。

4.1 Prompt Chaining: Enhancing Accuracy Through Sequential Processing

**提示鏈將復雜任務分解為多個步驟，每個步驟都建立在前一個步驟的基礎上。**這種結構化方法通過在繼續前進之前簡化每個子任務來提高準確性。然而，由于順序處理，它可能會增加延遲。

When to use：當一個任務可以被分解為固定的子任務，且每個子任務都對最終輸出有所貢獻時，這種工作流最為有效。它特別適用于逐步推理能夠提高準確性的場景。

Example Application：

? 在一種語言中生成營銷內容，然后將其翻譯成另一種語言，同時保留細微差別。

? 通過首先生成大綱、驗證其完整性，然后開發全文來構建文檔創作。

4.2 Routing:Directing Inputs to Specialized Processes

**路由涉及對輸入進行分類，并將其引導到適當的專門提示或處理過程。**這種方法確保不同的查詢或任務被單獨處理，提高了效率和響應質量。

When to use：適用于不同類型的輸入需要不同的處理策略的場景，以確保每個類別的優化性能。

Example Application：

? 將客戶服務查詢分類為技術支持、退款請求或一般咨詢。

? 將簡單查詢分配給較小的模型以提高成本效益，而復雜請求則分配給高級模型。

4.3 Parallelization: Speeding Up Processing Through Concurrent Execution

**并行化將一個任務分解為同時運行的獨立的進程，從而減少延遲并提高吞吐量。**它可以分為分段（獨立子任務）和投票（多個輸出以提高準確性）兩種類型。

When to use：當任務可以獨立執行以提高速度，或者多個輸出可以增強信心時，這種方法很有用。

Example Applications：

? 分段處理：將任務拆分，例如內容審核，其中一個模型負責篩選輸入內容，而另一個模型生成響應。

? 投票機制：使用多個模型交叉檢查代碼中的漏洞，或者分析內容審核的決策。

4.4 Orchestrator-Workers: Dynamic Task Delegation

利用中央協調模型動態地將任務分解為子任務，分配給專門的工作模型，并編譯結果。與并行化不同，它能夠適應不同的輸入復雜性。

When to use：最適合需要動態分解和實時適應的任務，其中子任務不是預先定義的。

Example Applications：

? 根據請求更改的性質，在代碼庫中自動修改多個文件。

? 通過從多個來源收集和綜合相關信息，進行實時研究。

4.5 Evaluator-Optimizer: Refining Output Through Iteration

評估器-優化器工作流程通過生成初始輸出并根據評估模型的反饋進行改進，迭代地提高內容質量。

when to use：當迭代優化能顯著提高回答質量時非常有效，特別是當存在明確的評估標準時。

Example Applications：

? 通過多輪評估和優化循環來提高文學翻譯的質量。

? 進行多輪研究查詢，其中額外的迭代可以優化搜索結果。

5 Taxonomy of Agentic RAG Systems

Agentic RAG 系統可以根據其復雜性和設計原則劃分為不同的架構框架。這些框架包括**單代理架構、多代理系統和分層代理架構**。每個框架都經過量身定制，以解決特定的挑戰，并優化各種應用的性能。本節提供了這些架構的詳細分類，突出它們的特點、優勢和局限性。

5.1 Single-Agent Agentic RAG: Router

單代理 Agentic RAG 作為一個集中的決策系統，其中一個單一代理負責管理信息的檢索、路由和整合。這種架構通過將這些任務整合到一個統一的代理中簡化了系統，特別適用于具有有限工具或數據源的設置。

---

Workflow:

1.查詢提交與評估：當用戶提交查詢時，整個流程開始。一個協調代理（或主檢索代理）接收查詢并對其進行分析，以確定最合適的資料來源。

2.知識源選擇：根據查詢的類型，協調代理從多種檢索選項中進行選擇：

? 結構化數據庫：對于需要訪問表格數據的查詢，系統可能會使用一個文本到SQL引擎，與PostgreSQL或MySQL等數據庫進行交互。

? 語義搜索：在處理非結構化信息時，它使用基于向量的檢索來檢索相關的文檔（例如，PDF文件、書籍、組織記錄）。

? 網絡搜索：對于實時或廣泛背景信息的查詢，系統利用網絡搜索工具來獲取最新的在線數據。

? 推薦系統：對于個性化或上下文相關的查詢，系統會利用推薦引擎提供量身定制的建議。

3.數據整合與LLM綜合：從選定的來源檢索到相關數據后，數據被傳遞給一個大型語言模型（LLM）。LLM綜合收集到的信息，將來自多個來源的見解整合成一個連貫且與上下文相關的回答。

4.輸出生成：最后，系統提供一個全面的、面向用戶的答案，以解決原始查詢。這個回答以可操作、簡潔的格式呈現，并且可能會選擇性地包括對所使用來源的引用或參考文獻。

關鍵特點和優勢:

? 集中式簡潔性：單一代理處理所有檢索和路由任務，使架構設計、實施和維護變得簡單明了。

? 效率與資源優化：由于代理數量較少且協調更簡單，系統對計算資源的需求更少，能夠更快地處理查詢。

? 動態路由：代理實時評估每個查詢，選擇最合適的知識源（例如，結構化數據庫、語義搜索、網絡搜索）。

? 工具的多樣性：支持多種數據源和外部API，能夠實現結構化和非結構化工作流。

? 適用于簡單系統：適用于任務明確或集成需求有限的應用（例如，文檔檢索、基于SQL的工作流）。

5.2 Multi-Agent Agentic RAG Systems:

多代理 Agentic RAG 是單代理架構的模塊化和可擴展演進，旨在通過利用多個專門的代理來處理復雜的工作流程和多樣化的查詢類型（如下圖所示）。該系統不再依賴于單個代理來管理所有任務（推理、檢索和響應生成），而是將責任分配給多個代理，每個代理針對特定的角色或數據源進行了優化。

工作流程：

1. 查詢提交：用戶查詢，由協調代理或主檢索代理接收。該代理充當中央協調器，根據查詢的要求將查詢委派給專門的檢索代理
2. 專門的檢索代理：查詢被分發給多個檢索代理，每個代理專注于特定類型的數據源或任務。例如：
   • 代理1：處理結構化查詢，如與基于 SQL 的數據庫（如 PostgreSQL 或 MySQL）進行交互
   • 代理2：管理語義搜索，從 PDF、書籍或內部記錄等來源檢索非結構化數據
   • 代理3：專注于從網絡搜索或 API 中檢索實時公共信息
   • 代理4：專門處理推薦系統，根據用戶行為或個人資料提供上下文感知的建議
3. 工具訪問和數據檢索：每個代理將查詢路由到其領域內適當的工具或數據源，例如：
   • 向量搜索：用于語義相關性
   • Text-to-SQL：用于結構化數據
   • 網絡搜索：用于實時公共信息
   • API：用于訪問外部服務或專有系統

檢索過程并行執行，可以高效處理多樣化的查詢類型。

4. 數據整合和 LLM 綜合：LLM 將檢索到的信息綜合成一份連貫且與上下文相關的響應，無縫地整合多個來源的見解
5. 輸出生成：系統生成一份全面的響應，并以可操作且簡潔的格式返回給用戶

關鍵特點和優勢:

? 模塊化：每個代理獨立運行，可以根據系統需求無縫地添加或移除代理。

? 可擴展性：多個代理的并行處理使系統能夠高效地處理高查詢量。

? 任務專業化：每個代理針對特定類型的查詢或數據源進行優化，提高了準確性和檢索的相關性。

? 效率：通過將任務分配給專業化的代理，系統減少了瓶頸，提升了復雜工作流的性能。

? 多功能性：適用于涵蓋多個領域的應用，包括研究、分析、決策制定和客戶支持。

5.3 Hierarchical Agentic RAG Systems

多層次 Agentic RAG 系統 （參考資料 15）采用了結構化的、多層次的方法進行信息檢索和處理，如下圖所示，從而提高了效率和戰略決策能力。該系統中的代理人按照層次結構進行組織，高層代理人負責監督和指導低層代理人。這種結構實現了多層次的決策，確保查詢由最合適的資源處理。

工作流程：

1. 查詢接收：用戶提交查詢，由頂層 agent 接收，其負責初始評估和委派
2. 戰略決策：頂層代理人評估查詢的復雜性，根據查詢的領域，決定優先考慮哪些下級 agent 或數據源
3. 委派給下級 agent：頂層 agent 將任務分配給專門從事特定檢索方法的低層 agent（例如 SQL 數據庫、網絡搜索或專有系統）。這些 agent 獨立執行其分配的任務
4. 聚合和整合：下級 agent 的結果由更高層的 agent 收集和整合，將信息綜合成一份連貫的回復
5. 回復發送：最終綜合的答案返回給用戶，確保回復既全面又與上下文相關。

關鍵特點和優勢

? 戰略優先級：頂級代理可以根據查詢的復雜性、可靠性或上下文，優先選擇數據源或任務。

? 可擴展性：將任務分配到多個代理層級，能夠處理高度復雜或多方面的查詢。

? 增強的決策能力：更高級別的代理提供戰略監督，以提高回答的整體準確性和連貫性。

挑戰

? 協調復雜性：在多個層級之間保持強大的代理間通信會增加協調開銷。

? 資源分配：在層級之間高效分配任務以避免瓶頸并非易事。

5.4 Agentic Corrective RAG

Corrective RAG 引入了自我糾正檢索結果的機制，通過在工作流中嵌入智能 agent，迭代地改進上下文文檔和響應，最小化錯誤并最大化相關性。Corrective RAG 的核心原則在于其能夠動態評估檢索到的文檔，執行糾正操作，并優化查詢以提高生成響應的質量。Corrective RAG 采用的方法如下：

• 文檔相關性評估：由相關性評估 agent 對檢索到的文檔進行評估。低于相關性閾值的文檔會觸發糾正步驟
• 查詢優化和擴充：由查詢優化 agent 對查詢進行優化，利用語義理解來優化檢索以獲得更好的結果
• 動態從外部來源檢索：當上下文不足時，外部知識檢索 agent 執行網絡搜索或訪問其他數據源以補充檢索到的文檔
• 響應綜合：所有經過驗證和改進的信息傳遞給響應綜合 agent 進行最終的響應生成

工作流程：

校正式檢索增強生成（Corrective RAG）系統基于五個關鍵代理構建：

? 上下文檢索代理：負責從向量數據庫中檢索初始上下文文檔。

? 相關性評估代理：評估檢索到的文檔的相關性，并標記任何不相關或模糊的文檔以便進行校正操作。

? 查詢優化代理：利用語義理解重寫查詢，以提高檢索效果，優化結果。

? 外部知識檢索代理：當上下文文檔不足時，進行網絡搜索或訪問其他數據源。

? 回答綜合代理：將所有經過驗證的信息綜合成一個連貫且準確的回答。

關鍵特點和優勢：

? 迭代校正：通過動態識別和校正不相關或模糊的檢索結果，確保高回答準確率。

? 動態適應性：結合實時網絡搜索和查詢優化，增強檢索精度。

? 代理模塊化：每個代理執行專門的任務，確保操作高效且可擴展。

? 事實性保障：通過驗證所有檢索和生成的內容，校正式檢索增強生成系統最小化了幻覺或錯誤信息的風險。

5.5 Adaptive Agentic RAG

Adaptive RAG通過根據傳入查詢的復雜性動態調整查詢處理策略，提高了 LLM 的靈活性和效率。與靜態檢索工作流不同，Adaptive RAG使用分類器評估查詢的復雜性，并確定最合適的方法，從單步檢索到多步推理，甚至對于簡單的查詢完全繞過檢索。

Adaptive RAG 的核心思想在于根據查詢的復雜性動態調整檢索策略：

• 簡單查詢：對于不需要額外檢索的基于事實的問題，系統直接使用現有知識生成答案
• 中等復雜查詢：對于需要較少上下文的中等復雜任務，系統執行單步檢索以獲取相關細節
• 復雜查詢：對于需要多層次推理的復雜查詢，系統采用多步檢索，逐步優化中間結果以提供全面的答案

Adaptive RAG 系統建立在三個主要組件上：

• 分類器角色：
  • 使用較小的語言模型分析查詢以預測其復雜性
  • 分類器使用自動標注的數據集進行訓練，這些數據集是根據過去模型結果和查詢模式生成的
• 動態策略選擇：
  • 對于簡單的查詢，系統避免不必要的檢索，直接利用語言模型生成響應
  • 對于中等復雜的查詢，系統采用單步檢索過程來獲取相關上下文
  • 對于復雜的查詢，系統激活多步檢索，確保迭代優化和增強推理能力
• LLM 集成：
  • LLM 將檢索到的信息綜合成一份連貫的響應
  • LLM 和分類器之間的迭代交互使得對于復雜查詢的優化得以實現

工作流程：自適應檢索增強生成（Adaptive RAG）系統基于三個主要組件構建：

1, 分類器角色：

? 一個較小的語言模型分析查詢以預測其復雜性。

? 分類器使用自動標注的數據集進行訓練，這些數據集來源于過去的模型結果和查詢模式。

2, 動態策略選擇：

? 對于簡單的查詢，系統避免不必要的檢索，直接利用大型語言模型（LLM）生成回答。

? 對于簡單查詢，它采用單步檢索過程來獲取相關上下文。

? 對于復雜查詢，它激活多步檢索以確保迭代優化和增強推理。

3, LLM整合：

? LLM將檢索到的信息綜合成一個連貫的回答。

? LLM與分類器之間的迭代互動使復雜查詢能夠得到優化。

關鍵特點和優勢：

? 動態適應性：根據查詢的復雜性調整檢索策略，優化計算效率和回答準確性。

? 資源效率：對于簡單查詢，最小化不必要的開銷，同時確保復雜查詢得到徹底處理。

? 增強的準確性：迭代優化確保復雜查詢能夠以高精度解決。

? 靈活性：可以擴展以納入額外的途徑，例如特定領域的工具或外部API。

5.6 Graph-Based Agentic RAG

5.6.1 Agent-G: Agentic Framework for Graph RAG

Agent-G 引入了一種新穎的代理架構，將圖知識庫與非結構化文檔檢索相結合。通過結合結構化和非結構化數據源，該框架提高了 RAG 系統的推理和檢索準確性。它采用模塊化的檢索器庫、動態代理交互和反饋循環，以確保高質量的輸出。

Agent-G的核心理念：Agent-G的核心原則在于其能夠動態地將檢索任務分配給專業代理，同時利用圖知識庫和文本文件。Agent-G調整其檢索策略如下：

? 圖知識庫：結構化數據用于提取關系、層次結構和連接（例如，在醫療保健中疾病與癥狀的映射）。

? 非結構化文檔：傳統的文本檢索系統提供上下文信息以補充圖數據。

? 評估模塊：評估檢索信息的相關性和質量，確保與查詢一致。

? 反饋循環：通過迭代驗證和重新查詢來優化檢索和綜合。

工作流程：Agent-G系統基于四個主要組件構建：

? 1, 檢索器庫：

一組模塊化的代理專門用于檢索基于圖或非結構化的數據。

代理根據查詢的要求動態選擇相關的數據源。

2, 評估模塊：

驗證檢索數據的相關性和質量。

標記低置信度結果以便重新檢索或優化。

3, 動態代理互動：

針對特定任務的代理協作以整合不同數據類型。

確保在圖和文本源之間進行連貫的檢索和綜合。

4, LLM整合：

將驗證后的數據綜合成一個連貫的回答。

來自評估模塊的迭代反饋確保與查詢意圖一致。

關鍵特點和優勢：

? 增強推理：將圖中的結構化關系與非結構化文檔中的上下文信息相結合。

? 動態適應性：根據查詢要求動態調整檢索策略。

? 提高準確性：評估模塊降低了回答中出現不相關或低質量數據的風險。

? 可擴展的模塊化：支持添加新的代理以執行特定任務，增強可擴展性。

5.6.2 GeAR: Graph-Enhanced Agent for Retrieval-Augmented Generation

GeAR 引入了一個 agent 框架，通過整合基于圖的檢索機制，增強了傳統的 RAG 系統。通過利用圖擴展技術和基于 agent 的架構，GeAR 解決了多跳檢索場景中的挑戰，提高了系統處理復雜查詢的能力，如下圖所示：

GeAR的核心理念：GeAR通過兩項主要創新提升了檢索增強生成（RAG）的性能：

? 圖擴展：通過將檢索過程擴展到包含圖結構數據，增強了傳統的基礎檢索器（例如BM25），使系統能夠捕捉實體之間的復雜關系和依賴關系。

? 代理框架：采用基于代理的架構，利用圖擴展更有效地管理檢索任務，允許在檢索過程中進行動態和自主的決策。

工作流程：GeAR系統通過以下組件運行：

1, 圖擴展模塊：

? 將基于圖的數據整合到檢索過程中，使系統在檢索時能夠考慮實體之間的關系。

? 通過將搜索空間擴展到包含連接實體，增強了基礎檢索器處理多跳查詢的能力。

2, 基于代理的檢索：

? 使用代理框架來管理檢索過程，根據查詢的復雜性動態選擇和組合檢索策略。

? 代理可以自主決定利用圖擴展的檢索路徑，以提高檢索信息的相關性和準確性。

3, LLM整合：

? 將通過圖擴展豐富后的檢索信息與大型語言模型（LLM）的能力相結合，生成連貫且與上下文相關的回答。

? 這種整合確保了生成過程既受到非結構化文檔的指導，也受到結構化圖數據的指導。

5.7 Agentic Document Workflows in Agentic RAG

Agentic Document Workflows（ADW）通過實現端到端的知識工作自動化，擴展了傳統的 RAG 范式。這些工作流程協調以文檔為中心的復雜過程，集成了文檔解析、檢索、推理和結構化輸出，并與智能代理結合。ADW 系統通過維護狀態、協調多步驟工作流程以及對文檔應用特定領域的邏輯，**解決了智能文檔處理（Intelligent Document Processing，IDP）和 RAG 的局限性**。

工作流程：

1. 文檔解析和信息結構化：
   • 使用企業級工具（例如 LlamaParse）對文檔進行解析，提取相關的數據字段，如發票號碼、日期、供應商信息、項目明細和付款條件
   • 對結構化數據進行組織，以便進行后續處理
2. 跨過程狀態維護：
   • 系統維護有關文檔上下文的狀態，確保在多步驟工作流程中的一致性和相關性
   • 跟蹤文檔在各個處理階段的進度
3. 知識檢索：
   • 從外部知識庫（例如 LlamaCloud）或向量索引中檢索相關的參考信息
   • 檢索實時的、領域特定的指南，以增強決策能力
4. 代理協調：
   • 智能代理應用業務規則，進行多跳推理，并生成可操作的建議
   • 協調解析器、檢索器和外部 API 等組件，實現無縫集成
5. 可操作輸出生成：
   • 輸出以結構化格式呈現，針對特定的用例進行定制
   • 將建議和提取的見解綜合成簡明扼要的可操作報告

6 Comparative Analysis of Agentic RAG Frameworks

表2提供了三種架構框架的全面比較分析：傳統檢索增強生成（Traditional RAG）、代理式檢索增強生成（Agentic RAG）和代理式文檔工作流（Agentic Document Workflows，ADW）。該分析突出了它們各自的優點、缺點以及最適合的場景，為它們在各種不同用例中的適用性提供了寶貴的見解。

比較分析突出了從傳統檢索增強生成（Traditional RAG）到代理式檢索增強生成（Agentic RAG），再到代理式文檔工作流（Agentic Document Workflows，ADW）的演變軌跡。雖然傳統RAG為基本任務提供了簡單性和易于部署的特點，但代理式RAG通過多代理協作引入了增強的推理能力和可擴展性。ADW在這些進步的基礎上，提供了強大且以文檔為中心的工作流，有助于實現端到端的自動化，并與特定領域的流程進行集成。了解每個框架的優勢和局限性對于選擇最符合特定應用需求和運營要求的架構至關重要。

7 Applications of Agentic RAG

代理式檢索增強生成（Agentic RAG）系統已在多個領域展現出變革性潛力。通過結合實時數據檢索、生成能力以及自主決策，這些系統能夠應對復雜、動態以及多模態的挑戰。本節將探討代理式RAG的關鍵應用，深入剖析這些系統是如何塑造客戶支持、醫療保健、金融、教育、法律工作流程以及創意產業等行業發展的。

7.1 Customer Support and Virtual Assistants

代理式檢索增強生成（Agentic RAG）系統正在通過實現實時、具有上下文感知能力的查詢解決，徹底改變客戶支持領域。傳統的聊天機器人和虛擬助手通常依賴于靜態的知識庫，這導致它們的回答往往比較籠統或過時。相比之下，代理式RAG系統能夠動態檢索最相關的信息，適應用戶的上下文，并生成個性化的回答。

用例：Twitch廣告銷售提升

例如，Twitch利用在亞馬遜Bedrock上的代理式工作流與RAG相結合，來簡化廣告銷售流程。該系統動態檢索廣告商數據、歷史活動表現和受眾人口統計數據，以生成詳細的廣告提案，顯著提高了運營效率。

主要優勢：

? 提高回答質量：個性化且具有上下文感知能力的回復能夠增強用戶參與度。

? 運營效率：通過自動化處理復雜查詢，減輕了人工支持代理的工作負擔。

? 實時適應性：動態整合不斷變化的數據，例如實時服務中斷或價格更新。

7.2 Healthcare and Personalized Medicine

在醫療保健領域，將患者特定數據與最新的醫學研究相結合對于做出明智的決策至關重要。代理式檢索增強生成（Agentic RAG）系統通過檢索實時臨床指南、醫學文獻和患者病史，協助臨床醫生進行診斷和治療計劃的制定，從而實現了這一目標。

用例：患者病例摘要

代理式RAG系統已被應用于生成患者病例摘要。例如，通過整合電子健康記錄（EHR）和最新的醫學文獻，該系統為臨床醫生生成全面的摘要，以便他們能夠更快地做出更明智的決策。

主要優勢：

? 個性化護理：根據個體患者的需求量身定制建議。

? 時間效率：簡化相關研究的檢索過程，為醫療服務提供者節省寶貴的時間。

? 準確性：確保建議基于最新的證據和患者特定的參數。

7.3 Legal and Contract Analysis

代理式RAG系統正在重新定義法律工作流程的開展方式，提供快速文檔分析和決策制定的工具。

用例：合同審查

一個法律領域的代理式RAG系統可以分析合同，提取關鍵條款，并識別潛在風險。通過結合語義搜索能力和法律知識圖譜，它自動化了繁瑣的合同審查過程，確保合規并降低風險。

主要優勢：

? 風險識別：自動標記偏離標準條款的條款。

? 效率：減少合同審查過程所花費的時間。

? 可擴展性：同時處理大量合同。

7.4 Finance and Risk Analysis

代理式RAG系統正在通過為投資決策、市場分析和風險管理提供實時洞察，改變金融行業。這些系統整合實時數據流、歷史趨勢和預測模型，生成可操作的輸出。

用例：汽車保險理賠處理

在汽車保險領域，代理式RAG可以自動化理賠處理。例如，通過檢索保單詳細信息并將其與事故數據相結合，它在確保符合監管要求的同時生成理賠建議。

主要優勢：

? 實時分析：基于實時市場數據提供洞察。

? 風險緩解：使用預測分析和多步推理識別潛在風險。

? 增強決策制定：結合歷史和實時數據制定全面的策略。

7.5 Education and Personalized Learning

教育是代理式RAG系統取得顯著進展的另一個領域。這些系統通過生成解釋、學習材料和反饋，根據學習者的進度和偏好進行調整，從而實現自適應學習。

用例：研究論文生成

在高等教育中，代理式RAG已被用于協助研究人員，通過綜合多個來源的關鍵發現。例如，當研究人員查詢“量子計算的最新進展是什么？”時，他們將收到一個附有參考文獻的簡潔摘要，從而提高他們的工作質量和效率。

主要優勢：

? 定制學習路徑：根據個別學生的需求和表現水平調整內容。

? 互動互動：提供互動解釋和個性化反饋。

? 可擴展性：支持大規模部署，適用于多樣化的教育環境。

7.6 Graph-Enhanced Applications in Multimodal Workflows

圖增強代理式檢索增強生成（GEAR）將圖結構與檢索機制相結合，在多模態工作流中特別有效，其中互聯的數據源至關重要。

用例：市場調查生成

GEAR能夠綜合文本、圖像和視頻，用于營銷活動。例如，查詢“環保產品的新興趨勢是什么？”將生成一份詳細的報告，其中包含客戶偏好、競爭對手分析和多媒體內容。

主要優勢：

? 多模態能力：整合文本、圖像和視頻數據，以實現全面的輸出。

? 增強創造力：為營銷和娛樂領域生成創新的想法和解決方案。

? 動態適應性：適應不斷變化的市場趨勢和客戶需求。

代理式RAG系統的應用范圍廣泛，涵蓋了多個行業，展示了它們的多功能性和變革潛力。從個性化的客戶支持到自適應教育和圖增強的多模態工作流，這些系統應對復雜的、動態的和知識密集型的挑戰。通過整合檢索、生成和代理智能，代理式RAG系統正在為下一代人工智能應用鋪平道路。

8 Tools and Frameworks for Agentic RAG

代理式檢索增強生成（Agentic RAG）系統在結合檢索、生成和代理智能方面取得了顯著的進展。這些系統通過整合決策制定、查詢重寫和自適應工作流程，擴展了傳統RAG的能力。以下工具和框架為開發代理式RAG系統提供了強大的支持，滿足了現實世界應用的復雜需求。

關鍵工具和框架：

? LangChain和LangGraph：LangChain[42]為構建RAG流程提供了模塊化組件，無縫整合檢索器、生成器和外部工具。LangGraph通過引入基于圖的工作流程來補充這一點，支持循環、狀態持久化以及人機交互，使代理系統能夠實現復雜的協調和自我修正機制。

? LlamaIndex：LlamaIndex[43]的代理式文檔工作流（ADW）能夠實現文檔處理、檢索和結構化推理的端到端自動化。它引入了一種元代理架構，其中子代理管理較小的文檔集，通過頂級代理進行協調，以完成合規性分析和上下文理解等任務。

? Hugging Face Transformers和Qdrant：Hugging Face[44]提供用于嵌入和生成任務的預訓練模型，而Qdrant[45]通過自適應向量搜索能力增強檢索工作流程，使代理能夠通過動態切換稀疏和密集向量方法來優化性能。

? CrewAI和AutoGen：這些框架強調多代理架構。CrewAI[46]支持分層和順序流程、健壯的內存系統以及工具集成。AG2[47]（以前稱為AutoGen[48,49]）在多代理協作方面表現出色，對代碼生成、工具執行和決策制定提供高級支持。

? OpenAI Swarm框架：這是一個為人體工程學、輕量級多代理協調而設計的教育框架[50]，強調代理自主性和結構化協作。

? Vertex AI與代理式RAG：由谷歌開發的Vertex AI[51]與代理式檢索增強生成（RAG）無縫集成，提供了一個平臺，用于構建、部署和擴展機器學習模型，同時利用先進的AI能力進行穩健的、具有上下文感知能力的檢索和決策制定工作流程。

? Semantic Kernel：Semantic Kernel[52,53]是微軟提供的一個開源SDK，用于將大型語言模型（LLM）集成到應用程序中。它支持代理模式，能夠創建用于自然語言理解、任務自動化和決策制定的自主AI代理。它已被用于ServiceNow的P1事件管理等場景，以促進實時協作、自動化任務執行和無縫檢索上下文信息。

? Amazon Bedrock與代理式RAG：Amazon Bedrock[37]為實施代理式檢索增強生成（RAG）工作流程提供了一個強大的平臺。

? IBM Watson與代理式RAG：IBM的watsonx.ai[54]支持構建代理式RAG系統，例如使用Granite-3-8B-Instruct模型通過整合外部信息和提高回答準確性來回答復雜查詢。

? Neo4j和向量數據庫：Neo4j是一個突出的開源圖數據庫，擅長處理復雜關系和語義查詢。除了Neo4j，Weaviate、Pinecone、Milvus和Qdrant等向量數據庫提供了高效的相似性搜索和檢索能力，構成了高性能代理式檢索增強生成（RAG）工作流程的骨干。

9 Benchmarks and Datasets

當前的基準測試和數據集為評估檢索增強生成（RAG）系統提供了寶貴的見解，包括具有代理和基于圖的增強功能的系統。雖然其中一些是專門為RAG設計的，但其他一些則被改編用于在不同場景中測試檢索、推理和生成能力。數據集對于測試RAG系統的檢索、推理和生成組件至關重要。表3討論了一些基于下游任務的RAG評估的關鍵數據集。

基準測試在標準化RAG系統的評估中發揮著關鍵作用，通過提供結構化的任務和指標。以下基準測試特別相關：

? BEIR（信息檢索基準測試）：這是一個多功能的基準測試，旨在評估嵌入模型在各種信息檢索任務上的表現，涵蓋了生物信息學、金融和問答等多個領域的17個數據集[55]。

? MS MARCO（微軟機器閱讀理解）：專注于段落排名和問答，這個基準測試被廣泛用于RAG系統中的密集檢索任務[56]。

? TREC（文本檢索會議，深度學習軌道）：提供段落和文檔檢索的數據集，強調檢索流程中排名模型的質量[57]。

? MuSiQue（多跳順序提問）：這是一個多跳推理的基準測試，跨越多個文檔，強調從不相關的情境中檢索和綜合信息的重要性[58]。

? 2WikiMultihopQA：一個為跨越兩篇維基百科文章的多跳問答任務設計的數據集，專注于連接多個來源的知識的能力[59]。

? AgentG（代理式RAG用于知識融合）：為代理式RAG任務量身定制，這個基準測試評估跨多個知識庫的動態信息綜合[8]。

? HotpotQA：一個多跳問答基準測試，要求在相互關聯的情境中進行檢索和推理，非常適合評估復雜的RAG工作流程[60]。

? RAGBench：一個大規模的、可解釋的基準測試，包含10萬個跨行業領域的示例，以及一個TRACe評估框架，用于可操作的RAG指標[61]。

? BERGEN（檢索增強生成基準測試）：一個用于系統地對RAG系統進行基準測試的庫，帶有標準化實驗[62]。

? FlashRAG工具包：實現了12種RAG方法，并包括32個基準數據集，以支持高效和標準化的RAG評估[63]。

? GNN-RAG：這個基準測試評估基于圖的RAG系統在節點級和邊級預測等任務上的表現，專注于知識圖譜問答（KGQA）中的檢索質量和推理性能[64]。