任務背景：目前多模態信息（財報PDF）的AI利用率較低
我們正處在一個信息爆炸的時代，但這些信息并非以整潔的純文本形式存在。它們被封裝在各種各樣的載體中：公司的年度財報、市場研究報告、產品手冊、學術論文以及無數的網頁。這些載體的共同特點是 圖文混排 ——文字、圖表、照片、流程圖等元素交織在一起，共同承載著完整的信息。
傳統的AI技術，如搜索引擎或基于文本的問答系統，在處理這類復雜文檔時顯得力不從心。它們能很好地理解文字，但對于圖表中蘊含的趨勢、數據和關系卻是“視而不見”的。這就造成了一個巨大的信息鴻溝：AI無法回答那些需要結合視覺內容才能解決的問題，例如“根據這張條形圖，哪個產品的市場份額最高？”或“請解釋一下這張流程圖的工作原理”。
近年來，大語言模型（LLM）的崛起為自然語言理解帶來了革命。然而，它們也面臨兩大挑戰：
-
知識局限性 ：LLM的知識是預訓練好的，對于私有的、最新的或特定領域的文檔（比如本次比賽的財報）一無所知，并且可能產生幻覺。
-
模態單一性 ：大多數LLM本身只能處理文本，無法直接“看到”和理解圖像。
檢索增強生成（RAG） 技術的出現，通過從外部知識庫中檢索信息來喂給LLM，有效地解決了第一個挑戰。而本次比賽的核心—— 多模態檢索增強生成（Multimodal RAG） ，則是應對這兩大挑戰的前沿方案。它賦予了AI系統一雙“眼睛”，讓他不僅能閱讀文字，還能看懂圖片，并將兩者結合起來進行思考和回答。
|
難點一：多模態信息的有效融合 |
一個問題的答案可能同時依賴于一段文字描述和一個數據圖表。例如，文字提到“各產品線表現見下圖”，而具體數據則完全在圖表中。
|
|
難點二：檢索的準確性與召回率平衡 |
檢索是整個系統的基礎，如果檢索出的上下文信息就不包含答案，那么后續的LLM再強大也無法憑空生成正確結果（這被稱為“大海撈針，針不在海里”）。
|
|
難點三：答案生成的可控性與溯源精確性 |
LLM在生成答案時，有時會過度“自由發揮”，產生一些幻覺（Hallucination），即編造上下文中不存在的信息。同時，它也可能錯誤地引用來源。
|
|
難點四：針對性評估指標的優化 |
最終的評分由三部分構成：文件名匹配度（0.25分）、頁面匹配度（0.25分）和答案內容相似度（0.5分）。
|
浙公網安備 33010602011771號