SOFA AI 網(wǎng)關(guān)基于 Higress 的落地實(shí)踐

為助力企業(yè) AI 業(yè)務(wù)的快速發(fā)展，螞蟻集團(tuán) SofaStack 基于 Higress 推出了專為 AI 場景設(shè)計(jì)的 SOFA AI 網(wǎng)關(guān)（SOFA Higress），為企業(yè) AI 應(yīng)用提供高效、穩(wěn)定且安全的統(tǒng)一入口。

作者：SOFA 社區(qū)

背景

網(wǎng)關(guān)作為重要的中間件，在傳統(tǒng)業(yè)務(wù)中扮演著流量治理、路由轉(zhuǎn)發(fā)、協(xié)議轉(zhuǎn)換、安全防護(hù)等功能。根據(jù)不同業(yè)務(wù)場景的定位，也會(huì)衍生出不同類型的網(wǎng)關(guān)，例如流量網(wǎng)關(guān)、ESB（企業(yè)服務(wù)總線）、API 網(wǎng)關(guān)、云原生網(wǎng)關(guān)。從網(wǎng)關(guān)職責(zé)看，其本質(zhì)所承擔(dān)的職責(zé)沒有太多變化，主要是針對不同業(yè)務(wù)場景下作更多的適配，更好地滿足業(yè)務(wù)使用。比如，API 網(wǎng)關(guān)則是針對微服務(wù)場景，將原有的管理粒度從粗粒度的流量或服務(wù)，轉(zhuǎn)換成了細(xì)粒度的 REST 或接口維度的管理，從而實(shí)現(xiàn)了更精細(xì)化的治理，這是從流量網(wǎng)關(guān)演變?yōu)?API 網(wǎng)關(guān)的核心驅(qū)動(dòng)力。

在 AI 場景下，業(yè)務(wù)模式發(fā)生了根本性的變革，網(wǎng)關(guān)所面對的挑戰(zhàn)也從“服務(wù)”轉(zhuǎn)向了“模型”和“智能體”等。這種轉(zhuǎn)變并非簡單的技術(shù)迭代，同時(shí)帶來業(yè)務(wù)邏輯、交互模式、資源消耗和風(fēng)險(xiǎn)模型的全面重塑。

為了有效支撐日益復(fù)雜多樣的 AI 業(yè)務(wù)場景（如服務(wù)模型、智能體、AI 應(yīng)用及 MCP 等），API 網(wǎng)關(guān)的角色亟需從通用型升級為專業(yè)化的 AI 網(wǎng)關(guān)。原有通用網(wǎng)關(guān)的核心能力已無法滿足這些場景的特定需求，因此 AI 網(wǎng)關(guān)針對性地拓展和強(qiáng)化了能力集，衍生出智能路由、模型統(tǒng)一接入、語義緩存、內(nèi)容安全、MCP 代理、模型限流等核心特性。

為助力企業(yè) AI 業(yè)務(wù)的快速發(fā)展，螞蟻集團(tuán) SofaStack 基于 Higress 推出了專為 AI 場景設(shè)計(jì)的 SOFA AI 網(wǎng)關(guān)（SOFA Higress），為企業(yè) AI 應(yīng)用提供高效、穩(wěn)定且安全的統(tǒng)一入口。02

SOFA AI 網(wǎng)關(guān)定位

SOFA AI 網(wǎng)關(guān)（又名 SOFA Higress）基于開源 Higress 內(nèi)核構(gòu)建，專為 SOFA 深度優(yōu)化、能力增強(qiáng)，是面向 AI 需求的智能網(wǎng)關(guān)解決方案。

SOFA AI 網(wǎng)關(guān)在構(gòu)建之初即明確了其定位：為三類核心 AI 業(yè)務(wù)場景提供專業(yè)化服務(wù)：

• 智能體代理： 作為智能體流量的統(tǒng)一出入口網(wǎng)關(guān)，提供安全防護(hù)與流量管控。同時(shí)作為智能體的工具集（Tools Hub），統(tǒng)一管理工具列表，通過 AI 網(wǎng)關(guān)打通智能體與外部系統(tǒng)的連接。將業(yè)務(wù)存量 API 快速轉(zhuǎn)化為智能體可識別和調(diào)用的 Tools。此外，通過 MCP 協(xié)議提供 REST-to-MCP 轉(zhuǎn)換功能，加速存量業(yè)務(wù) MCP 化進(jìn)程，極大簡化智能體的對接與調(diào)用。
• 模型代理： 提供模型推理網(wǎng)關(guān)能力，集成語義緩存、內(nèi)容安全、統(tǒng)一接入等核心功能，顯著降低模型接入復(fù)雜度與成本。同時(shí)，基于精細(xì)化業(yè)務(wù)屬性與特征，提供精準(zhǔn)的模型限流保障。
• MCP 市場服務(wù)： 構(gòu)建金融領(lǐng)域?qū)?MCP 市場，提供專業(yè)化的金融數(shù)據(jù)和豐富的金融業(yè)務(wù)服務(wù)，賦能金融場景業(yè)務(wù)，有效提升智能體研發(fā)的效率與質(zhì)量。

下面將從以上三部分內(nèi)容詳細(xì)展開。

落地實(shí)踐

3.1 技術(shù)選型

SOFA AI 網(wǎng)關(guān)使用 Higress 作為內(nèi)核，主要考慮其強(qiáng)大的開源社區(qū)，豐富的擴(kuò)展機(jī)制等，同時(shí)和網(wǎng)關(guān)未來多網(wǎng)關(guān)融合目標(biāo)一致，因此我們基于 Higress 網(wǎng)關(guān)構(gòu)建，并將原有 API 網(wǎng)關(guān)、數(shù)據(jù)網(wǎng)關(guān)、互通網(wǎng)關(guān)等能力遷移。

3.2 智能體出入口網(wǎng)關(guān)

當(dāng)前智能體無疑是最熱的話題，很多企業(yè)開始構(gòu)建自己的垂直業(yè)務(wù)智能體。為了幫助企業(yè)更好、更快地構(gòu)建自己的智能體，我們將網(wǎng)關(guān)明確定位為智能體流量的統(tǒng)一出入口網(wǎng)關(guān)。

SOFA AI 網(wǎng)關(guān)為智能體提供關(guān)鍵能力：

• 保障入口安全與穩(wěn)定： 對進(jìn)入智能體的下游流量實(shí)施安全防護(hù)與業(yè)務(wù)限流，確保智能體應(yīng)用的穩(wěn)定運(yùn)行與安全防護(hù)。
• 賦能智能體核心能力： 智能體自身需依賴模型、工具、知識庫等進(jìn)行推理、規(guī)劃并緩解幻覺問題，以持續(xù)提升問題解答質(zhì)量，最終成為專業(yè)的智能體。為此，網(wǎng)關(guān)在智能體的出口流量側(cè)對出口流量統(tǒng)一收斂，簡化智能體與外部對接成本。

SOFA AI 網(wǎng)關(guān)在智能體出口流量側(cè)，主要提供了以下幾個(gè)關(guān)鍵功能：

• 模型代理。 提供統(tǒng)一的模型接入與管理層，支持便捷的模型替換（如 A/B 測試效果驗(yàn)證）、流量控制及 Token 統(tǒng)一管理，大幅簡化智能體研發(fā)過程中的模型迭代。鑒于模型資源成本高昂，網(wǎng)關(guān)還實(shí)現(xiàn)了業(yè)務(wù)級精細(xì)化的模型調(diào)用限流，有效防止部分業(yè)務(wù)過度消耗資源，保障整體模型服務(wù)的性能與穩(wěn)定性，避免資源爭用。
• 工具和 MCP 管理。 SOFA AI 網(wǎng)關(guān)充當(dāng)智能體與企業(yè)存量系統(tǒng)的橋梁，將現(xiàn)有的 REST API 標(biāo)準(zhǔn)化封裝為智能體可識別的 Function 調(diào)用，實(shí)現(xiàn)服務(wù)的便捷集成與統(tǒng)一管理。隨著 MCP (Model Calling Protocol) 協(xié)議的出現(xiàn)，網(wǎng)關(guān)進(jìn)一步將存量 API 轉(zhuǎn)換為 MCP 格式供智能體使用，極大簡化了智能體對接后端服務(wù)的流程。對于企業(yè)采購的外部 AI 服務(wù)（通常具有獨(dú)立的認(rèn)證體系），網(wǎng)關(guān)作為統(tǒng)一的出口代理，處理復(fù)雜的對接協(xié)議和認(rèn)證，使智能體能夠無縫調(diào)用外部能力，專注于核心業(yè)務(wù)邏輯。
• 數(shù)據(jù)服務(wù)與快速取數(shù)： SOFA 網(wǎng)關(guān)內(nèi)置數(shù)據(jù)開放 API，能夠?qū)⒋髷?shù)據(jù)平臺處理后的結(jié)果，通過 SQL 查詢動(dòng)態(tài)生成 REST API，進(jìn)而封裝為智能體可直接使用的工具。鑒于 NL2SQL（自然語言轉(zhuǎn) SQL）和 NL2Data（自然語言取數(shù)）技術(shù)的興起，網(wǎng)關(guān)規(guī)劃集成此類功能，未來將支持用戶/智能體通過更自然的語言指令高效獲取所需數(shù)據(jù)。

3.3 推理網(wǎng)關(guān)-模型智能路由代理

網(wǎng)關(guān)在代理模型服務(wù)時(shí)與傳統(tǒng)服務(wù)代理存在顯著差異。這種差異的根源在于模型服務(wù)自身獨(dú)特的流量特性，主要包括：

• 高延遲與排隊(duì)效應(yīng)： 模型推理需復(fù)雜計(jì)算，單請求處理時(shí)間遠(yuǎn)超傳統(tǒng)服務(wù)（可達(dá)數(shù)秒至分鐘）。新請求到達(dá)時(shí)，若實(shí)例正忙，會(huì)進(jìn)入隊(duì)列等待，導(dǎo)致首個(gè) token 響應(yīng)時(shí)間大幅延長，用戶體驗(yàn)下降。這與傳統(tǒng)服務(wù)的快速處理模式形成對比。
• 高資源消耗與持續(xù)占用： 模型推理依賴 GPU 等專用硬件，是計(jì)算密集型任務(wù)。GPU 資源（顯存和算力）是關(guān)鍵瓶頸，一個(gè)推理請求會(huì)全程占用資源，無法像傳統(tǒng)無狀態(tài)服務(wù)那樣快速釋放資源。
• 處理時(shí)間差異大： 模型請求耗時(shí)受輸入/輸出長度、模型復(fù)雜度和任務(wù)類型影響，波動(dòng)極大（幾秒到數(shù)分鐘）。這種不確定性使傳統(tǒng)基于固定時(shí)間窗口或連接數(shù)的負(fù)載均衡策略難以適用。

正是基于模型流量的上述核心特點(diǎn)，傳統(tǒng)網(wǎng)關(guān)常用的負(fù)載均衡策略（如簡單的輪詢、最少連接數(shù)、隨機(jī)）在模型服務(wù)代理場景下往往效果不佳，甚至適得其反。例如，輪詢可能將新請求分配給已滿載并處于排隊(duì)狀態(tài)的實(shí)例，從而進(jìn)一步加劇延遲。因此，模型服務(wù)網(wǎng)關(guān)需要提供更智能的路由策略，能夠根據(jù)模型實(shí)例的實(shí)時(shí)負(fù)載、KV Cache 狀態(tài)、隊(duì)列情況等指標(biāo)進(jìn)行動(dòng)態(tài)決策。

SOFA AI 網(wǎng)關(guān)作為模型的統(tǒng)一入口，負(fù)責(zé)實(shí)現(xiàn)模型的多集群路由與代理功能，并提供模型注冊、下線的生命周期管理以及智能路由能力。

SOFA AI 網(wǎng)關(guān)的智能路由邏輯與開源 Higress 以及業(yè)內(nèi)推理網(wǎng)關(guān)的實(shí)現(xiàn)方式有所不同，但融合了兩者的優(yōu)勢。Higress 的智能路由能力完全在插件中實(shí)現(xiàn)，即所有路由邏輯均通過插件方式開發(fā)和集成，包括基于 metrics 指標(biāo)的路由。這種設(shè)計(jì)在性能上表現(xiàn)較佳。而當(dāng)前業(yè)內(nèi)的推理網(wǎng)關(guān)普遍基于 Gateway API Inference Extension 規(guī)范實(shí)現(xiàn)，通過獨(dú)立部署的 EPP 服務(wù)進(jìn)行路由選擇。

SOFA AI 網(wǎng)關(guān)出于提升交付效率的考慮，既未選擇直接修改 Higress 數(shù)據(jù)面源碼集成 Gateway API Inference Extension 能力，也沒讓業(yè)務(wù)側(cè)直接在插件里寫路由插件。相反，我們通過開發(fā) Higress 插件，通過支持 ext-proc 協(xié)議對接業(yè)務(wù)側(cè)的 EPP 服務(wù)或使用 http 協(xié)議對接傳統(tǒng)服務(wù)，方便自定義路由擴(kuò)展。

當(dāng)然，未來為更好地與行業(yè)標(biāo)準(zhǔn)對齊，我們也計(jì)劃在數(shù)據(jù)面進(jìn)行修改，以集成原生的 Gateway API Inference Extension 能力。

3.4 MCP 市場

在智能體項(xiàng)目的實(shí)踐中，我們認(rèn)識到高質(zhì)量的工具（特別是專業(yè)化的 MCP）和權(quán)威數(shù)據(jù)是智能體能力的關(guān)鍵。通用大模型在金融等專業(yè)領(lǐng)域落地存在顯著局限：知識可能過時(shí)、缺乏深度行業(yè)理解、難以保證回答的準(zhǔn)確性與合規(guī)性。

專業(yè)工具（MCP）的作用在于：

• 提供精準(zhǔn)、實(shí)時(shí)的專業(yè)能力： 將復(fù)雜的金融分析、診斷、解讀等任務(wù)封裝為可調(diào)用的服務(wù)，確保輸出結(jié)果的專業(yè)性和可靠性。
• 接入權(quán)威、動(dòng)態(tài)的數(shù)據(jù)源： 直接對接處理好的專業(yè)數(shù)據(jù)及合作方的核心金融數(shù)據(jù)，解決通用模型數(shù)據(jù)滯后、來源單一的問題。
• 提升效率與可擴(kuò)展性： 將特定能力模塊化、服務(wù)化，便于智能體按需調(diào)用，也利于能力的持續(xù)迭代和復(fù)用。因此我們基于螞蟻的金融專業(yè)能力，以及在寧波等項(xiàng)目沉淀的智能體研發(fā)經(jīng)驗(yàn)，將一些有質(zhì)量的金融數(shù)據(jù)、金融服務(wù)包裝成 MCP，構(gòu)建一個(gè) MCP 市場，為專有云的智能體提供 SaaS 化服務(wù)。 我們旨在將沉淀的金融專業(yè)能力（知識、數(shù)據(jù)、流程、風(fēng)控等）進(jìn)行標(biāo)準(zhǔn)化、服務(wù)化封裝，構(gòu)建一個(gè)金融能力“樂高”市場。SOFA AI 平臺已上架并持續(xù)豐富一系列面向金融場景的 MCP，為智能體提供強(qiáng)大的“專業(yè)工具箱”。目前已經(jīng)上架多個(gè)金融領(lǐng)域 MCP，如產(chǎn)品診斷、配置選品、行情解讀、事件解讀等。

MCP 市場地址： https://mcp.sofa.antdigital.com/mcp/home

未來展望

在建設(shè)過程中，我們也遇到了一些新的挑戰(zhàn)，主要包括實(shí)體識別準(zhǔn)確度不足和 MCP 上下文超限等問題。

實(shí)體提取不清晰：用戶通過自然語言查詢或操作 MCP 服務(wù)時(shí)，涉及的關(guān)鍵輸入（如基金、股票名稱或代碼）高度依賴精準(zhǔn)的實(shí)體識別。然而，當(dāng)用戶使用別名、行業(yè)非標(biāo)準(zhǔn)稱謂（俗稱“黑話”）或不完整名稱時(shí)，模型提取的結(jié)果可能無法準(zhǔn)確對應(yīng)到真實(shí)的金融實(shí)體（如基金名稱或證券代碼）。這直接影響后續(xù)處理的準(zhǔn)確性和用戶體驗(yàn)。因此，我們亟需引入“提槽”工程能力，通過對識別結(jié)果進(jìn)行精細(xì)化校驗(yàn)和映射，以提升用戶交互體驗(yàn)和信息召回率。

MCP 上下文爆炸：目前平臺已上架的專業(yè) MCP 達(dá)到 15 個(gè)，且未來數(shù)量將持續(xù)增加。接入過多的 MCP 會(huì)顯著膨脹單個(gè)請求的處理上下文（Context），對模型的性能和資源消耗造成壓力。針對此問題，構(gòu)建一套智能化的 MCP 路由機(jī)制變得尤為重要，以便根據(jù)用戶請求精準(zhǔn)篩選所需的服務(wù)模塊，避免不必要的上下文加載。

構(gòu)建提槽能力和 MCP 智能路由能力，也將是 SOFA AI 網(wǎng)關(guān)在下半年重點(diǎn)發(fā)力的方向。

最后，感謝 Higress 開源團(tuán)隊(duì)，因?yàn)橛?Higress 這么好的產(chǎn)品，SOFA AI 網(wǎng)關(guān)才能得以快速孵化。