隨著大模型技術的飛速發展，我們正從云原生時代邁向一個全新的 AI 原生應用時代。智能體（Agent）作為能夠自主理解、決策并執行任務的全新應用范式，正在重塑軟件的定義。然而，在生產環境中規模化落地 Agent 面臨著開發效率、安全彈性、運維觀測等多重挑戰。

今天，云原生應用平臺 Serverless 計算負責人楊皓然在云棲大會發表主題演講“Serverless Agent 基礎設施：助力大規模 Agent 部署與運維”。本議題深入介紹了阿里云以函數計算為核心打造的 Agent 基礎設施——AgentRun，闡述其如何通過創新的運行時、模型服務、網關及可觀測體系，為企業構筑堅實、高效、安全的 Agent 時代基石。

從云原生應用到 AI 原生應用

應用架構的演進史，是一部不斷追求極致效率的創新史。從單體應用到以微服務、容器化和 Serverless 為代表的云原生技術，我們將研發重心從繁重的底層運維中解放出來，聚焦于業務創新。

如今，以大模型和自然語言交互為核心的 AI 原生應用浪潮正洶涌而至。未來的應用將不再是被動等待指令的工具，而是一個個能夠自主理解、決策并調用工具完成復雜任務的智能體。

然而，在這條通往智能未來的道路上，生產環境落地 Agent 會在應用生命周期各個階段面對諸多挑戰：

• 開發階段的效率問題：企業級 Agent 的構建遠不止于 API 調用，它涉及復雜的邏輯編排與工具集成。如何選擇合適的開發框架，并與現有業務及研發流程高效匹配，成為首要難題。
• 部署階段的安全與彈性問題：Agent 執行代碼具有不確定性與流量的動態不可預測性，對運行時的安全隔離與彈性伸縮能力提出了前所未有的高要求。
• 運維階段的“黑盒”與“成本失控”問題：Agent 的運行狀態、Token 消耗、工具調用路徑往往如同一個“黑盒”，導致成本失控與質量評估困難。一套完善的 AI 應用治理與可觀測體系不可或缺。

為了解決這些問題，我們以阿里云函數計算 FC 為核心，深度集成日志、網關等云產品，推出了 AgentRun——一個專為 Agent 而生的一站式基礎設施平臺。

AgentRun：專為 Agent而生的一站式基礎設施

AgentRun 旨在為 Agent 應用生命周期的各個階段提供全面支持，其核心能力圍繞三大層面構建：

• 開發層面：框架兼容與深度集成。AgentRun 與開發框架無關，任何框架構建的 Agent 都可以平滑運行。并且我們針對流行框架進行了深度集成。用戶可能夠根據自身需求，選擇最適合的工具和框架，無論是基于模板快速搭建，還是深度定制，都能事半功倍。
• 部署層面：提供安全、彈性、低成本的運行底座，針對 Agent 應用負載特點，AgentRun 提供了深度優化的運行時，確保 Agent 在安全隔離的環境中高效、彈性地運行。
• 運維層面：全面的 AI 應用治理與可觀測體系。從統一的模型代理網關，到 AI 全棧監控與端到端鏈路追蹤，AgentRun 幫助客戶清晰洞察 Agent 的每一個行為與每一筆消耗，實現精細化的成本控制與質量優化。

深度解析 AgentRun 核心引擎

AgentRun 的強大能力，源于其四大核心引擎的協同工作。

智能體運行時與云沙箱：Agent 的心臟

基于函數計算構建的智能體運行時，是 AgentRun 的核心。它提供了一個輕量靈活、安全隔離、極致彈性且成本精益的執行環境。

• 安全隔離：運行時的第一原則。我們采用自研的“袋鼠安全容器”，它具備虛擬機的隔離強度，卻擁有函數級的毫秒級啟動速度。結合存儲、網絡的多維度多租戶隔離設計，確保 Agent 可在安全的環境中執行任意代碼。
• 極致彈性：應對不確定負載的關鍵。AgentRun 創新地將實例管理做成了數據平面，使其彈性能力無單點瓶頸，可隨集群規模無限水平擴展。結合專為彈性優化的網絡架構，可實現百毫秒冷啟動與1毫秒忙閑時智能極速熱切，當前已具備單集群支持百萬規模的智能體運行時和沙箱實例，單個智能體服務支持百萬 QPS 的服務能力。
• 精益成本：技術普惠的基石。函數計算在支持縮容到0的基礎上，首創了按實例“忙/閑”狀態獨立計費的模式。當 Agent 等待模型或工具響應時，實例處于閑置狀態，算力免費，僅收取極低的內存費用。該模式完美契合 Agent 流量不可預測的特點，平均可為企業降低 60% TCO。

此外，運行時內置了開箱即用的代碼解釋器和瀏覽器沙箱等工具，無論是簡單的 Agent 還是復雜的鏈式 Agent，AgentRun 都能獲得統一、高效的執行環境。

模型運行時：領域模型托管更彈性、低成本

Agent 任務常需調用意圖識別、文生圖、文生語音等領域模型。AgentRun 基于函數計算提供的模型運行時，為這類小參數模型提供了更具彈性和成本效益的托管方案。

其核心是一套請求感知調度引擎，處理流程如下：

1. 當一個推理請求到達函數網關后，我們的調度引擎。它會實時追蹤請求處理和集群 GPU 實例的負載情況。

2. 引擎會根據上述信息做出決策：

   • 路徑 ①：優先使用那些已經處于活躍狀態的實例。這是最高效的方式，保證最低延遲，因為實例是‘熱’的。
   • 路徑 ②：快速喚醒那些暫時閑置但已預熱的實例。大家知道，冷啟動是 Serverless 的一大痛點。但通過我們的快照恢復等技術，我們將這個喚醒時間壓縮到了1毫秒！這意味著我們用較低的成本，實現了百倍的啟動加速，能夠滿足延時敏感的在線業務要求。
   • 路徑 ③：彈性補充那些需要從零開始的冷啟動實例，以應對后續的流量增長。

這套機制在實際業務場景中效果很好：

• 在請求感知調度下，我們成功地將 AI 應用的 RT 抖動減少了 80%，大幅提升了用戶體驗和系統穩定性。
• 通過毫秒級閑置實例喚醒，我們實現了百倍的啟動加速，既保證了 AI 算力的剛性交付，又讓客戶彈性使用算力資源，大幅降低成本。
• 通過算力解耦技術，我們能為客戶提供更細粒度的 CPU 和 GPU 組合，讓小參數的領域模型資源使用更經濟高效。這使得企業能夠平均降低 40% 的 GPU 成本。

AgentRun 模型運行時，正是通過這些技術創新，讓領域模型推理既高效，又經濟，真正實現彈性和成本的最佳平衡。

AI 網關：企業 AI 能力的治理中心

AI 網關不僅是流量入口，更是解決模型多樣性、安全合規、開發效率與成本優化三大治理難題的核心。

• 多模型適配：企業內部可能同時使用通義、GPT、開源 Qwen 等多種模型。AgentRun 網關通過多模型適配能力，提供了統一的協議轉換、重試和 Fallback 機制，讓上層應用無需關心底層模型的差異，實現了“即插即用”。
• 安全與合規：網關內置了豐富的 AI 安全防護插件，從內容安全護欄，到精細化的 Token 限流與配額，確保 Agent 的每一次交互都安全、合規、可控。
• 開發效率與成本優化：我們提供了豐富的AI 開發插件集，例如“語義緩存”能大幅降低重復請求的 Token 消耗，提升響應速度；“提示詞模板”則能幫助團隊標準化 Prompt 工程，提升 Agent 的穩定性。除此之外，AI 網關還提供全面的 LLM 訪問日志和消費者/模型級別的 Token 消費觀測，便于成本核算和優化。

AI 網關為企業提供高可用、零信任、高性能的全面保障，大模型調用成功率能提升到 99.9% 以上。

AgentRun 可觀測：攻克 Agent “黑盒”難題

為解決 Agent“用起來、用得省、用得好”的樸素訴求，AgentRun 構建了強大的可觀測能力。

• 端到端鏈路追蹤：通過標準可觀測協議，將用戶請求經過的所有組件（網關、模型應用、向量數據庫等）串聯起來，實現快速的問題定位。
• 全棧數據關聯分析：構建全棧可觀測數據平臺，將鏈路、指標（如應用層 RT 與底層 GPU 利用率）等數據進行關聯分析，精準判斷故障根源。
• 統一日志存儲與分析：提供統一的日志能力，記錄每次調用的輸入輸出，為 AI 應用質量的量化評估與持續優化提供數據基礎。

實踐的證明：AgentRun 的落地實踐

AgentRun 的能力已在多個大規模真實業務場景中得到驗證：

• 模型服務化領域：我們與國內最大的 AI 模型社區 ModelScope 魔搭深度合作。過去，開發者要用上社區里超過 2 萬個熱門模型，需要經歷繁瑣的環境搭建和部署。現在，通過 AgentRun，開發者可以一鍵托管，最快 30 秒就能將一個開源模型，轉化為生產級的、兼容 OpenAI 規范的 API。大幅加速了從模型到應用的“最后一公里”。而吉利/極氪等頭部廠商，也大量使用模型運行時托管文生圖，文生語音等領域模型，支撐智能座艙等關鍵業務。
• 企業智能體落地：支撐行業頭部基礎模型廠商構建面向千萬用戶的 C 端智能體應用。AgentRun 的虛擬機級安全隔離、大規模實時彈性以及忙閑智能計費，完美解決了稀疏調用與“爆款”流量并存的復雜場景，實現了安全、體驗與成本的極致平衡。
• AI 工具生態：我們助力阿里云百煉發布了 MCP Server 市場。工具開發者可以將其服務以 Serverless 的方式部署。AgentRun 的實例縮 0 和閑置計費等能力，讓這些工具服務在沒有流量時，成本降低 85%，甚至為 0。除此之外，Qwen 模型訓練中的強化學習任務，負載是脈沖式的，也大量使用 AgentRun Sandbox，規模達到數十萬核。

新的技術浪潮已經到來。未來的核心競爭力，將不再僅僅是模型本身，而是高效、安全、大規模地部署和管理 Agent 這一全新數字勞動力的能力。AgentRun 的使命，正是成為 AI 原生時代不可或缺的“水電煤”基礎設施，為企業的智能化轉型鋪平道路，讓每一個創新的想法都能在這條高速公路上盡情馳騁。