摘要
* 風險態勢：AI 原生應用把“數據—模型—業務”三條鏈路深度耦合，泄露與越權從“點狀事件”轉為“鏈路型、低信號、漸進式”攻擊：提示詞注入→RAG 越權→輸出處理不當→多輪誘導→審計缺口串聯放大。OWASP LLM Top 10（2025）將 Prompt Injection、Insecure Output Handling、Training Data Poisoning 等列為優先風險，對應控制必須前移到交互鏈路與輸出處理層。 (OWASP Foundation) * 總體方案：采用 “流式網關（LLM 前置）+ 逐 Token 并行檢測 + 策略化處置 + 全生命周期審計” 的中樞架構，將輸入、生成、輸出、檢索與會話記憶納入閉環，并與 DLP / CASB / 數據分級分類聯動。 * 合規錨點：與 NIST AI RMF（Generative AI Profile, NIST AI 600-1） 的治理—測量—管理動作、EU AI Act（2025 起分期生效） 的透明度與高風險義務、以及 中國《人工智能生成合成內容標識辦法》（2025-09-01 施行） 對齊，形成技術—流程—證據三位一體。 (NIST 技術系列出版物)
1｜風險全景：從單點防護到鏈路治理
攻擊面遷移：傳統敏感詞與靜態規則難以識別“看似正常”的業務語義；攻擊者把誘導拆分成多輪對話，利用模型記憶與檢索邊界松動逐步越權。高頻路徑包括：
-
- 提示詞注入（Prompt Injection） ：通過偽裝角色指令轉移系統目標；
- RAG 越權：角色—庫—文檔綁定不嚴、相似文本繞過造成“看似公開、實則敏感”的檢索命中；
- 輸出處理不當（Insecure Output Handling） ：富文本、鏈接、代碼塊、文件名、內嵌標識等二次泄露；
- 多輪誘導：會話中途“主題漂移”，在第 N 輪觸發敏感回答；
- 審計缺口：關鍵字段缺失導致取證和整改滯后。
這些恰與 OWASP LLM Top 10（2025） 的風險分類高度重合，提示治理重心必須覆蓋“輸入→生成→輸出→檢索→記憶→審計”的完整鏈路。 (OWASP Foundation)
2｜總體架構：以“流式網關”為中樞的五段式防護
* 中樞節點：將 Envoy/C++ 數據面 + WASM 沙箱 作為 LLM 前置網關，實現逐 Token 并行檢測與毫秒級策略處置；檢測邏輯與核心通道隔離，利于策略灰度與熱更新。 * 五段式閉環： 輸入側：規則庫 + 語義模型雙層攔截提示詞注入與越權意圖； 生成側：對中間流（stream）進行片段化風險評估，必要時即時重寫或阻斷； 輸出側：結合 意圖分類 + PII 實體抽取 + 輸出處理安全基線，避免語義與格式引發二次外泄； 檢索側（RAG） ：角色—庫—文檔矩陣與相似度二次校驗并行； 會話側：時序建模與意圖偏離度監控，識別漸進誘導； 審計側：全生命周期日志、證據固化與威脅情報同步。
3｜輸入側防護：規則 × 語義 × 流式并行
目標：首 Token 體驗不受損的前提下，最大化召回、最小化誤殺。
* 規則層（第一道閘） ：覆蓋系統提示探測、角色誘導、越權查詢、社會工程話術、批量枚舉等高頻模式，可按行業（金融征信、醫療隱私、政務查詢）擴展。 * 語義層（第二道閘） ：采用輕量文本編碼器/分類器（例如 BERT/對抗訓練），對變體與繞行指令具備魯棒性；對“先中性—后誘導”的隱含意圖給出早期預警。 * 流式檢測：輸入切片與模型生成并行評估，命中高風險即觸發拒絕/改寫/澄清策略并記錄要素（規則命中、向量得分、上下文窗口快照）。 * SaaS/Copilot 特化：對租戶邊界、外部共享、鏈接展開、組織外轉發等開關進行合規基線固化（詳見 §6），避免“影子 AI 使用”造成外泄與合規盲區。
4｜輸出側合規：意圖—實體—輸出處理三聯動
難點：輸出語義復雜、上下文依賴強，“同一句話在不同場景風險不同”。
* 意圖分類：將輸出按“隱私泄露、違規引導、法律與合規受限、商業機密”等標簽打分，結合樣例學習快速適配新域。 * 實體抽取與脫敏：在 Presidio 能力的基礎上擴展行業實體（如客戶編號、合同號、病例號、設備序列號等），并使用占位/掩碼/合成數據三檔脫敏策略。Presidio 官方強調 自動檢測不能保證發現全部敏感信息，因此必須疊加多重控制（上下文、規則、向量近似）與人工復核通道。 (微軟GitHub) * 輸出處理安全基線（Insecure Output Handling） ：
1. 文本降級：富文本→純文本，剝離可執行片段、內嵌鏈接與腳本； 2. 鏈接策略：對外鏈進行白名單與不跟隨（no-follow）策略，屏蔽包含敏感標識的 URL； 3. 文件名/路徑審查：屏蔽內含個人信息或機密字段的文件名回顯； 4. 代碼/指令塊審查：嚴格限制模型“輸出可執行指令”在生產環境的直通通道。 以上做法直接對齊 OWASP LLM Top 10: Insecure Output Handling 的緩解建議。 (OWASP Foundation)
5｜RAG 越權與記憶溢出：事前權限 × 事中校驗
* 事前：權限矩陣 將 角色—知識庫—文檔三元綁定，默認最小化；高敏庫（客戶數據、合同與法務、病歷等）默認不檢索，需二次授權；對“近似同義改寫”的邊界問題以查詢意圖而非關鍵詞為準。 * 事中：相似度二次校驗 針對候選檢索結果，計算與敏感庫的相似度（文本與嵌入雙通道）；當超閾值時強制攔截/替換為公開解釋/轉人工；對“癥狀→病歷”“問答→客戶明細”類“側寫式越權”尤其有效。 * 記憶管理 會話記憶長度與持久化范圍設閾；在“跨工單/跨渠道”的復用場景定期清空或匿名化處理；對“跨域上下文拼接”執行來源校驗，避免“把前一工單的隱私帶入新會話”。
6｜SaaS/Copilot 與協作場景：租戶與外發的防線
在辦公套件與協作平臺中，權限誤配與外部共享是最常見的“非技術漏洞”泄露路徑。可操作的治理要點：
-
- 租戶邊界：開啟跨租戶限制、外部域共享白名單；對團隊/外包賬戶啟用限時憑證。
- 敏感度標簽：與 DLP 聯動，按“受限/內部/公開”控制復制、下載、轉發能力；對含 PII/機密字段的文檔默認水印與只讀。
- 外發治理：對郵件、IM、云盤分享設置到期時間與次數限制；對“含 AI 生成內容”的外發添加顯式標識與審計錨點，以滿足國內外“生成內容透明度”要求。
- 影子 AI 管控：應用市場與瀏覽器插件納管；建立模型/應用白名單與審批流，納入資產臺賬。
這些措施與近期企業對 Copilot/第三方助手的越權與泄露教訓一致：最小權限 + 默認拒絕 + 外發可追溯 是降低協作面數據外泄風險的關鍵。 （行業實踐新聞與合規專題對 SaaS/Copilot 的治理反復強調該思路，可結合本節落地。）
7｜多輪會話識別：時序建模與意圖偏離度
* 時序建模：以 LSTM/輕量時序編碼保存 近 N 輪用戶意圖軌跡，標記從“中性任務”向“敏感數據請求”的突變點； * 意圖偏離度：計算與會話初始目標的相似度變化，超過閾值（如 30%）觸發熔斷與人工復核； * 閉環證據：把偏離觸發點、上下文窗口、策略動作、人工結論寫入審計，供后評估和策略重訓練使用。 該模式專門針對 漸進式 Prompt Injection 與分段誘導，符合 2025 年攻防趨勢與 OWASP 風險分類對多輪語境的關注。 (OWASP Foundation)
8｜合規映射：控制項 ? 標準/法規（速對照表）
目的：讓安全與合規團隊“同圖共語”。下表給出關鍵控制與權威框架/法規的對齊錨點與動作線索。
| 控制域 | 關鍵控制項（節選） | OWASP LLM Top 10:2025 | NIST AI 600-1（RMF 子域） | EU AI Act（關鍵時點/義務） | 中國法規/標準（關鍵要求） |
|---|---|---|---|---|---|
| 輸入防護 | Prompt Injection 雙層檢測、越權意圖判別、策略灰度回放 | LLM01 Prompt Injection | MAP/MEASURE：攻擊面識別與度量；MANAGE：控制與緩解 | 2025-08 起 GPAI 透明度/技術文檔準備（持續）；高風險系統逐步到位 | 與“生成式 AI 辦法/深度合成/算法推薦”協同治理 |
| 輸出處理 | 意圖分類+PII 抽取+脫敏三檔；鏈接與富文本降級 | LLM02 Insecure Output Handling | MEASURE/MANAGE：輸出風險度量與控制 | 透明度與技術文檔（含數據治理與安全控制陳述） | 《人工智能生成合成內容標識辦法》：顯式/隱式標識、留痕與可識別性 |
| RAG 越權 | 角色—庫—文檔矩陣；相似度二次校驗；敏感庫封禁 | LLM01/LLM02（衍生） | MAP：資產/數據流識別；MANAGE：訪問控制 | 高風險場景的數據治理、可追溯與審計 | 數據分級分類、最小化訪問與留痕要求 |
| 多輪誘導 | 時序建模與意圖偏離度；熔斷與人工介入 | 與 LLM01 相關 | MEASURE：行為度量；MANAGE：事件響應 | 高風險系統的監測、日志與報告 | 事件溯源與日志完備性要求 |
| 審計與證據 | 18 項關鍵字段、鏈路快照、證據固化 | 貫穿各條款 | GOVERN/MANAGE：治理結構與證據 | 評估、技術文檔、監管抽查的可供給性 | 監管抽查留痕、標識與可追溯性 |
參考：OWASP LLM Top 10（2025） ；NIST AI 600-1（Generative AI Profile） ；EU AI Act 正按既定時間線推進義務（GPAI 2025-08 起適用，后續高風險分期）；中國《人工智能生成合成內容標識辦法》自 2025-09-01 施行。 (OWASP Foundation)
9｜數據分級 × DLP/CASB × 網關：三層聯動閉環
目標：把“能否外發/呈現/檢索/保存多久”寫進可執行策略。
-
- 分級分類：以“受限/內部/公開”為主軸，細化 PII/財務/法務/醫療/源代碼等域；
- DLP：在端點、網關與云側實施正則/指紋/模型混合檢測；對違規外發自動阻斷+水印+告警；
- CASB：對云應用的訪問、共享、下載與外鏈設置策略；
- 合成內容標識：對 AI 生成內容在對外通道自動加注顯式/隱式標識，滿足本地法規對“可識別性”的要求與取證復核需要。 (國家市場監督管理總局)
10｜指標與方法學
建議采用以下可復現方法：
* 攔截召回率：構建真實業務語料 + 對抗生成樣本集（分行業），按攻擊類型分桶（注入/越權/多輪/輸出），以人工標注金標準統計召回； * 誤殺率：以生產匿名化會話回放為樣本，抽檢正常請求被攔截比例； * 首屏延遲：統計 TTFB（首 Token）與端到端 95/99 分位； * 多輪識別率：以“中性→誘導→敏感”腳本評估偏離檢測與熔斷觸發的準確性； * 審計完整率：抽查事件的 18 項關鍵字段（詳見 §12 清單）是否齊全。 把評測腳本、樣本規模、置信區間與版本號納入附錄與外鏈，便于外部審核或客戶驗收時復核。
11｜實施路徑（工程視角）
-
- 鏈路插樁：在“用戶 ? LLM 服務”之間前置網關，打開逐 Token 流式檢測；對性能敏感業務啟用“首 Token 直通 + 后續分段攔截”。
- 輸入側上線節奏：先規則后模型，滾動灰度；對誤殺樣本快速回放修正；
- 輸出側基線：意圖→實體→處置“三段式”，并強制執行輸出處理安全基線；
- RAG 與記憶：落地“角色—庫—文檔”矩陣，建立相似度二次校驗；設置記憶長度與跨會話清理策略；
- SaaS/Copilot 專項：同步上線租戶與外發治理策略，聯動 DLP/CASB；
- 審計閉環：固化日志方案，啟用威脅情報同步與“月度策略回顧”；
- 合規對齊：按 §8 對照表補完技術文檔、透明度說明、控制映射表，迎接 EU AI Act 與本地法規的抽檢與問詢。 (NIST)
12｜可直接落地的兩張表
12.1 上線前 15 項核查清單
-
- 網關部署在 LLM 前置，開啟流式檢測；
- 規則庫覆蓋系統提示探測/角色誘導/批量枚舉/高危敏感域（金融、醫療、政務）；
- 語義模型完成對抗樣本校準；
- 首 Token 直通策略與后續攔截開關驗證；
- 輸出處理基線啟用（文本降級/鏈接白名單/文件名審查/代碼塊限制）；
- PII 實體庫擴展行業字段并通過抽檢；
- 脫敏策略三檔在主要場景跑通；
- 角色—庫—文檔矩陣與相似度二次校驗上線；
- 會話記憶長度/清理策略與跨域來源校驗到位；
- SaaS/Copilot：租戶邊界、外發限制、到期與次數限制、審批流；
- DLP/CASB 與分級標簽聯動打通；
- 審計字段 18 項齊全（見下表）；
- 月度策略回顧與威脅情報同步機制建立；
- 指標面板展示召回/誤殺/時延/熔斷觸發率；
- 合規文檔：控制映射表 + 透明度與技術文檔 + 訓練/推理數據治理說明準備好。 (OWASP Foundation)
12.2 審計日志 18 項關鍵字段（示范）
- 請求 ID、用戶/角色、認證方式（mTLS/JWT）、來源 IP/UA； * 時間戳（入站/出站/策略動作）、會話 ID 與輪次； * 輸入片段/風險標簽/命中規則（脫敏存儲）； * 語義得分/相似度得分/偏離度閾值； * RAG 檢索候選與攔截原因（脫敏存儲）； * 輸出處置類型（通過/重寫/脫敏/阻斷）與示例； * 策略版本號、模型版本號； * 審計與復核人、事件狀態（已處置/復盤中/關閉）。 建議對關鍵日志以防篡改存證方式固化，便于合規抽檢與客戶審計。
13｜FAQ
Q1：如何在不犧牲體驗的前提下降低泄露？ A：將檢測與生成并行化（流式切片評估），把最嚴格的處置放在“中間流”而非“首 Token”；在可疑但非致命時優先澄清/重寫而非直接阻斷。
Q2：只靠實體抽取足夠嗎？ A：不夠。PII 抽取對“嵌入鏈接、文件名、二義語義”無能為力，必須疊加 輸出處理基線 與策略聯動。Presidio 官方亦提示檢測有邊界，需額外系統配合。 (微軟GitHub)
Q3：RAG 越權最易忽視的點？ A：把“公開資料的近似段落”當作安全，忽視其與私有內容的高相似度外泄風險；務必對候選做相似度二次校驗并與敏感庫比對。
Q4：如何準備監管來訪或客戶盡調？ A：提前準備 §8 的控制映射表與 §12 的審計清單；加入 NIST AI 600-1 的治理動作、EU AI Act 的透明度/技術文檔指引，以及國內標識辦法的執行證據。 (NIST 技術系列出版物)
14｜案例式片段
* 客服知識庫越權：用戶以“售后排查流程”切入，逐步側寫訂單明細；相似度二次校驗命中敏感庫閾值 → 網關切換“回答模板 + 轉人工”，泄露阻斷； * 多輪誘導拿系統提示：前 5 輪為常規咨詢，第 6 輪觸發“系統提示泄露”嘗試；偏離度模型預警 + 規則命中 → 觸發熔斷并生成安全替代答復； * 協作外發誤配：含客戶手機號的評審文檔被外鏈分享；DLP 命中 + CASB 外鏈到期策略 → 自動撤回鏈接并告警復盤。
15｜結語：把安全做成“鏈路能力”，而非“補丁”
2025 年的 AI 安全不是“多加一個過濾器”，而是把輸入/輸出/檢索/記憶/審計做成一條可觀測、可驗證的鏈路能力：
- 用 流式網關 將控制前移到“用戶與模型之間”； * 用 輸出處理安全基線 補齊“內容—格式—鏈接—代碼”的多維外泄； * 用 RAG 權限矩陣 + 相似度校驗 固化檢索邊界； * 用 時序建模與偏離度 抓住漸進式誘導； * 用 分級×DLP×CASB×日志 打通過程、結果與證據； * 最終把這些控制映射到 OWASP LLM Top 10（2025）/ NIST AI 600-1 / EU AI Act / 國內標識辦法 的共同語言里，讓安全團隊與合規、業務與工程在同一張表上協作。 (OWASP Foundation)
參考
- OWASP Top 10 for Large Language Model Applications（2025 版，含 LLM01/LLM02 等）與項目頁。 (OWASP Foundation) * NIST AI 600-1 Generative AI Profile（2024/2025 發布，RMF 配套執行動作）。 (NIST 技術系列出版物) * EU AI Act 實施時間線與 2025 年起的 GPAI/高風險分期義務（官方及主流律所/合規解讀）。 (歐盟人工智能法案) * 中國《人工智能生成合成內容標識辦法》 （網信辦 2025-03-14 發布，2025-09-01 施行）。 (國家市場監督管理總局)
（完）
文章來源于AI-FOCUS團隊對AI安全的研究和分析 AI-FOCUS團隊是專注于AI安全和產品研發的團隊
原文首發地址和AI安全護欄DEMO
posted on
浙公網安備 33010602011771號