轉載學習：大模型安全風險分析與防護架構

大模型作為新興的IT應用技術，因其廣泛的通用和專用業務場景，以及高效的智能分析、推理、生成能力，受到各行業的積極應用和推廣。隨著大模型應用業態的不斷豐富，預計其技術影響范圍將持續擴大。為了保障大模型的安全和合規使用，企業組織必須以全面的風險管控框架，進行風險分析及安全設計，從頂層進行規劃，確保大模型技術在風險受控的前提下得以導入和應用。2025年2月19日，國務院國資委召開中央企業“AI+”專項行動深化部署會，強調大模型構建需加速追趕，推動人工智能關鍵領域取得一系列積極進展。當前，以國資企業為代表的各類組織機構迅速部署大模型，積極推動該領域業務與大模型的融合應用。受國家政策支持、激勵及市場發展前景等多重因素驅動，以大模型為主體的各類技術、應用和產品呈現出百花齊放的發展態勢，得到了極其廣泛的拓展和行業應用。

作為大模型技術應用及發展的前提，安全問題必須從頂層進行全面規劃。在風險可控的基礎上導入并應用大模型，才能支撐業務健康有序發展。大模型安全風險總體上可以劃分為安全合規風險、安全技術風險兩大類別。基于兩類風險，對應設計安全防護架構，可區分獨立部署大模型、外聯商業大模型兩類關鍵場景。對于獨立部署大模型，由于組織機構負責模型的開發建設與實施，因此需要以更全面的視角進行安全設計，綜合考慮大模型安全基礎（環境安全）、大模型技術安全、大模型管理安全和安全目標。而外聯商業大模型場景的應用場景更為單一，風險類型相對較少，技術層面主要關注數據泄露防護。

大模型安全合規風險

大模型安全合規風險圍繞滿足國家和行業監管機構針對人工智能、大模型應用發布的規章制度及規范性文件要求，并將相關要求落實到管理和技術兩個層面，防止因違規而引發行政處罰等風險。在梳理大模型應用的法律法規及規范標準過程中，可以從兩個方向開展：縱向分析從法律法規效力層級逐層覆蓋相關要求；橫向分析區域性和行業性要求。

（1）在法律及行政法規層面

2025年1月1日施行的《網絡數據安全管理條例》第十九條規定，提供生成式人工智能服務的網絡數據處理者，應加強對訓練數據及其處理活動的安全管理，并采取有效措施防范和處置網絡數據安全風險。第四十條規定了智能終端等設備生產者有關預裝應用程序的關聯義務。企業組織機構還需從場景及應用特殊人群方面進行分析：如前者分析是否涉及關鍵信息基礎設施，以滿足《關鍵信息基礎設施安全保護條例》要求；后者分析是否涉及未成年人，以滿足《未成年人網絡保護條例》要求。

（2）在部門規章層面

首先必須遵循2023年8月15日施行的《生成式人工智能服務管理暫行辦法》，其次對于涉及人臉圖像生成類的大模型，還需單獨進行合規分析，確定滿足2025年6月1日起施行的《人臉識別技術應用安全管理辦法》要求。模型內容生成還應對暴力內容進行篩選過濾，以符合《網絡暴力信息治理規定》第十二條的規定。對于特殊行業，如氣象領域，還應進一步符合《人工智能氣象應用服務辦法》的相關規定。

目前，規范性文件、標準及技術文件的內容較多，且隨著時間推移，這部分內容將持續充實和細化，因此需要持續關注和跟進。針對規范性文件，組織機構需要遵循國家互聯網信息辦公室聯合其他三部委發布的《人工智能生成合成內容標識辦法》，向下關聯應用強制性國標《網絡安全技術 人工智能生成合成內容標識方法》（GB 45438-2025）以及技術性文件《生成式人工智能服務安全基本要求》（TC260-003）。同時，還需選擇適用的推薦性國家標準，如《網絡安全技術 生成式人工智能數據標注安全規范》（GB/T 45674-2025）等。

（3）在橫向有關區域和行業性規范方面

當前針對人工智能和大模型技術的文件主要以鼓勵發展的內容為主，這些文件涉及企業組織機構申報政府獎勵、補貼、獎項等事宜。以合規為主題，主要需要引用國家和部門規章類要求，或根據本區域、本行業的網絡和數據安全要求進行關聯引用。

大模型安全技術風險

大模型安全技術風險需從兩類應用場景分別分析，然后進行綜合規劃。大模型兩類應用場景（如圖1所示）分別為獨立部署大模型場景和外聯商業大模型場景。

• 獨立部署大型場景指企業組織機構自行部署大模型，能夠控制模型的訓練、部署、應用的部分或全部階段；
• 而外聯商業大模型場景指企業組織機構通過互聯網訪問開放的商業模型，并對模型不具有控制權。

在獨立部署大模型場景中，可從時間和空間兩個維度進行分析。在時間維度上，將模型訓練、部署和應用劃分為三個階段；在空間維度上，按照基座安全、數據安全、模型安全、應用安全和身份安全五個關鍵技術領域進行劃分，并進行風險矩陣映射（如圖2所示）。

通過該風險矩陣，組織能夠全面考慮大模型的各類風險，既能支持前期項目可行性研究進行風險分析，也能在運營期階段提供風險識別、登記、監控和處置的指導。該矩陣還可以幫助組織機構基于大模型的生命周期，從訓練、部署和應用分階段梳理安全風險，明確各角色的安全責任，從而進行全面的安全設計。例如，在模型應用階段，對外發布大模型服務，技術層面需要滿足五類安全要求，由安全部門主導相關的安全驗證與測試，尤其是上線發布前的綜合測試；合規層面則需要整合大模型的合規備案和算法備案內容，由業務部門主導，聯合安全部門進行備案前的安全自查、測試和報告等。與此同時，以該風險矩陣為基礎，機構還可以擴展第三維度，進行能力成熟度評估，以關聯機構IT能力的持續管理，或可導入《人工智能大模型 第3部分：服務能力成熟度評估》（GB/T 45288.3-2025），實現本機構的大模型服務能力成熟度自評或未來的第三方認證。

在外聯商業大模型場景中，由于大模型的所有權并不歸屬使用方，因此技術風險主要聚焦在數據安全和模型幻覺兩大類，其他風險類別相對較少。特別是在數據安全方面，內部數據泄漏的風險尤為突出。由于互聯網商業大模型的發展異常迅速，模型的互聯能力和應用場景的豐富程度持續刷新，企業組織機構在外聯商業模型時，通常有強烈的需求提升自身的業務能力和處理效率。因此，在該場景下，通常需要由安全部門進行總體設計，并區分API外聯和WEB外聯兩類調用模式，盡速部署安全策略，防止組織內部的商業敏感數據、個人信息乃至涉密數據的外發和上傳。

大模型防護架構

以大模型合規框架、技術風險矩陣為基礎，大模型安全防護可以從三個層次展開。

• 底層大模型運行環境，需保障基礎設施安全，包括通信網絡、區域邊界、計算環境、云、容器涉及的安全設計與實現；
• 中層需在技術上實現三類關鍵業務安全場景，即供應鏈安全、數據安全和運營安全，在管理上實現大模型合規評估備案，并將其納入組織機構總體風險管理、安全監測預警和安全應急響應框架；
• 頂層實現基座、模型、數據與算法、運行的安全技術目標，以及模型風險可控、合法合規的管理目標。

大模型供應鏈安全場景可以結合基礎安全進行設計：

• 首先，要對大模型部署網絡與應用系統環境進行安全檢測與加固，基于大模型部署環境，需對相關網絡、操作系統、云和容器環境進行安全監測與防護；
• 其次，大模型依賴開源組件，因此需要圍繞大模型開源組件的安全檢測、許可依賴和脆弱性繼承關系進行有效安全防護，并將此能力納入開發安全流程中，確保后續模型二次訓練和微調過程中的代碼安全；
• 最后，基于大模型的生命周期，涉及模型開發環境、訓練環境、運行環境的安全檢測與防護，防止這三類環境中被植入惡意代碼、數據投毒等，避免導致模型構建、壓縮、微調及后續應用期間出現嚴重漏洞、數據泄露和違規輸出等問題。

大模型數據安全場景必須從兩個方面進行安全設計：

• 首先是在大模型訓練、微調、應用過程中，對輸入至大模型的數據、文件進行風險檢測，相關數據和文件還需進行敏感數據、商業涉知識產權數據、用戶隱私信息的識別與風險評估，未加保護可導致數據和商業秘密泄露、逆向工程還原、個人數據違規等風險；
• 其次是大模型輸出內容的合規審核。由于大模型可能被濫用生成違規、虛假信息、惡意代碼、仇恨言論等，需對大模型輸出的內容進行審核。可利用關鍵詞過濾、提示詞分類、語義識別等方式，檢測并控制大模型生成有害內容的風險，確保符合組織機構安全的法律法規和管理規定的要求。

大模型運營安全場景可從技術與管理兩方面進行設計：

• 在技術層面，安全運營需解決大模型運行期間的安全性和可用性問題。
  • 安全性涉及智能體調用安全、集成應用或數據源API接口安全、模型防越獄及防越權、提示詞與思維鏈注入防護等內容，以及圍繞不同層級的身份識別與授權等方面進行詳細安全設計和防護；
  • 可用性則涉及大模型資源濫用和算力耗盡攻擊防護，同時需要兼顧網絡與操作系統層面DoS攻擊防護。
• 在管理層面，應完成大模型合規備案，涉及算法合規監管的，還需考慮算法合規備案流程。在此基礎上，同步建設大模型的風險評估、安全監測預警和應急響應能力，并將這些功能整合進組織機構的信息安全管理體系，實現統一管理。

總結

大模型技術因其廣闊的發展前景，受到了世界各國的關注和投入。同時，隨著其不斷融合智能體和智能應用相關技術，持續滲透行業各類業務應用，勢必引發互聯網產業的重大革新，助推傳統行業的數字化轉型，并加速芯片設計與制造、算力平臺構建與應用的研發和升級。安全是技術發展的根本，需要統籌協調。以全面視角審視大模型安全風險，合理規劃大模型應用，以應對合規要求和技術風險，已成為企業組織機構應用并推廣大模型技術的科學方法。以安全為基，也為行業探索大模型應用新場景、發展大模型技術新業態提供了可行的路徑。