轉載學習：ObfusLM - 基于參數混淆的語言模型隱私保護訓推方案

ObfusLM: Privacy-preserving Language Model Service against Embedding
Inversion Attacks

研究背景

近年來，隨著大語言模型（LLM）能力的快速發展和AI基礎設施的逐步完善，大語言模型即服務（LMaaS）在專業領域信息處理中得到廣泛應用。在這類服務場景下，用戶能夠向云端服務器提交請求，對私有數據集進行精調和推理。但私有數據上傳至云端，無疑給用戶隱私信息帶來了泄露隱患。

為了在提供服務的同時保護隱私信息，一些研究嘗試通過同態加密（HE）、安全多方計算（SMC）及可信執行環境（TEE）實現安全的LMaaS。但這些方案均存在顯著局限：基于密碼學的方案效率極低，例如采用 HE 和 SMC 的安全推理方案 PUMA，在 LLaMA-7B 模型上生成單個詞元，就需耗費數百秒；而可信硬件方案則要求服務商額外調配專用計算資源。這些限制增大了隱私保護技術在實際場景中落地應用的挑戰。

為實現隱私保護與實用性的平衡，當前研究正在探索基于差分隱私（DP）和k-匿名化技術的隱私保護方案，通過對詞元（token）和嵌入向量（embedding）施加擾動來保障用戶隱私數據安全。然而，此類方法面臨多重技術挑戰：生成任務的適配性問題、嵌入反演攻擊（Embedding Inversion Attacks, EIAs）的現實威脅，以及方案與現有LMaaS架構的兼容性難題。針對上述挑戰，本文提出的ObfusLM框架創新性地實現了三重技術突破：

• 「多任務的支持能力：」 基于LLM架構特點，ObfusLM采用適用性廣的模型混淆模塊，實現輸入-輸出數據的雙重混淆，可統一支持分類模型（如BERT）和生成模型（如GPT）的隱私保護。
• 「安全性理論分析：」 基于-匿名性理論框架，證明了ObfusLM框架對EIAs的抵御能力，并通過實驗驗證了對EIAs的抵御效果。
• 「實用的部署形態：」 ObfusLM框架僅需用戶完成一次性的參數混淆處理，后續的精調與推理計算可完全由服務端本地處理計算，有效降低了用戶的使用成本。

具體方案

工作流程

在LLM中，用戶的輸入文本與模型的詞表與嵌入向量參數存在關聯性?；谶@一特點，ObfusLM框架利用模型混淆操作來掩蓋這種關聯性，從而達到用戶輸入文本的隱私保護。具體地，ObfusLM的工作流程包含以下三個階段：

• 初始化階段：服務器向客戶端分發預訓練語言模型組件，包括詞匯表 、輸入嵌入層權重矩陣參數 、生成模型的模型頭權重矩陣參數。
• 模型混淆處理：用戶接收到語言模型的組件后，執行模型混淆操作，得到經過混淆的詞匯表與權重矩陣。用戶將混淆權重發送給服務器，并將混淆詞表保留在本地。服務器將這些混淆權重替換到原始模型中，得到混淆模型，并使用該混淆模型部署模型服務。
• 安全精調與推理：在請求精調或推理服務時，用戶使用混淆詞表處理文本與混淆詞元索引之間的映射關系，而服務器則基于混淆詞元索引完成計算。

如上圖所示，ObfusLM框架中客戶端和服務端的操作分工如下：

客戶端操作

1. 接收模型組件
   從服務端獲取預訓練模型的初始組件：詞匯表（Vocab）、輸入嵌入層權重（\(W_{\text{emb}}\)）、生成模型的模型頭權重（\(W_{\text{head}}\)）。
2. 執行混淆操作
   • 打亂詞表順序：對詞匯表中的詞元（token）進行隨機重排。
   • 混淆權重參數：
     • 使用嵌入向量聚類算法（EmbedCluster）將語義相近的詞向量分組。
     • 通過嵌入向量合成算法（EmbedSynthesis）為每個詞向量生成加噪的合成權重（添加Laplace噪聲），生成混淆后的嵌入層和模型頭權重（\(W_{\text{emb}}^{\text{obf}}\)和\(W_{\text{head}}^{\text{obf}}\)）。
   • 保留混淆詞表：將混淆后的詞表存儲在本地，不上傳至服務端。
3. 處理私有數據
   • 使用本地混淆詞表對文本進行分詞，生成混淆后的詞元索引（如 8371,62,1640,...）。
   • 將混淆索引上傳至服務端進行精調或推理。
4. 解碼生成結果
   • 接收服務端返回的混淆詞元索引（分類任務的預測分數或生成任務的混淆序列）。
   • 用本地混淆詞表將索引還原為明文結果（如生成文本摘要）。

服務端操作

1. 分發初始模型
   向客戶端提供預訓練模型的詞匯表、嵌入層權重、模型頭權重等組件。
2. 部署混淆模型
   • 接收客戶端發送的混淆權重參數（\(W_{\text{emb}}^{\text{obf}}\)和\(W_{\text{head}}^{\text{obf}}\)）。
   • 替換原始模型的權重，構建混淆模型并部署服務。
3. 執行計算任務
   • 精調（Fine-tuning）：基于客戶端上傳的混淆詞元索引數據集訓練模型。
   • 推理（Inference）：
     • 接收客戶端的混淆詞元索引輸入。
     • 運行混淆模型生成輸出（混淆詞元索引或分類分數）。
     • 將結果返回客戶端（不涉及明文數據處理）。

關鍵分工

• 隱私保護核心：客戶端獨享混淆詞表，確保原始文本始終在本地；服務端僅處理無語義的混淆索引，無法通過嵌入反演攻擊（EIAs）還原敏感信息。
• 效率優化：服務端承擔計算密集型任務（模型精調/推理），客戶端僅需輕量級的分詞和解碼操作。

此設計平衡了隱私性（抵御EIAs）與實用性（低客戶端開銷），支持分類（如BERT）和生成（如LLaMA）任務。

模型混淆

• 混淆算法

ObfusLM采用滿足(k,ε)-匿名性的安全機制來混淆詞元對應的嵌入向量，從而兼顧模型效果與隱私保護能力。在(k,ε)-匿名性要求下，任意一個嵌入向量e都可以被劃分到一個大小為k的子集S中，混淆算法P需要保證子集中的任意兩個嵌入向量e,e'∈S在經過混淆后只能以不高于e的概率被區分出來：Pr[P(e)∈O]≤eεPr[P(e')∈O]，其中O是經混淆算法P處理后的輸出嵌入向量子集。

• 打亂順序：詞表、嵌入層和模型頭的權重參數

在ObfusLM中，用戶通過對詞表和嵌入層、模型頭的權重參數進行混淆來保護后續上傳的隱私數據。具體地，用戶將詞表中的詞元打亂，并以相同的順序打亂模型的嵌入層和模型頭的權重參數。經打亂的詞表會始終保存在用戶本地，而權重參數則需要發送給服務器。然而，僅通過順序打亂無法提供足夠的安全性，服務器仍然可以利用ELIA恢復出用戶的隱私信息。因此，權重參數在發送給服務器前需進一步進行混淆。

ObfusLM提供嵌入向量聚類算法EmbedCluster和嵌入向量合成算法WeightSynth來保證嵌入層和模型頭中混淆向量的(k,ε)-匿名性。

• 在【嵌入向量聚類算法】中，ObfusLM遍歷所有的嵌入向量，并基于嵌入向量之間的余弦相似度將它們劃分到聚類中。
• 在【嵌入向量合成算法】中，ObfusLM逐個處理已劃分的向量聚類。對于聚類中的每個向量，ObfusLM基于該向量與其余向量的相似度得到嵌入向量的合成權重，并基于隱私保護參數ε添加Laplace噪聲得到加噪合成權重。
• 最終，使用加噪合成權重與子集中的向量生成混淆向量。

圖中展示了兩個算法，分別是 EmbedCluster 和 WeightSynth。這兩個算法主要用于處理嵌入矩陣和生成權重矩陣，通常在隱私保護的機器學習或數據合成領域中使用。

EmbedCluster

輸入：

• 矩陣 ( \(X = \{x_i\}_{i \leq m}\) )：包含 ( m ) 個嵌入向量。
• 聚類大小 ( k )。
• 閾值比率 ( \(\beta\) )。

輸出：

• 聚類索引集 ( \(\mathcal{M}\) )。

步驟：

1. 初始化一個標記集 ( \(B = \{0\}_n\) ) 和一個聚類標記索引集 ($ \mathcal{M} = {}$ )。
2. 計算嵌入矩陣中每一對向量之間的距離 ( \(D_{n \times n} = \{d_{i,j} = \text{CosSim}(x_i, x_j) | 1 \leq i, j \leq n\}\) )。
3. 對于每個向量 ( i )：
   • 如果 ( B[i] = 1 )，則跳過。
4. 將 ( S ) 設置為 ( \(\{i\}\) ) 并計算 ( \(I = \text{ArgSort}(D[i])\) )。
5. 計算閾值 ( \(\gamma = \text{quantile}(D[i], \beta)\) )。
6. 對于每個 ( j )：
   • 如果 ( |S| = k ) 或 ( \(D[i, j] < \gamma\) )，則跳出循環。
   • 否則，將 ( $S = S \cup {j} $)，并將 ( B[j] = 1 )。
7. 將 ($ \mathcal{M} = \mathcal{M} \cup {S}$ )。
8. 返回 ( \(\mathcal{M}\) )。

目的：
這個算法的目的是通過計算嵌入向量之間的余弦相似度來聚類相似的向量。它使用閾值比率 ( $\beta $) 來決定哪些向量應該被分到同一個聚類中。

WeightSynth：

輸入：

• 嵌入矩陣 ( \(X = \{x_i\}_{i \leq m}\) )。
• 聚類索引集 ( \(\mathcal{M}\) )。
• 隱私預算 ($ \epsilon$ )。

輸出：

• 用于嵌入合成的權重矩陣 ( $W_{m \times m} $)。

步驟：

1. 初始化一個混淆嵌入矩陣 ( \(W = \mathbf{0}_{m \times m}\) )。
2. 對于每個聚類 ( l )：
   • 讓 ( $S = \mathcal{M}[l] $) 和 ( \(Y = \{X[s_i] | s_i \in S\}\) )。
   • 對于每個 ( i )：
     • 計算 ( $\sigma_{i,j} = \text{CosSim}(Y[i], Y[j]) $)。
     • 讓 ( \(u = \{u_j\}_{j \leq |S|}\) ) 其中 ( $u_j = \frac{e^{\epsilon \sigma_{i,j}/2}}{\sum_{k \leq |S|} e^{\epsilon \sigma_{i,k}/2}} $)。
     • 讓 ($ \Delta u = \max(u) - \min(u) $) 并評估 ( $u' = u + \text{laplace}(\Delta u / \epsilon) $)。
     • 計算 ( $\tilde{u} = {\frac{u'j}{\sum e^{u'k}}} $)。
     • 設置 ( $W[t_i, t_j] = \tilde{u}_j \(\) 對于 \(\) j \in [1, |S|] $)。

目的：
這個算法的目的是生成一個權重矩陣，用于嵌入合成。它通過計算聚類中向量之間的余弦相似度，并使用拉普拉斯機制來添加噪聲以保護隱私。

算法實現：

import numpy as np

def cos_sim(a, b):
    """計算兩個向量的余弦相似度"""
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

def embed_cluster(X, k, beta):
    """EmbedCluster算法"""
    n = X.shape[0]
    D = np.zeros((n, n))
    for i in range(n):
        for j in range(n):
            D[i, j] = cos_sim(X[i], X[j])

    B = np.zeros(n, dtype=int)
    M = []

    for i in range(n):
        if B[i] == 1:
            continue
        S = [i]
        I = np.argsort(D[i])
        D_i = D[i, I]
        gamma = np.quantile(D_i, beta)
        for j in I:
            if len(S) == k or D[i, j] < gamma:
                break
            else:
                S.append(j)
                B[j] = 1
        M.append(S)

    return M


def weight_synth(X, M, epsilon):
    """WeightSynth算法"""
    m = X.shape[0]
    W = np.zeros((m, m))

    for l in range(len(M)):
        S = M[l]
        Y = X[S]
        for i in range(len(S)):
            sigma_ij = np.zeros(len(S))
            for j in range(len(S)):
                sigma_ij[j] = cos_sim(Y[i], Y[j])
            u = np.exp(epsilon * sigma_ij / 2) / np.sum(np.exp(epsilon * sigma_ij / 2))
            delta_u = np.max(u) - np.min(u)
            u_prime = u + np.random.laplace(loc=0, scale=delta_u / epsilon, size=len(u))
            u_tilde = u_prime / np.sum(u_prime)
            W[S[i], S] = u_tilde

    return W


# 示例使用
np.random.seed(0)
X = np.random.rand(10, 5)  # 10個樣本，每個樣本5維
k = 3
beta = 0.5
epsilon = 1.0

print(f"X:{X}\n")

M = embed_cluster(X, k, beta)
print("Cluster indices:", M)

W = weight_synth(X, M, epsilon)
print("Weight matrix:\n", W)

這兩個算法結合使用，可以在保護數據隱私的同時，對嵌入向量進行聚類和合成，適用于需要隱私保護的機器學習任務。

安全精調與推理

完成模型混淆后，用戶可以在本地利用混淆后的詞表對私有數據集進行分詞處理，生成混淆詞元索引后上傳至服務器進行模型精調。

• 推理階段，服務器基于混淆模型返回分類任務的預測分數或生成任務的混淆詞元序列，僅持有混淆詞表的用戶可本地解碼生成結果。該機制將計算密集型任務保留在服務端，同時通過詞表與嵌入向量的混淆確保用戶提示詞與生成內容的隱私性，實現分類與生成任務的全流程隱私保護。

• ObfusLM框架對模型的訓練（精調）是可選的，而非必需。具體說明如下：

  • 1. 核心流程無需額外訓練

    • 模型混淆階段：
      客戶端僅需對預訓練模型進行一次性參數混淆（詞表重排、嵌入向量聚類與合成），生成混淆權重后上傳服務端。 → 此過程不涉及模型訓練，僅修改權重參數。

    • 推理任務：
      若用戶僅需調用現有模型能力（如文本生成、分類預測），可直接使用服務端部署的混淆模型進行推理，無需精調。 → 無需訓練，直接處理混淆后的詞元索引。

  • 2. 精調（訓練）為可選需求

    • 適用場景：
      當用戶需用私有數據集定制模型（如領域適配）時，才需啟動精調流程：

      1. 客戶端用本地混淆詞表處理私有數據，生成混淆詞元索引；
      2. 服務端基于混淆索引精調混淆模型（更新模型參數）。 → 精調是用戶按需觸發的可選操作。

    • 實驗驗證：
      文檔中精調實驗（如BERT在GLUE任務、LLaMA在Alpaca數據集）顯示：

      • 精調后模型效果損失僅4%~6%（SST-2任務準確率89.11% vs 原始92.02%）；
      • 但若不精調，可直接使用預訓練混淆模型推理。

  • 3. 與訓練方案的對比優勢

方案類型	是否需訓練	用戶成本	典型場景
直接推理	? 無需	低（僅混淆+調用）	通用任務（如問答、摘要）
精調+推理	? 需精調	中（數據混淆+精調資源）	領域定制（如醫療、金融）
傳統方案（如DP）	? 需重訓練	高（全局加噪損害效果）	兼容性差，效果損失大

下圖的應用示例能更好地將ObfusLM的實際效果展示出來。在這個場景中，用戶在經過模型混淆與精調處理后，向部署在服務器上的語言模型服務請求推理。在請求過程中，敏感文本被轉換成混淆的詞元索引在用戶與服務端之間傳輸。即使利用EIAs，服務器也難以精確還原用戶側的真實輸入與輸出結果。

實驗結果

實驗設置

我們在多個分類與生成任務上評估了ObfusLM的效果與安全性，相關實驗運行在Intel(R) Xeon(R) Platinum 8336C CPU @ 2.30GHz，128GB RAM，4 NVIDIA A800-SXM4-40GB的機器資源上，并使用Debian GNU/Linux 11操作系統和CUDA 12.2。

• 數據集：分類任務使用GLUE評測集；生成任務使用Alpaca-cleaned和Databricks數據集。
• 模型：分類任務使用Bert-base模型；生成任務使用Llama3-8B模型。
• 基準方案：以DP-Forward、CAPE、TextObfuscator、SANTEXT+、CUSTEXT+和SentinelLMs作為對比的防御方案；使用KNN和InvBert嵌入反演攻擊測試防御方案的安全性，并通過Topk恢復詞元的正確率和明文與攻擊恢復文本的RougeL指標量化安全效果。

效果對比

在分類任務中，ObfusLM僅降低約4%的BERT模型效果，相比基于詞元混淆的隱私保護方案SANTEXT+和CUSTEXT+提升10%，且相比TextObfuscator和CAPE等依賴可信服務器的方案提升6%。同時，通過采用滿足(k,ε)-匿名性的混淆算法，ObfusLM能夠顯著降低嵌入反演攻擊的詞元恢復成功率至20%~30%，有效緩解了用戶的隱私泄露風險。

ObfusLM還支持生成任務，并能夠同時保護輸入與輸出文本的隱私性。相比于分類任務，參數擾動更容易干擾生成任務的輸出質量。盡管如此，ObfusLM仍能達到Llama3-8B模型在Alpaca-cleaned數據集上的效果損失在6%以內，并有效抵御反演攻擊。

參數分析

我們進一步測試了ObfusLM在不同隱私參數下的效果與安全性。實驗結果表明，聚類規模k與隱私預算e共同影響效用與隱私的平衡：增大k可提升匿名性（如k從5增至20時，Alpaca任務下對KNN攻擊的防護效果提升近7倍），但會導致模型效果顯著下降；e的減小雖能增強隱私保護，但同樣加劇效用損失。在各種隱私參數的組合下，安全性與任務效用呈近似負相關。

安全性分析

ObfusLM框架主要采用以下隱私保護技術

1. 參數混淆技術（核心機制）

• 詞表重排（Vocab Shuffling）
  客戶端對原始詞表進行隨機順序打亂，生成混淆詞表（僅本地存儲），并同步打亂嵌入層（\(W_{\text{emb}}\)）和模型頭（\(W_{\text{head}}\)）的權重參數。
• 嵌入向量混淆算法
  • EmbedCluster算法：基于余弦相似度將語義相近的詞向量聚類（聚類大小 \(k\) 控制匿名性）。
  • EmbedSynthesis算法：為每個詞向量生成加噪合成權重（添加Laplace噪聲 \(\epsilon\)），合成混淆后的嵌入向量，滿足 \(k\)-匿名性（攻擊者無法以高于 \(1/k\) 的概率區分同一聚類內的向量）。

2. \(k\)-匿名性隱私保障

• 理論框架：通過聚類混淆確保每個混淆后的嵌入向量至少對應 \(k\) 個原始詞向量，抵御嵌入反演攻擊（EIAs）。
• 實驗驗證：將EIAs的詞元恢復成功率降至20%~30%（如SST-2任務中KNN攻擊Top1成功率僅19.98%），遠低于基線方案（如SentinelLMs的100%）。

3. 客戶端-服務端協同架構

• 客戶端：
  • 本地存儲混淆詞表，將敏感文本轉換為混淆詞元索引（如 8371,62,1640）。
  • 執行輕量級分詞和解碼操作，原始文本永不離開本地。
• 服務端：
  • 僅處理無語義的混淆索引，執行精調/推理（計算密集型任務）。
  • 無法通過模型權重反推原始文本（因權重已混淆且無詞表映射）。

4. 與傳統方案的對比優化

• 優于差分隱私（DP）：
  • DP需全局加噪嚴重損害模型效果（如DP-Forward在SST-2任務準確率僅52.52%），而ObfusLM通過局部混淆保留89.11%準確率。
• 輕量替代密碼學方案：
  避免同態加密（HE）/安全多方計算（SMC）的數百倍計算開銷（如PUMA生成單token需數百秒）。
• 無需可信硬件（TEE）：
  不依賴專用硬件資源，兼容現有LMaaS架構。

技術優勢總結

維度	實現方案	隱私效果
數據隱私	客戶端本地混淆詞表+索引轉換	服務端無法獲取原始文本
模型隱私	嵌入向量\(k\)-匿名混淆	抵御EIAs攻擊（Top1恢復率≤30%）
實用性	服務端承擔計算，客戶端低開銷	分類/生成任務效果損失僅4%~6%

方案示例

以下是一個展示 ObfusLM 方案全流程的具體示例（以金融文本摘要任務為例），涵蓋所有關鍵操作步驟：

場景設定

• 用戶目標：對私有金融報告生成摘要，同時防止云端服務泄露敏感信息。
• 模型：服務端預訓練 LLaMA-7B 模型。
• 隱私參數：聚類大小 k=10，噪聲參數 ε=0.3。

具體流程

步驟 1：初始化階段（服務端 → 客戶端）

• 服務端操作：

  向客戶端分發預訓練模型組件：

  • 原始詞表 Vocab（如 ["股票", "利率", "GDP", ...]）
  • 輸入嵌入層權重 W_emb（尺寸 [詞表大小, 嵌入維度]）
  • 模型頭權重 W_head（用于生成任務）

步驟 2：模型混淆（客戶端執行）

1. 詞表重排：
   • 打亂原始詞表順序，生成混淆詞表（如 ["GDP", "利率", "股票", ...]）。
   • 僅本地保存，不上傳服務端。
2. 權重混淆：
   • EmbedCluster 算法：
     基于余弦相似度將語義相近的詞向量聚類（如 ["股票", "債券", "基金"] 歸為同一類）。
   • EmbedSynthesis 算法：
     • 對每個詞向量（如 "股票"）計算合成權重，添加 Laplace 噪聲（ε=0.3）。
     • 生成混淆嵌入權重和模型頭權重 （\(W_{\text{emb}}^{\text{obf}}\)和\(W_{\text{head}}^{\text{obf}}\)）。
   • 上傳混淆權重：將（\(W_{\text{emb}}^{\text{obf}}\)和\(W_{\text{head}}^{\text{obf}}\)）發送至服務端。

步驟 3：服務端部署混淆模型

• 服務端操作：
  • 接收 （\(W_{\text{emb}}^{\text{obf}}\)和\(W_{\text{head}}^{\text{obf}}\)），替換原始模型權重。
  • 部署混淆版 LLaMA-7B 模型，提供精調/推理服務。

步驟 4：安全精調（可選，用戶觸發）

1. 客戶端處理私有數據：
   • 使用本地混淆詞表處理金融報告：
     • 原文："2024年股票市場波動加劇，GDP增速放緩。"
     • → 混淆詞元索引：[8371, 62, 1640, ...]（無實際語義）。
   • 上傳混淆索引至服務端。
2. 服務端精調：
   • 基于混淆索引訓練模型（更新權重），全程不接觸原始文本。

步驟 5：安全推理（用戶請求摘要）

1. 客戶端輸入處理：
   • 原文："美聯儲宣布加息50個基點，債券收益率上升。"
   • → 混淆索引：[5209, 18, 734, ...]。
   • 上傳索引至服務端。
2. 服務端推理：
   • 混淆模型處理索引，生成輸出索引：[9, 7, 26, ...]。
   • 返回結果（僅為數字序列）。
3. 客戶端解碼結果：
   • 用本地混淆詞表將索引 [9, 7, 26, ...] 解碼為明文摘要：
     "美聯儲加息導致債券收益率攀升。"

步驟 6：隱私保護效果驗證

• 攻擊者視角（服務端側）：
  • 嘗試通過嵌入反演攻擊（EIAs）還原輸入/輸出：
    • 輸入索引 [5209, 18, 734, ...] → 還原文本："利率 調整 50 基點 債券 收益 上漲"（語義混亂）。
    • 輸出索引 [9, 7, 26, ...] → 還原文本："市場 波動 加劇 經濟 放緩"（與真實摘要無關）。
  • Top1 恢復成功率僅 19.98%（符合實驗數據）。

關鍵隱私邊界：

• 服務端僅接觸無意義的數字索引和混淆后的模型權重。
• 原始文本、混淆詞表、最終結果始終在客戶端本地。
• 通過 k=10 匿名化，攻擊者無法區分同一聚類內的詞元（如“股票”和“債券”）。

總結

ObfusLM 通過(k,ε)-匿名性安全引入了模型混淆機制來兼顧模型效果與安全性，在分類和生成任務中實現了隱私保護，其混淆參數處理與本地詞表解碼機制顯著降低了嵌入反演攻擊風險。實驗表明，ObfusLM在有效抵御嵌入反演攻擊的前提下，在分類與生成任務上最低可達4%~6%的效果損失。同時，該方案采用輕量的服務部署形態和交互形式使其具備一定的實用優勢。

展望

在大語言模型深度融入各行各業、應用邊界不斷拓展的趨勢下，隱私保護技術已成為 AI 領域的關鍵剛需。字節跳動安全研究團隊洞察到，當前隱私保護技術仍存在部署復雜、適配性不足等應用瓶頸。為此，團隊將持續深耕 ObfusLM 框架的迭代優化，從算法效率、場景適配性等多維度發力。

同時，團隊還將圍繞 ObfusLM 框架深化技術整合，持續豐富 Jeddak 產品的核心能力矩陣，后續也將在火山引擎Jeddak AICC中做產品迭代，持續降低大模型推理成本，為用戶提供更便捷、高效的AI安全解決方案。