StructBERT模型是達摩院提出的Bert系列模型，相比BERT模型而言，主要增加了兩個預訓練任務來提升模型性能：

1、Word Structural Objective

Word Structural Objective是從未被遮掩的序列中以5%的幾率選擇部分長度為3子序列，將子序列中的詞序打亂，讓模型重建原來的詞序，從而使模型學習到句子中的詞序關系。

2、Sentence Structural Objective

Sentence Structural Objective如上圖所示，

給定句子對(S1,S2)，判斷S2是否是S1的下一個句子，或上一個句子，或毫無關聯的句子。在采樣時，對于一個句子S，1/3的概率采樣S的下一句組成句對，1/3的概率采樣S的上一句組成句對，1/3的概率隨機采樣一個其他文檔的句子組成句對。