最大熵馬爾科夫模型（MEMM）及其標簽偏置問題
定義：
MEMM是這樣的一個概率模型，即在給定的觀察狀態和前一狀態的條件下，出現當前狀態的概率。
? S表示狀態的有限集合
? O表示觀察序列集合
? Pr(s|s--’,o):觀察和狀態轉移概率矩陣
? 初始狀態分布：Pr0(s)
注：O表示觀察集合，S表示狀態集合，M表示模型
最大熵馬爾科夫模型（MEMM）的缺點：
看下圖，由觀察狀態O和隱藏狀態S找到最有可能的S序列：
路徑s1-s1-s1-s1的概率：0.4*0.45*0.5=0.09
路徑s2-s2-s2-s2的概率: 0.2*0.3*0.3=0.018
路徑s1-s2-s1-s2的概率: 0.6*0.2*0.5=0.06
路徑s1-s1-s2-s2的概率: 0.4*0.55*0.3=0.066
由此可得最優路徑為s1-s1-s1-s1
實際上，在上圖中，狀態1偏向于轉移到狀態2，而狀態2總傾向于停留在狀態2，這就是所謂的標注偏置問題，由于分支數不同，概率的分布不均衡，導致狀態的轉移存在不公平的情況。
由上面的兩幅圖可知，最大熵隱馬爾科夫模型（MEMM）只能達到局部最優解，而不能達到全局最優解，因此MEMM雖然解決了HMM輸出獨立性假設的問題，但卻存在標注偏置問題。
如圖所示，“因為”是介詞詞性p,而 MEMM卻錯誤標注其詞性為連詞c。產生該情況的原因正是一種偏置問題。
原因：“是”存在兩個詞性，動詞v和代詞r，包含在狀態集合S1中；“因為”包括兩個詞性，介詞p與連詞c，包含在狀態集合S2中；“事”只有一個詞性，名詞n，包含在狀態集合S3中。由于MEMM對每個狀態均定義一個指數模型，因此有：P(n|p)=1, P(n|c)=1, P(p|S1)+P(c|S1)=1; 基于馬爾科夫假設，
P(S1, p, n)=P(p|S1)*P(n|p)=P(p|S1), 同理，P(S1, c, n)=P(c|S1)*P(n|c)=P(c|S1)。因此S2選擇p節點還是c節點只取決于P(p|S1)、P(c|S1)，即只與“是”的上下文有關，與“因為”的上下文無關，這即使MEMM產生偏置的一種情況。
浙公網安備 33010602011771號