代碼

原文地址

預(yù)備知識：

1.什么是對比學(xué)習(xí)？

摘要

1 Introduction

1. 文本上下文和實(shí)體提及都是RE的關(guān)鍵因素。實(shí)驗(yàn)表明，上下文是支持分類的主要來源，而實(shí)體提及也提供了重要的信息，尤其是實(shí)體的類型信息。
2. 現(xiàn)有的RE基準(zhǔn)數(shù)據(jù)集可能通過實(shí)體提及泄露了一些淺層的線索，導(dǎo)致現(xiàn)有模型的高性能。實(shí)驗(yàn)顯示，即使只給定實(shí)體提及作為輸入，模型仍然可以達(dá)到高性能，這說明這些數(shù)據(jù)集中存在一些來自實(shí)體提及的有偏的統(tǒng)計(jì)線索。

2 Pilot Experiment and Analysis

2.1 Models and Dataset

1. CNN：本文采用了Nguyen和Grishman (2015)提出的 卷積神經(jīng)網(wǎng)絡(luò) ，并參考了Zhang等人(2017)的做法，用詞性、命名實(shí)體識別和位置嵌入來豐富輸入。
2. BERT：本文遵循 Baldini Soares等人(2019)的方法，使用BERT進(jìn)行RE，用特殊的標(biāo)記來突顯句子中的實(shí)體提及，并用實(shí)體表示的拼接來進(jìn)行分類。
3. Matching the blanks (MTB)： MTB (Baldini Soares等人，2019)是一個基于BERT的面向RE的預(yù)訓(xùn)練模型。它通過對兩個句子是否提及相同的實(shí)體對進(jìn)行分類來進(jìn)行預(yù)訓(xùn)練，其中實(shí)體提及被隨機(jī)地 遮蓋 。它和BERT一樣，用相同的方式進(jìn)行RE的微調(diào)。由于它沒有公開發(fā)布，本文自行預(yù)訓(xùn)練了一個版本的MTB，并在附錄A中給出了細(xì)節(jié)。

2.2 Experimental Settings

1. 上下文+提及（C+M）：這是最常用的RE設(shè)置，其中提供了整個句子（包括上下文和突出顯示的實(shí)體提及）。為了讓模型知道實(shí)體提及的位置，本文對CNN模型使用位置嵌入（Zeng et al., 2014），對預(yù)訓(xùn)練的BERT使用特殊的實(shí)體標(biāo)記。
2. 上下文+類型（C+T）：本文用TACRED提供的類型替換實(shí)體提及。使用特殊的標(biāo)記來表示它們：例如，使用[person]和[date]來分別表示類型為person和date的實(shí)體。不同于Zhang et al. (2017)，本文不會重復(fù)特殊標(biāo)記來匹配實(shí)體的長度，以避免泄露實(shí)體長度信息。
3. 僅上下文（OnlyC）：為了分析文本上下文對RE的貢獻(xiàn)，本文用特殊的標(biāo)記[SUBJ]和[OBJ]替換所有的實(shí)體提及。在這種情況下，實(shí)體提及的信息源完全被阻斷。
4. 僅提及（OnlyM）：在這種設(shè)置下，本文只提供實(shí)體提及，丟棄所有其他的文本上下文作為輸入。
5. 僅類型（OnlyT）：這與僅提及類似，只不過本文只提供實(shí)體類型。

2.3 Result Analysis

1. 文本上下文和實(shí)體提及都是關(guān)系分類的關(guān)鍵信息源，而實(shí)體提及中最重要的信息是它們的類型。如表1所示，OnlyC，OnlyM和OnlyT相比于C+M和C+T都有顯著的性能損失，說明單一的信息源是不足以支持正確的預(yù)測的，上下文和實(shí)體提及都是必不可少的。此外，還可以發(fā)現(xiàn)C+T在TACRED上與C+M在BERT和MTB上達(dá)到了相近的效果。這表明實(shí)體提及中的大部分有用信息是它們的類型信息。
2. 在現(xiàn)有的RE數(shù)據(jù)集中，實(shí)體提及存在一些表面的線索，這可能導(dǎo)致RE模型的過高的性能。在TACRED上發(fā)現(xiàn)OnlyM在所有三個模型上都有很高的性能，這種現(xiàn)象在其他數(shù)據(jù)集中也有體現(xiàn)（見表5）。本文還對OnlyC相比于C+M的性能降低進(jìn)行了深入的分析，在第2.4節(jié)中發(fā)現(xiàn)，在一些模型難以理解上下文的情況下，它們會傾向于利用實(shí)體提及的淺層啟發(fā)。這促使本文進(jìn)一步改進(jìn)模型在從上下文中提取關(guān)系的能力，同時避免它們對實(shí)體提及的死記硬背。

2.4 Case Study on TACRED

3 Contrastive Pre-training for RE

3.1 Relational Contrastive Example Generation

這里的知識圖譜（KG）是由一些關(guān)系事實(shí)構(gòu)成的。從中隨機(jī)選擇兩個句子和，它們各自包含了兩個實(shí)體和。如果有一個關(guān)系，使得和都在KG里，就把和稱為“鄰居”。本文用Wikidata作為KG，因?yàn)樗陀脕眍A(yù)訓(xùn)練的Wikipedia語料庫很容易對應(yīng)起來。在訓(xùn)練過程中，先按照KG里的關(guān)系分布來采樣一個關(guān)系，然后再采樣一個和有關(guān)的句子對。為了做對比學(xué)習(xí)，還要隨機(jī)采樣個句子，讓它們和組成個負(fù)樣本對。模型的任務(wù)是在所有正負(fù)樣本中，找出和有相同關(guān)系的那個句子。

為了防止在預(yù)訓(xùn)練時過度依賴實(shí)體提及或僅提取它們的表面特征，本文用特殊符號 [BLANK] 隨機(jī)替換了一些實(shí)體提及。用 表示替換的實(shí)體比例，并參考 Baldini Soares 等人 (2019) 的方法設(shè)置。注意，預(yù)訓(xùn)練時完全遮蓋所有實(shí)體提及也不合適，因?yàn)檫@會導(dǎo)致預(yù)訓(xùn)練和微調(diào)之間的不一致，也會使預(yù)訓(xùn)練模型無法利用實(shí)體提及的信息（比如，學(xué)習(xí)實(shí)體類型）。

用一個例子來說明數(shù)據(jù)生成過程：在圖 2 中，有兩個句子“SpaceX was founded in 2002 by Elon Musk”和“As the co-founder of Microsoft, Bill Gates ...””，其中 (SpaceX, founded by, Elon Musk) 和 (Microsoft, founded by, Bill Gates) 都是KG中的關(guān)系。本文希望這兩個句子能夠有相似的表示，體現(xiàn)出 founded by 這個關(guān)系。而對于圖中右邊的另外兩個句子，由于它們的實(shí)體對之間沒有 founded by 這個關(guān)系，它們被認(rèn)為是負(fù)樣本，應(yīng)該與左邊的句子有不同的表示。在預(yù)訓(xùn)練時，每個實(shí)體提及都有的概率被替換為 [BLANK]。

3.2 Training Objectives

本文的對比式預(yù)訓(xùn)練使用了與 BERT相同的 Transformer 架構(gòu)。用 ENC 表示 Transformer 編碼器，用表示第 i 個位置的輸出。對于輸入格式，參考了 Baldini Soares等人(2019) 的方法，用特殊的標(biāo)記來突出實(shí)體提及。例如，對于句子“SpaceX was founded by Elon Musk.”，輸入序列是““[CLS][E1] SpaceX [/E1] was founded by [E2] Elon Musk [/E2] . [SEP]”。

對比式預(yù)訓(xùn)練目標(biāo) 

如圖 2 所示，給定正樣本句子對和負(fù)樣本句子對，首先用 Transformer 編碼器得到在中的關(guān)系感知表示：

其中和是特殊標(biāo)記 [E1] 和 [E2] 的位置，表示拼接。有了句子表示，就有了以下的訓(xùn)練目標(biāo)：

通過優(yōu)化模型使最小化，本文期望 和 的表示更加接近，最終具有相似關(guān)系的句子會有相似的表示。

遮蔽語言建模目標(biāo) 

為了保持從 BERT 繼承的語言理解能力，并避免災(zāi)難性遺忘，本文也采用了 BERT 的遮蔽語言建模 (MLM) 目標(biāo)。MLM 隨機(jī)地遮蔽輸入中的一些詞，然后讓模型預(yù)測被遮蔽的詞，從而學(xué)習(xí)包含豐富語義和句法知識的上下文表示。用表示 MLM 的損失函數(shù)。

4 Experiment

4.1 RE Tasks

Supervised RE

這是RE中最廣泛采用的設(shè)置，其中有一個預(yù)定義的關(guān)系集合，數(shù)據(jù)集中的每個句子都表達(dá)了中的某個關(guān)系。在一些基準(zhǔn)測試中，有一種特殊的關(guān)系叫做或，表示句子中沒有表達(dá)給定實(shí)體之間的任何關(guān)系，或者它們的關(guān)系不包含在中。對于有監(jiān)督的 RE 數(shù)據(jù)集，本文使用 TACRED，SemEval-2010 Task 8 ，Wiki80和 ChemProt 。表 4 顯示了數(shù)據(jù)集之間的比較。本文還添加了 1% 和 10% 的設(shè)置，意味著只使用訓(xùn)練集的 1% / 10% 的數(shù)據(jù)。這是為了模擬低資源的情況，并觀察模型性能在不同的數(shù)據(jù)集和設(shè)置下的變化。注意，ChemProt 只有 4169 個訓(xùn)練實(shí)例，這導(dǎo)致了表 5 中 1% ChemProt 的異常結(jié)果。在附錄 B 中給出了這個問題的詳細(xì)說明。