代碼

原文地址

預(yù)備知識(shí)：

1.什么是K-L散度（Kullback-Leibler Divergence）？

2.什么是自訓(xùn)練（self-training）?

 摘要

1 Introduction

2 Preliminary

2.1 Problem Formulation

給定一個(gè)文檔，它由一組句子和一組實(shí)體組成。DocRE的目標(biāo)是預(yù)測(cè)文檔中每一對(duì)實(shí)體之間的所有可能的關(guān)系。文檔中的每一個(gè)實(shí)體至少有一個(gè)專有名詞指稱，用表示。文檔中的每一對(duì)實(shí)體可以有多種關(guān)系，構(gòu)成一個(gè)關(guān)系子集，其中是一個(gè)預(yù)定義的關(guān)系集合。用表示兩個(gè)實(shí)體之間沒有關(guān)系，也屬于。另外，如果兩個(gè)實(shí)體之間有一個(gè)有效的關(guān)系，ER的目標(biāo)是從文檔中找出能夠支持預(yù)測(cè)三元組的證據(jù)句子集合。

2.2 ATLOP

Text Encoding

編碼前，在每個(gè)實(shí)體提及的首尾加上一個(gè)特殊的標(biāo)記“*” 。然后，用一個(gè)基于Transformer的預(yù)訓(xùn)練語言模型對(duì)文檔中的詞元進(jìn)行編碼，得到每個(gè)詞元的嵌入和跨詞元的依賴。雖然原始的ATLOP只使用了最后一層的輸出，但本文采用了最后三層的平均值（試點(diǎn)實(shí)驗(yàn)表明，使用最后3層比只使用最后一層的性能更好）。具體來說，對(duì)于每個(gè)Transformer層有d個(gè)隱藏維度的預(yù)訓(xùn)練語言模型，詞元嵌入和跨詞元依賴的計(jì)算公式如下：

其中是每個(gè)詞元在最后三層的隱藏狀態(tài)的平均值，是最后三層所有注意力頭的注意力權(quán)重的平均值。

Entity Embedding

ATLOP用表示每個(gè)實(shí)體的嵌入，它是由它的所有提及的信息匯總而來的。具體而言，ATLOP采用了logsumexp池化方法。logsumexp池化的公式是：

其中是提及開始位置的特殊標(biāo)記“*”的嵌入。

Localized Context Embedding

ATLOP提出了一種利用長文本信息的局部上下文嵌入方法，它根據(jù)實(shí)體對(duì)的重要性來選擇詞語。直觀地說，對(duì)和都有貢獻(xiàn)的詞語應(yīng)該被更多地考慮。每個(gè)詞語的重要性由公式1得到的詞語之間的依賴關(guān)系決定。對(duì)于實(shí)體，它的所有提及的詞語依賴關(guān)系被收集并平均，得到每個(gè)詞語對(duì)的重要性。然后，每個(gè)詞語對(duì)實(shí)體對(duì)的重要性，由和計(jì)算得到：

其中表示哈達(dá)瑪積。是一個(gè)分布，反映了每個(gè)詞語對(duì)實(shí)體對(duì)的重要性。接下來，ATLOP執(zhí)行一個(gè)局部上下文池化：

其中是所有詞語嵌入的加權(quán)平均，權(quán)重由決定。

Relation Classification

為了預(yù)測(cè)實(shí)體對(duì)之間的關(guān)系，ATLOP 首先生成了考慮上下文的頭實(shí)體和尾實(shí)體表示：

表示兩個(gè)向量的拼接，其中為可訓(xùn)練參數(shù)。然后，在上下文感知表示上應(yīng)用雙線性分類器來計(jì)算關(guān)系分?jǐn)?shù):

其中，和是可訓(xùn)練參數(shù)。因此，實(shí)體與之間關(guān)系成立的概率為，其中為sigmoid函數(shù)。

Loss Function

ATLOP 提出了一種自適應(yīng)閾值損失（ATL），它在訓(xùn)練過程中學(xué)習(xí)一個(gè)虛擬的閾值類，作為每個(gè)關(guān)系類的動(dòng)態(tài)閾值。對(duì)于每一對(duì)實(shí)體，ATL 強(qiáng)制模型對(duì)正向關(guān)系類產(chǎn)生高于的分?jǐn)?shù)，對(duì)負(fù)向關(guān)系類產(chǎn)生低于的分?jǐn)?shù)，如下式所示：

3 Proposed Method: DREEAM

3.1 Teacher Model

本文用一個(gè)證據(jù)分布來為每一對(duì)實(shí)體生成一個(gè)基于證據(jù)的局部上下文嵌入。可以給出和的詞級(jí)別的重要性，但句級(jí)別的證據(jù)只能從人工標(biāo)注中得到，如圖1所示。為了彌補(bǔ)這個(gè)差距，本文對(duì)每個(gè)句子中的每個(gè)詞的權(quán)重求和。具體來說，對(duì)于一個(gè)由詞組成的句子，計(jì)算句子級(jí)別的重要性為：

然后把所有句子的重要性匯總成一個(gè)分布，它反映了文檔中每個(gè)句子對(duì)實(shí)體對(duì)的重要性。本文還用人工標(biāo)注的證據(jù)分布來指導(dǎo)。首先，對(duì)于每個(gè)有效的關(guān)系標(biāo)簽，定義一個(gè)二值向量，它標(biāo)記了文檔中的每個(gè)句子是否是關(guān)系三元組的證據(jù)。如果是，就設(shè)為1，否則為0。例如，如果是的證據(jù)，那么就設(shè)為1，否則為0。

然后，對(duì)所有有效的關(guān)系求和，并歸一化，得到：

其中是一個(gè)全1向量。公式9的原理是，在關(guān)系分類器之前的模塊并不顯式地知道具體的關(guān)系類型。因此，引導(dǎo)編碼器中的注意力模塊產(chǎn)生與關(guān)系無關(guān)的詞依賴。

Loss Function

為了生成一個(gè)能夠反映實(shí)體對(duì)之間關(guān)系的局部上下文嵌入，本文利用人工標(biāo)注的證據(jù)來指導(dǎo)每個(gè)實(shí)體對(duì)的證據(jù)分布。用K-L散度損失來訓(xùn)練模型，使

盡可能地接近，從而減少兩者之間的統(tǒng)計(jì)差異：

同時(shí)，用一個(gè)超參數(shù)來調(diào)節(jié)ER損失和RE損失的權(quán)重，使模型能夠同時(shí)優(yōu)化兩個(gè)目標(biāo)：

3.2 Student Model

為了在大規(guī)模數(shù)據(jù)上進(jìn)行ER自訓(xùn)練，本文使用在人工標(biāo)注數(shù)據(jù)上訓(xùn)練的系統(tǒng)作為教師模型。這些大規(guī)模數(shù)據(jù)是通過關(guān)系遠(yuǎn)程監(jiān)督得到的，它們只有RE的噪聲標(biāo)簽，沒有ER的信息。本文在這些數(shù)據(jù)上訓(xùn)練一個(gè)學(xué)生模型，它的監(jiān)督由兩部分組成：一個(gè)是RE的二元交叉熵?fù)p失，另一個(gè)是ER的自訓(xùn)練損失。本文用教師模型的預(yù)測(cè)作為ER訓(xùn)練的監(jiān)督信號(hào)。具體來說，先讓教師模型在遠(yuǎn)程監(jiān)督數(shù)據(jù)上進(jìn)行推理，得到每個(gè)實(shí)體對(duì)的證據(jù)分布。然后，讓學(xué)生模型學(xué)習(xí)復(fù)現(xiàn)每個(gè)實(shí)體對(duì)的證據(jù)分布。

Loss Function

其中是學(xué)生模型對(duì)實(shí)體對(duì)的證據(jù)分布，由公式2得出。和有兩點(diǎn)不同。第一，是用句子級(jí)別的監(jiān)督信號(hào)，而是用詞級(jí)別的監(jiān)督信號(hào)。這是因?yàn)樵~級(jí)別的證據(jù)分布更容易獲得。在人工標(biāo)注的數(shù)據(jù)上，要從句子級(jí)別的標(biāo)注中得到詞級(jí)別的證據(jù)分布很困難。在遠(yuǎn)程監(jiān)督的數(shù)據(jù)上，詞級(jí)別的證據(jù)分布可以從教師模型的預(yù)測(cè)中直接得到。所以，本文用詞級(jí)別的證據(jù)分布來給ER自訓(xùn)練提供微觀的監(jiān)督。第二，只在有有效關(guān)系的實(shí)體對(duì)上計(jì)算，而在文檔中的所有實(shí)體對(duì)上計(jì)算。這是因?yàn)檫h(yuǎn)程監(jiān)督數(shù)據(jù)上的關(guān)系標(biāo)簽不太可靠。這些關(guān)系標(biāo)簽是自動(dòng)收集的，可能有些標(biāo)注的關(guān)系和文檔無關(guān)。所以，從自動(dòng)標(biāo)注中很難分辨哪些關(guān)系是有效的，哪些是無效的。為了避免漏掉重要的實(shí)例，本文對(duì)所有實(shí)體對(duì)計(jì)算損失。總的損失是由公式11中的超參數(shù)來平衡的，公式如下：

3.3 Inference

本文根據(jù)Zhou等人(2021)的方法，用自適應(yīng)閾值法得到RE的預(yù)測(cè)，選出得分超過閾值的關(guān)系類別。對(duì)于ER，用靜態(tài)閾值法，選出重要性超過閾值的句子作為證據(jù)。本文還采用了Xie等人(2022)提出的推理階段融合策略。具體來說，對(duì)于每個(gè)預(yù)測(cè)的關(guān)系三元組和它的證據(jù)預(yù)測(cè)，從中收集證據(jù)句子，構(gòu)建一個(gè)偽文檔。然后，把偽文檔輸入訓(xùn)練好的模型，重新給關(guān)系三元組評(píng)分。為了把偽文檔和整個(gè)文檔的預(yù)測(cè)結(jié)合起來，用一個(gè)只有一個(gè)參數(shù)的混合層，是一個(gè)閾值。只有當(dāng)一個(gè)三元組在整個(gè)文檔和偽文檔上的得分之和大于時(shí)，才把它作為最終的預(yù)測(cè)結(jié)果。調(diào)整，讓RE在開發(fā)集上的二元交叉熵?fù)p失最小。

4 Experiments

4.1 Setting

Dataset

Configuration

為了實(shí)現(xiàn)DREEAM，本文基于Hugging Face的Transformers框架，使用和作為預(yù)訓(xùn)練語言模型（PLM）編碼器。參考前人的工作，通過網(wǎng)格搜索從中選取了合適的參數(shù)，分別為的0.1和的0.05，來平衡ER損失和RE損失。在訓(xùn)練和評(píng)估DREEAM時(shí)，使用單個(gè)Tesla V100 16GB GPU來運(yùn)行，使用單個(gè)NVIDIA A100 40GB GPU來運(yùn)行。超參數(shù)和運(yùn)行時(shí)間的細(xì)節(jié)見附錄A。

Evaluation

本文在推理階段，根據(jù)公式8得到的值，篩選出大于0.2的句子，作為證據(jù)的來源。在評(píng)估階段，使用DocRED的官方評(píng)估指標(biāo)，分別對(duì)RE和ER進(jìn)行Ign F1和F1、Evi F1的評(píng)估。Ign F1是在去除了訓(xùn)練集中已有的關(guān)系后，對(duì)開發(fā)集和測(cè)試集進(jìn)行的評(píng)估，以消除訓(xùn)練集的影響。用不同的隨機(jī)種子，對(duì)系統(tǒng)進(jìn)行了五次訓(xùn)練，并給出了這些訓(xùn)練的平均分?jǐn)?shù)和標(biāo)準(zhǔn)誤差。

4.2 Main Results

Performance of the Student Model

表2顯示，利用遠(yuǎn)程監(jiān)督數(shù)據(jù)的學(xué)生模型在RE上優(yōu)于現(xiàn)有系統(tǒng)。尤其是，當(dāng)使用BERTbase作為PLM編碼器時(shí)，DREEAM在開發(fā)集上的Ign F1/F1比先前的最先進(jìn)系統(tǒng)KD-DocRE高出0.6/1.0個(gè)百分點(diǎn)。在測(cè)試集上，Ign F1和F1都提高了1.1個(gè)百分點(diǎn)。值得注意的是，DREEAM使用甚至能夠與在弱監(jiān)督設(shè)置下使用的SSAN (Xu等人, 2021a)相比肩。當(dāng)使用作為PLM編碼器時(shí)，DREEAM在開發(fā)集和測(cè)試集上仍然保持優(yōu)勢(shì)。這些結(jié)果證明了本文的假設(shè)，即ER自訓(xùn)練能夠改善RE，這是之前的工作未能展示的。

Performance of the Teacher Model

Effectiveness of ER Self-Training

4.3 Ablation Studies

Teacher Model

本文探索了如何利用證據(jù)指導(dǎo)注意力來提升人工標(biāo)注數(shù)據(jù)的RE訓(xùn)練效果，訓(xùn)練了一個(gè)不包含ER訓(xùn)練的教師模型，并在DocRED開發(fā)集上進(jìn)行了評(píng)估。結(jié)果顯示，如果關(guān)閉ER訓(xùn)練，教師模型的RE性能會(huì)降到與ATLOP相似的基線水平。如表3(a)所示，沒有ER訓(xùn)練的情況下，DREEAM的RE性能有所下降。這一觀察驗(yàn)證了利用證據(jù)指導(dǎo)注意力可以提高RE性能的假設(shè)。本文還進(jìn)一步可視化了一些實(shí)例的詞元重要性，以分析證據(jù)指導(dǎo)訓(xùn)練的影響，發(fā)現(xiàn)本文的方法能夠有效地將注意力集中在相關(guān)的上下文上。更多細(xì)節(jié)可以參見附錄B。此外，本文還從關(guān)閉ER訓(xùn)練的教師模型中檢索出證據(jù)，作為重要性超過預(yù)設(shè)閾值的句子。通過這種方式，發(fā)現(xiàn)Evi F1與開啟ER訓(xùn)練的教師模型相差無幾。這一觀察說明，ER是一個(gè)與RE緊密相關(guān)的任務(wù)。

Student Model

4.4 Memory Efficiency

這一小節(jié)分析了之前的ER方法存在的內(nèi)存效率問題，以及DREEAM如何克服它。之前的方法把ER當(dāng)作一個(gè)與RE相獨(dú)立的任務(wù)，需要額外的神經(jīng)網(wǎng)絡(luò)層來完成。為了進(jìn)行ER，它們都采用了一個(gè)雙線性證據(jù)分類器，它的輸入是一個(gè)實(shí)體對(duì)相關(guān)的嵌入和一個(gè)句子嵌入。例如，EIDER用以下公式計(jì)算句子對(duì)于實(shí)體對(duì)的證據(jù)分?jǐn)?shù)：

其中是一個(gè)句子嵌入，是根據(jù)公式3得到的局部上下文嵌入，和是可訓(xùn)練的參數(shù)。EIDER和其他現(xiàn)有的系統(tǒng)因此需要對(duì)所有的（句子，實(shí)體對(duì)）組合進(jìn)行計(jì)算。具體來說，假設(shè)一個(gè)文檔有個(gè)句子，和個(gè)實(shí)體，則有個(gè)實(shí)體對(duì)。為了得到證據(jù)分?jǐn)?shù)，EIDER必須通過公式14進(jìn)行次雙線性分類，導(dǎo)致巨大的內(nèi)存消耗。相比之下，DREEAM直接用注意力權(quán)重在詞上的求和作為證據(jù)分?jǐn)?shù)，因此無需引入新的可訓(xùn)練參數(shù)，也無需進(jìn)行昂貴的矩陣計(jì)算。因此，可以看到，DREEAM比它的競(jìng)爭對(duì)手更節(jié)省內(nèi)存。

表4展示了當(dāng)使用作為預(yù)訓(xùn)練語言模型（PLM）編碼器時(shí)，現(xiàn)有方法和提出的方法的內(nèi)存消耗和可訓(xùn)練參數(shù)的數(shù)量。數(shù)值是在使用相應(yīng)的官方倉庫和批量大小為四的情況下訓(xùn)練系統(tǒng)時(shí)測(cè)量的。本文發(fā)現(xiàn)，DREEAM的內(nèi)存消耗只有EIDER的27.4%和SAIS的25.5%。值得注意的是，DREEAM的內(nèi)存消耗也比KD-DocRE少，突出了本文提出的方法的內(nèi)存效率。

4.5 Performance on Re-DocRED