摘要

現(xiàn)有的大多數(shù)方法在確定關(guān)系類(lèi)型之前，需要先識(shí)別出所有的實(shí)體，這樣就忽略了實(shí)體提及和關(guān)系類(lèi)型之間的交互。本文提出了一種新穎的聯(lián)合抽取范式，把相關(guān)實(shí)體看作是關(guān)系的參數(shù)（首先檢測(cè)一個(gè)關(guān)系，然后提取相應(yīng)的實(shí)體作為關(guān)系的參數(shù)）。本文在這個(gè)范式下采用了一個(gè)分層強(qiáng)化學(xué)習(xí)框架，以強(qiáng)化實(shí)體提及和關(guān)系類(lèi)型之間的交互。整個(gè)抽取過(guò)程被拆分為兩個(gè)層次的RL策略，分別負(fù)責(zé)關(guān)系檢測(cè)和實(shí)體抽取，從而更有效和自然地處理重疊關(guān)系。本文的模型在利用遠(yuǎn)程監(jiān)督方法收集的公開(kāi)數(shù)據(jù)集上進(jìn)行了評(píng)估，結(jié)果顯示，它不僅優(yōu)于現(xiàn)有的方法，而且在抽取重疊關(guān)系方面更具優(yōu)勢(shì)。

Introduction

本文的模型利用高層次的強(qiáng)化學(xué)習(xí)（RL）過(guò)程，在句子中尋找關(guān)系指示符，并用低層次的RL過(guò)程，確定關(guān)系的參與實(shí)體。如圖1所示，抽取過(guò)程從句首到句尾進(jìn)行順序掃描（I）。高層次的過(guò)程在某個(gè)位置發(fā)現(xiàn)一個(gè)關(guān)系指示符后，就啟動(dòng)低層次的過(guò)程，來(lái)找出該關(guān)系的相應(yīng)實(shí)體（II）。低層次的實(shí)體抽取子任務(wù)完成之后（III），高層次的RL過(guò)程繼續(xù)掃描，尋找句子中的其他關(guān)系（IV）。

先前Doc RE的兩個(gè)問(wèn)題：

首先，傳統(tǒng)模型大多數(shù)都是先識(shí)別出所有實(shí)體，然后再確定關(guān)系類(lèi)型，而沒(méi)有充分捕捉兩個(gè)任務(wù)之間的交互。這些方法相當(dāng)于把關(guān)系對(duì)齊到實(shí)體對(duì)上，但是這樣做可能會(huì)引入噪聲，因?yàn)橛行┚渥硬](méi)有真正提及關(guān)系，或者有些句子描述了多個(gè)關(guān)系。例如，Zhang et al. (2013)和Takamatsu, Sato, and Nakagawa (2012)就指出了這些問(wèn)題。
其次，目前還沒(méi)有一種優(yōu)雅的聯(lián)合抽取方法來(lái)處理一對(duì)多的問(wèn)題，也就是重疊關(guān)系的問(wèn)題。這種問(wèn)題是指一個(gè)實(shí)體可能在同一個(gè)句子中參與多個(gè)關(guān)系，或者同一個(gè)實(shí)體對(duì)在同一個(gè)句子中有不同的關(guān)系。圖1中的Steve Blichick就是一個(gè)例子。據(jù)本文所知，CopyR (Zeng et al. 2018)是唯一討論了這個(gè)問(wèn)題的方法，它把關(guān)系抽取看作是一個(gè)三元組生成的過(guò)程。然而，本文的實(shí)驗(yàn)表明，這種方法強(qiáng)烈依賴(lài)于訓(xùn)練數(shù)據(jù)，而且不能抽取多詞實(shí)體。

本文的范式解決了這兩個(gè)問(wèn)題：

第一個(gè)問(wèn)題是如何處理實(shí)體和關(guān)系之間的依賴(lài)性。本文的方法是把實(shí)體作為關(guān)系的參數(shù)，然后通過(guò)高層和低層強(qiáng)化學(xué)習(xí)過(guò)程中的狀態(tài)表示和獎(jiǎng)勵(lì)來(lái)建立它們之間的聯(lián)系。這樣，主任務(wù)（高層強(qiáng)化學(xué)習(xí)過(guò)程，用于檢測(cè)關(guān)系類(lèi)型）和子任務(wù)（低層強(qiáng)化學(xué)習(xí)過(guò)程，用于抽取實(shí)體）之間的交互就能很好地捕捉到。主任務(wù)在啟動(dòng)子任務(wù)時(shí)傳遞信息，子任務(wù)在完成后返回低層獎(jiǎng)勵(lì)，反映子任務(wù)的效果。這種方式使得模型能夠更好地建模關(guān)系類(lèi)型和實(shí)體之間的交互。
第二個(gè)問(wèn)題是如何處理句子中的多個(gè)重疊關(guān)系。本文的方法是通過(guò)層次結(jié)構(gòu)來(lái)分解關(guān)系抽取任務(wù)。本文把關(guān)系抽取任務(wù)分為高層任務(wù)和低層任務(wù)，分別用于檢測(cè)關(guān)系類(lèi)型和抽取實(shí)體。這樣，句子中的每個(gè)關(guān)系都可以單獨(dú)和順序地處理。如圖1所示，當(dāng)主任務(wù)檢測(cè)到第一個(gè)關(guān)系類(lèi)型（父母-子女）時(shí)，就會(huì)抽取出第一個(gè)關(guān)系，當(dāng)檢測(cè)到第二個(gè)關(guān)系類(lèi)型（死亡地點(diǎn)）時(shí)，就會(huì)抽取出第二個(gè)關(guān)系，即使這兩個(gè)關(guān)系有共同的實(shí)體（Steve Blichick）。

綜上所述，本文的工作有兩個(gè)貢獻(xiàn)：

本文設(shè)計(jì)了一種新穎的端到端的層次范式，用于聯(lián)合識(shí)別實(shí)體和關(guān)系類(lèi)型，它把關(guān)系抽取任務(wù)分解為高層任務(wù)和低層任務(wù)。
本文將強(qiáng)化學(xué)習(xí)引入這個(gè)范式，使得本文的方法在建模主任務(wù)和子任務(wù)之間的交互和抽取重疊關(guān)系方面優(yōu)于基線方法。

Related Work

傳統(tǒng)的流水線方法將實(shí)體抽取和關(guān)系分類(lèi)分開(kāi)處理。它們先從文本中識(shí)別出實(shí)體提及的范圍，再根據(jù)實(shí)體提及之間的關(guān)系構(gòu)建關(guān)系結(jié)構(gòu)。這種方法雖然靈活，但也容易產(chǎn)生錯(cuò)誤傳播的問(wèn)題，即下游模塊的效果會(huì)受到上游模塊錯(cuò)誤的影響。

為了解決這個(gè)問(wèn)題，有多種聯(lián)合學(xué)習(xí)的方法被提出。Kate and Mooney (2010) 提出了一種卡片金字塔圖結(jié)構(gòu)，用于同時(shí)進(jìn)行實(shí)體抽取和關(guān)系分類(lèi)，Hoffmann et al. (2011) 開(kāi)發(fā)了一種基于圖的多實(shí)例學(xué)習(xí)算法，也是一種聯(lián)合學(xué)習(xí)的方法。但是，這兩種方法都使用了貪婪的搜索策略，過(guò)度地削減了搜索空間，限制了性能。還有一些研究采用了結(jié)構(gòu)化學(xué)習(xí)的方法（Li and Ji 2014; Miwa and Sasaki 2014）。這些方法都需要大量的特征工程，耗費(fèi)了很多人力和專(zhuān)業(yè)知識(shí)。

另一方面，Bjorne et al. (2011) 提出了一種先抽取關(guān)系觸發(fā)詞再確定其論元的方法，關(guān)系觸發(fā)詞是指在句子中明確表示一種關(guān)系存在的短語(yǔ)，這樣可以降低任務(wù)的難度。開(kāi)放式信息抽取系統(tǒng)ReVerb (Fader, Soderland, and Etzioni 2011) 也是采用了這種方法，它使用詞匯約束來(lái)識(shí)別關(guān)系短語(yǔ)。但是，這種方法無(wú)法捕獲那些沒(méi)有關(guān)系觸發(fā)詞的關(guān)系，這些關(guān)系在句子中也是存在的。

最近的研究探討了用神經(jīng)模型進(jìn)行聯(lián)合關(guān)系抽取的方法（Katiyar and Cardie 2016; Zhang, Zhang, and Fu 2017）。Miwa and Bansal (2016) 提出了一種神經(jīng)模型，它在實(shí)體抽取和關(guān)系分類(lèi)兩個(gè)任務(wù)上共享參數(shù)，但是兩個(gè)任務(wù)是分開(kāi)處理的。它通過(guò)窮舉檢測(cè)到的實(shí)體提及和關(guān)系類(lèi)型之間的所有組合，來(lái)得到最終的決策。與之不同的是，前述的方法都是先識(shí)別出所有的實(shí)體，然后再進(jìn)行關(guān)系抽取。Zheng et al. (2017) 使用了一種標(biāo)注方案，它將每個(gè)詞的關(guān)系類(lèi)型標(biāo)簽和實(shí)體提及標(biāo)簽進(jìn)行笛卡爾積，從而生成一個(gè)唯一的標(biāo)簽，同時(shí)編碼了實(shí)體提及和關(guān)系類(lèi)型。然而，這種方法無(wú)法處理句子中存在的重疊關(guān)系：如果一個(gè)實(shí)體是多個(gè)關(guān)系的論元，那么這個(gè)實(shí)體的標(biāo)簽就不應(yīng)該是唯一的。最近的一項(xiàng)研究（Zeng et al. 2018）與本文的目標(biāo)非常相關(guān)，它旨在處理重疊關(guān)系。它采用了基于序列到序列（Seq2Seq）學(xué)習(xí)的多個(gè)解碼器，其中每個(gè)解碼器從源句子中復(fù)制一個(gè)實(shí)體詞，每個(gè)句子中的三元組由不同的解碼器生成。但是這種方法強(qiáng)烈依賴(lài)于訓(xùn)練數(shù)據(jù)的標(biāo)注，它無(wú)法抽取出由多個(gè)詞組成的實(shí)體。

強(qiáng)化學(xué)習(xí)最近也被應(yīng)用到信息抽取領(lǐng)域。RL被用來(lái)獲取和整合事件抽取中的外部證據(jù)（Narasimhan, Yala, and Barzilay 2016）。Feng et al. (2018) 使用 RL 來(lái)訓(xùn)練一個(gè)實(shí)例選擇器，用來(lái)去除通過(guò)遠(yuǎn)程監(jiān)督得到的關(guān)系分類(lèi)的訓(xùn)練數(shù)據(jù)中的噪聲。通過(guò)利用 RL 將假陽(yáng)性樣本分配到負(fù)例中，遠(yuǎn)程監(jiān)督的關(guān)系類(lèi)型抽取得到了改進(jìn)（Qin, Xu, and Wang 2018）。

Hierarchical Extraction Framework

Definition 1.

關(guān)系指示符是指句子中能夠表明語(yǔ)義關(guān)系的位置，它可以是一個(gè)動(dòng)詞（如 die of）、一個(gè)名詞（如 his father）、一個(gè)介詞（如 from/by）或者一個(gè)標(biāo)點(diǎn)符號(hào)（如逗號(hào)或句號(hào)）。例如，在圖 1 中，逗號(hào)就是關(guān)系類(lèi)型 place-of-death 的關(guān)系指示符。關(guān)系指示符對(duì)于本文的模型來(lái)說(shuō)非常重要，因?yàn)樵撃Ｐ褪峭ㄟ^(guò)先檢測(cè)關(guān)系指示符，再抽取實(shí)體提及來(lái)完成關(guān)系抽取任務(wù)的。

整個(gè)抽取過(guò)程如下。一個(gè)agent在順序掃描一個(gè)句子時(shí)，預(yù)測(cè)一個(gè)特定位置的關(guān)系類(lèi)型。注意，這個(gè)關(guān)系檢測(cè)過(guò)程不需要實(shí)體的標(biāo)注，因此與關(guān)系分類(lèi)不同，關(guān)系分類(lèi)是識(shí)別實(shí)體對(duì)之間的關(guān)系。當(dāng)在一個(gè)時(shí)間步?jīng)]有足夠的證據(jù)表明一個(gè)語(yǔ)義關(guān)系時(shí)，agent可以選擇NR，它是一種特殊的關(guān)系類(lèi)型，表示沒(méi)有關(guān)系。否則，一個(gè)關(guān)系指示符被觸發(fā)，agent啟動(dòng)一個(gè)實(shí)體抽取的子任務(wù)，來(lái)識(shí)別關(guān)系的參數(shù)，即兩個(gè)實(shí)體。當(dāng)實(shí)體提及被識(shí)別時(shí)，子任務(wù)完成，agent繼續(xù)掃描句子的其余部分，尋找其他關(guān)系。

這樣的過(guò)程可以自然地被表述為一個(gè)半馬爾可夫決策過(guò)程（Sutton, Precup, and Singh 1999）：

一個(gè)高層次的強(qiáng)化學(xué)習(xí)過(guò)程，檢測(cè)一個(gè)句子中的關(guān)系指示符；
一個(gè)低層次的強(qiáng)化學(xué)習(xí)過(guò)程，識(shí)別相應(yīng)關(guān)系的相關(guān)實(shí)體。

通過(guò)將任務(wù)分解為兩個(gè)層次的強(qiáng)化學(xué)習(xí)過(guò)程，模型在處理具有多個(gè)關(guān)系類(lèi)型的同一實(shí)體對(duì)，或者一個(gè)實(shí)體是多個(gè)關(guān)系的參數(shù)的句子時(shí)具有優(yōu)勢(shì)。

Relation Detection with High-level RL

高層RL策略

的目標(biāo)是檢測(cè)句子

中的關(guān)系，這可以被視為一個(gè)傳統(tǒng)的基于選項(xiàng)的RL策略。一個(gè)選項(xiàng)指的是一個(gè)高層動(dòng)作，當(dāng)一個(gè)選項(xiàng)被agent執(zhí)行時(shí)，一個(gè)低層RL過(guò)程就會(huì)被啟動(dòng)。

Option:

選項(xiàng)

是從

中選擇的，其中

表示沒(méi)有關(guān)系，

是關(guān)系類(lèi)型的集合。當(dāng)一個(gè)低層RL過(guò)程進(jìn)入終止?fàn)顟B(tài)時(shí)，agent的控制權(quán)將被交給高層RL過(guò)程來(lái)執(zhí)行下一個(gè)選項(xiàng)。

State:

高層RL過(guò)程在時(shí)間步

的狀態(tài)

，由以下三部分表示：

1) 當(dāng)前的隱藏狀態(tài)

，

2) 關(guān)系類(lèi)型向量

（最近的選項(xiàng)

的嵌入，其中

，這是一個(gè)可學(xué)習(xí)的參數(shù)），

3) 上一時(shí)間步的狀態(tài)

形式上表示為：

其中

是一個(gè)由MLP實(shí)現(xiàn)的非線性函數(shù)。

為了得到隱藏狀態(tài)

，這里引入了一個(gè)序列Bi-LSTM，它作用于當(dāng)前的輸入詞嵌入

：

Policy:

用于關(guān)系檢測(cè)的隨機(jī)策略

，它指定了選項(xiàng)上的概率分布：

Reward:

然后，環(huán)境提供了中間獎(jiǎng)勵(lì)

來(lái)估計(jì)執(zhí)行選項(xiàng)

時(shí)的未來(lái)回報(bào)。獎(jiǎng)勵(lì)的計(jì)算如下：

如果在某個(gè)時(shí)間步

，則agent在下一個(gè)時(shí)間步轉(zhuǎn)移到一個(gè)新的高層次的選項(xiàng)間狀態(tài)。否則，低層次的策略將執(zhí)行實(shí)體抽取過(guò)程。選項(xiàng)間狀態(tài)不會(huì)轉(zhuǎn)移，直到當(dāng)前選項(xiàng)

的子任務(wù)完成，這可能需要多個(gè)時(shí)間步。這樣的半馬爾可夫過(guò)程持續(xù)到最后一個(gè)關(guān)于句子

中最后一個(gè)詞

的選項(xiàng)被采樣。最后，得到一個(gè)最終獎(jiǎng)勵(lì)

來(lái)衡量

檢測(cè)的句子級(jí)別的抽取性能：

其中，

是關(guān)于句子

中的關(guān)系的精確度和召回率的加權(quán)調(diào)和平均。

分別表示精確度/召回率，根據(jù)一個(gè)句子計(jì)算。

Entity Extraction with Low-level RL

當(dāng)高層策略預(yù)測(cè)出一個(gè)非

的關(guān)系類(lèi)型時(shí)，低層策略

將抽取出參與該關(guān)系的實(shí)體。低層策略對(duì)動(dòng)作（原始動(dòng)作）的制定與高層策略對(duì)選項(xiàng)的制定非常相似。為了使預(yù)測(cè)的關(guān)系類(lèi)型在低層過(guò)程中可訪問(wèn)，高層強(qiáng)化學(xué)習(xí)中的選項(xiàng)

被作為額外的輸入，在低層抽取過(guò)程中貫穿始終。

Action：

每個(gè)時(shí)間步的動(dòng)作是為當(dāng)前的詞分配一個(gè)實(shí)體標(biāo)簽。動(dòng)作空間，即實(shí)體標(biāo)簽空間

，其中

表示參與的源實(shí)體，

表示目標(biāo)實(shí)體，

表示與預(yù)測(cè)的關(guān)系類(lèi)型

無(wú)關(guān)的實(shí)體，

表示非實(shí)體詞。注意，根據(jù)當(dāng)前關(guān)注的不同關(guān)系類(lèi)型，同一個(gè)實(shí)體提及可能被分配不同的

標(biāo)簽。這樣，模型可以處理重疊的關(guān)系。另外，使用

符號(hào)來(lái)表示實(shí)體的開(kāi)始詞和內(nèi)部詞，分別參見(jiàn)圖4的例子。

State：

與關(guān)系檢測(cè)的策略類(lèi)似，低層選項(xiàng)內(nèi)狀態(tài)

由以下四部分表示：

1)當(dāng)前詞嵌入

的隱藏狀態(tài)

，

2)實(shí)體標(biāo)簽向量

，它是

的可學(xué)習(xí)嵌入，

3)前一時(shí)間步的狀態(tài)

，

4)使用在公式(1)中分配給最新選項(xiàng)

的關(guān)系狀態(tài)表示的上下文向量

，如下所示：

其中，

是從公式(2)中的Bi-LSTM模塊得到的隱藏狀態(tài)，

是由MLP實(shí)現(xiàn)的非線性函數(shù)。注意，

可能是來(lái)自高層強(qiáng)化學(xué)習(xí)過(guò)程或低層過(guò)程的狀態(tài)。

Policy:

實(shí)體抽取的隨機(jī)策略

在給定選項(xiàng)內(nèi)狀態(tài)

和啟動(dòng)當(dāng)前子任務(wù)的高層選項(xiàng)

的情況下，輸出一個(gè)動(dòng)作分布。

其中

是一個(gè)

個(gè)矩陣的數(shù)組。

Reward：

給定關(guān)系類(lèi)型

，每個(gè)詞的實(shí)體標(biāo)簽可以通過(guò)從策略中采樣動(dòng)作來(lái)輕松獲得。因此，當(dāng)采樣動(dòng)作

時(shí)，提供一個(gè)即時(shí)獎(jiǎng)勵(lì)

，通過(guò)簡(jiǎn)單地測(cè)量預(yù)測(cè)誤差和金標(biāo)注之間的差異：

其中

是符號(hào)函數(shù)，

是在預(yù)測(cè)的關(guān)系類(lèi)型

的條件下的金標(biāo)準(zhǔn)實(shí)體標(biāo)簽。這里

是一個(gè)偏置權(quán)重，用于降低非實(shí)體標(biāo)簽的權(quán)重，定義如下：

較小的

導(dǎo)致非實(shí)體詞的獎(jiǎng)勵(lì)較少。這樣，模型避免學(xué)習(xí)一個(gè)平凡的策略，即將所有詞都預(yù)測(cè)為

（非實(shí)體詞）。當(dāng)所有的動(dòng)作都被采樣后，計(jì)算一個(gè)額外的最終獎(jiǎng)勵(lì)

。如果所有的實(shí)體標(biāo)簽都被正確地預(yù)測(cè)，那么智能體獲得+1的獎(jiǎng)勵(lì)，否則-1。

Hierarchical Policy Learning

為了優(yōu)化高層策略，本文的目標(biāo)是最大化每個(gè)時(shí)間步

的主任務(wù)的期望累積獎(jiǎng)勵(lì)，當(dāng)agent按照高層策略

采樣軌跡時(shí)，可以按照如下公式計(jì)算：

其中

由

參數(shù)化，

是強(qiáng)化學(xué)習(xí)中的折扣因子，整個(gè)采樣過(guò)程

在終止前需要

個(gè)時(shí)間步。

類(lèi)似地，本文通過(guò)最大化子任務(wù)中選項(xiàng)

下的期望累積內(nèi)部選項(xiàng)獎(jiǎng)勵(lì)來(lái)學(xué)習(xí)低層策略，當(dāng)agent在時(shí)間步

沿著低層策略

采樣時(shí)：

如果子任務(wù)在時(shí)間步

結(jié)束。

通過(guò)將累積獎(jiǎng)勵(lì)分解為貝爾曼方程，可以得到：

其中

是子任務(wù)持續(xù)的時(shí)間步數(shù)，當(dāng)實(shí)體抽取策略在選項(xiàng)

上運(yùn)行時(shí)，所以agent的下一個(gè)選項(xiàng)是

. 特別地，如果

，那么

然后，使用策略梯度方法 (Sutton et al. 2000) 和 REINFORCE 算法 (Williams 1992) 來(lái)優(yōu)化高層和低層策略。利用似然比技巧，高層策略的梯度為：

低層策略的梯度為：

整個(gè)訓(xùn)練過(guò)程在算法 1 中描述。

Experiments

Experimental Setting

Datasets

本文在 New York Times 語(yǔ)料庫(kù)上評(píng)估了本文的模型，該語(yǔ)料庫(kù)是由遠(yuǎn)程監(jiān)督開(kāi)發(fā)的，包含有噪聲的關(guān)系。該語(yǔ)料庫(kù)有兩個(gè)版本：

1）原始版本，由將原始數(shù)據(jù)與 Freebase 關(guān)系對(duì)齊而生成（Riedel, Yao, and McCallum 2010）；

2）一個(gè)較小的版本，其測(cè)試集是手動(dòng)標(biāo)注的（Hoffmann et al. 2011）。

本文將原始版本命名為 NYT10，較小的版本命名為 NYT11。從 NYT11 的訓(xùn)練數(shù)據(jù)中分割出一部分，構(gòu)建了 NYT11-plus。

本文通過(guò)移除以下內(nèi)容來(lái)過(guò)濾數(shù)據(jù)集：

1）訓(xùn)練集中的關(guān)系，其關(guān)系類(lèi)型在測(cè)試集中不存在；

2）不包含任何關(guān)系的句子。這樣的預(yù)處理也與文獻(xiàn)中的設(shè)置一致（例如，Tagging）。

所有的基線都在這個(gè)設(shè)置下進(jìn)行評(píng)估，以進(jìn)行公平的比較。兩個(gè)過(guò)濾后的數(shù)據(jù)集的統(tǒng)計(jì)信息如表 1 所示。

對(duì)于每個(gè)數(shù)據(jù)集，從訓(xùn)練集中隨機(jī)選擇0.5%的數(shù)據(jù)進(jìn)行驗(yàn)證。

Parameter Settings

所有的超參數(shù)都在驗(yàn)證集上調(diào)整。方程（1）、（2）和（6）中的所有向量的維度都是 300。詞向量使用 Glove 向量（Pennington, Socher, and Manning 2014）初始化，并在訓(xùn)練過(guò)程中更新。關(guān)系類(lèi)型向量和實(shí)體標(biāo)簽向量都是隨機(jī)初始化的。學(xué)習(xí)率是 4e ? 5，小批量大小是 16，方程（9）中的 α = 0.1，方程（5）中的 β = 0.9，折扣因子 γ = 0.95。

Evaluation Metrics

本文采用了標(biāo)準(zhǔn)的 micro-F1 來(lái)評(píng)估性能。本文比較了提取的實(shí)體提及是否能與關(guān)系中的實(shí)體完全匹配。如果關(guān)系類(lèi)型和兩個(gè)對(duì)應(yīng)的實(shí)體都正確，那么一個(gè)三元組就被認(rèn)為是正確的。

Baselines

本文選擇了兩種類(lèi)型的基線方法：一種是流水線方法（FCM），另一種是聯(lián)合學(xué)習(xí)方法，包括基于特征的方法（MultiR 和 CoType）和神經(jīng)方法（SPTree，Tagging 和 CopyR）。本文使用了開(kāi)源代碼，并自己進(jìn)行了實(shí)驗(yàn)。

FCM (Gormley, Yu, and Dredze 2015)：一個(gè)組合模型，結(jié)合了詞匯化的語(yǔ)言環(huán)境和詞嵌入，來(lái)學(xué)習(xí)句子中子結(jié)構(gòu)的表示，用于關(guān)系抽取。
MultiR (Hoffmann et al. 2011)：一個(gè)典型的遠(yuǎn)程監(jiān)督方法，執(zhí)行句子級(jí)別和語(yǔ)料級(jí)別的抽取，使用多實(shí)例加權(quán)來(lái)處理訓(xùn)練數(shù)據(jù)中的噪聲標(biāo)簽。
CoType (Ren et al. 2017)：一個(gè)與領(lǐng)域無(wú)關(guān)的框架，通過(guò)將實(shí)體提及、關(guān)系提及、文本特征和類(lèi)型標(biāo)簽共同嵌入到表示中，將抽取問(wèn)題建模為一個(gè)全局嵌入問(wèn)題。
SPTree (Miwa and Bansal 2016)：一個(gè)端到端的關(guān)系抽取模型，使用雙向順序和樹(shù)結(jié)構(gòu)的 LSTM-RNNs 來(lái)表示單詞序列和依賴(lài)樹(shù)結(jié)構(gòu)。
Tagging (Zheng et al. 2017)：一個(gè)將聯(lián)合抽取視為一個(gè)順序標(biāo)注問(wèn)題的方法，使用一個(gè)標(biāo)注方案，其中每個(gè)標(biāo)簽同時(shí)編碼實(shí)體提及和關(guān)系類(lèi)型。
CopyR (Zeng et al. 2018)：一個(gè)帶有復(fù)制機(jī)制的 Seq2Seq 學(xué)習(xí)框架，用于聯(lián)合抽取，其中使用多個(gè)解碼器來(lái)生成三元組，以處理重疊的關(guān)系。

Main Results

關(guān)系抽取的結(jié)果在表 2 中展示。顯然，所有模型都是在噪聲數(shù)據(jù)（NYT10）上訓(xùn)練的，因此在噪聲數(shù)據(jù)和干凈數(shù)據(jù)（NYT11）上的性能存在顯著差距。可以看到，本文的方法（HRL）在兩個(gè)數(shù)據(jù)集上都優(yōu)于基線方法。在 NYT10 上可以觀察到顯著的改進(jìn)，這表明本文的方法對(duì)噪聲數(shù)據(jù)更加魯棒。NYT11 上的結(jié)果顯示，神經(jīng)模型（SPTree，Tagging 和 CopyR）比流水線（FCM）或基于特征（MultiR 和 CoType）的方法更有效。CopyR 是為了抽取重疊的關(guān)系而引入的，但是它在 NYT11 測(cè)試集上表現(xiàn)不佳，因?yàn)樵谝粋€(gè)句子中幾乎沒(méi)有重疊的關(guān)系（369 個(gè)句子中有 370 個(gè)關(guān)系）。而本文的模型仍然可以與 SPTree 相媲美，并且比其他基線方法表現(xiàn)得更好。注意，SPTree 利用了更多的語(yǔ)言資源（例如，詞性標(biāo)簽，塊，句法分析樹(shù)）。這意味著本文的模型也對(duì)關(guān)系的數(shù)據(jù)分布具有魯棒性。

Overlapping Relation Extraction

本文準(zhǔn)備了另外兩個(gè)測(cè)試集來(lái)驗(yàn)證本文的模型在抽取重疊關(guān)系方面的有效性。注意，重疊關(guān)系可以分為兩種類(lèi)型。

類(lèi)型 I：一個(gè)句子中的兩個(gè)三元組只共享一個(gè)實(shí)體
類(lèi)型 II：一個(gè)句子中的兩個(gè)三元組共享兩個(gè)實(shí)體（頭實(shí)體和尾實(shí)體）

第一個(gè)集合，NYT11-plus，是手動(dòng)標(biāo)注的，由原始 NYT11 訓(xùn)練數(shù)據(jù)中分割出的 149 個(gè)句子組成。該集合分別包含 210/97 個(gè)類(lèi)型 I/II 的重疊關(guān)系。第二個(gè)集合，NYT10-sub，是 NYT10 測(cè)試集的一個(gè)子集，有 715 個(gè)句子，但沒(méi)有手動(dòng)標(biāo)注。該集合分別包含 90/2,082 個(gè)類(lèi)型 I/II 的重疊關(guān)系?？傊?，NYT11-plus 中的大部分重疊關(guān)系是類(lèi)型 I；而 NYT10-sub 中的大部分是類(lèi)型 II。表 3 顯示了不同方法在抽取重疊關(guān)系方面的性能。

NYT10-sub 上的結(jié)果表明，基線方法在噪聲數(shù)據(jù)上抽取類(lèi)型 II 的重疊關(guān)系非常弱，這與本文的陳述一致，即現(xiàn)有的聯(lián)合抽取方法在本質(zhì)上無(wú)法有效地處理重疊關(guān)系。相比之下，本文的方法在表 2 中的性能沒(méi)有太大的下降，甚至在精度上獲得了更大的提升。

NYT11-plus 上的結(jié)果表明，本文的方法在抽取類(lèi)型 I 的重疊關(guān)系方面，相對(duì)于所有的基線方法，在干凈數(shù)據(jù)上有了顯著的 F1 提升，表明本文的方法可以更準(zhǔn)確地抽取重疊關(guān)系。SPTree 有很高的精度，但是召回率很低，因?yàn)樗皇呛?jiǎn)單地將一個(gè)關(guān)系類(lèi)型匹配到一個(gè)實(shí)體對(duì)，忽略了重疊關(guān)系的情況。Tagging 在抽取重疊關(guān)系方面表現(xiàn)不佳，因?yàn)樗o一個(gè)實(shí)體分配一個(gè)唯一的標(biāo)簽，即使該實(shí)體參與了重疊關(guān)系。雖然 CopyR 聲稱(chēng)它可以抽取兩種類(lèi)型的重疊關(guān)系，但它無(wú)法有效地從干凈數(shù)據(jù)中抽取關(guān)系，因?yàn)樗鼜?qiáng)烈依賴(lài)于噪聲訓(xùn)練數(shù)據(jù)的標(biāo)注。

總之，通過(guò)比較表 2 和表 3 中的結(jié)果，可以看到，抽取重疊關(guān)系是更具挑戰(zhàn)性的，而本文的模型無(wú)論數(shù)據(jù)是噪聲還是干凈，都能更好地抽取兩種類(lèi)型的重疊關(guān)系。

Interaction between the Two Policies

為了證明將實(shí)體與關(guān)系集成在一起的有效性以及兩個(gè)策略之間的交互是如何建立的，本文研究了關(guān)系檢測(cè)（分類(lèi)）的性能。在這種設(shè)置下，只要關(guān)系類(lèi)型被正確預(yù)測(cè)，預(yù)測(cè)就被視為正確。預(yù)測(cè)是由高層策略得出的。

表 5 中的結(jié)果表明，本文的方法在兩個(gè)數(shù)據(jù)集上都表現(xiàn)出更好的關(guān)系檢測(cè)能力。在 NYT11-plus 上的改進(jìn)更為顯著，因?yàn)楸疚牡姆妒礁心芰囊粋€(gè)句子中抽取多個(gè)關(guān)系。結(jié)果表明，本文的抽取范式將實(shí)體視為關(guān)系的參數(shù)，可以更好地捕捉文本中的關(guān)系信息。

當(dāng)從本文的模型中移除低層的實(shí)體抽取策略（HRL-Ent）時(shí)，NYT11 上的性能稍有變化，因?yàn)檫@個(gè)測(cè)試集中的每個(gè)句子幾乎只包含一個(gè)關(guān)系（369 個(gè)句子中有 370 個(gè)關(guān)系）。在這種情況下，兩個(gè)策略之間的交互幾乎對(duì)關(guān)系檢測(cè)沒(méi)有影響。然而，在 NYT11-plus 上觀察到了顯著的下降，在 149 個(gè)句子中有 327 個(gè)關(guān)系，這意味著本文的方法（HRL）捕捉了多個(gè)抽取任務(wù)之間的依賴(lài)性，高層策略從這種交互中受益。因此，本文的分層抽取框架確實(shí)增強(qiáng)了關(guān)系檢測(cè)和實(shí)體抽取之間的交互。

Case Study

表 4 展示了本文的模型的一些抽取示例，以證明其抽取重疊關(guān)系的能力。第一句話展示了一個(gè)實(shí)體對(duì)有多個(gè)關(guān)系（類(lèi)型 II）的情況。兩個(gè)關(guān)系（Rupert Murdoch, person-company, News Corporation）和（News Corporation, company-founder, Rupert Murdoch）共享同一個(gè)實(shí)體對(duì)，但有不同的關(guān)系類(lèi)型。模型首先在“Murdoch”處檢測(cè)到關(guān)系類(lèi)型 person-company，然后在逗號(hào)位置檢測(cè)到另一個(gè)關(guān)系類(lèi)型 company-founder，緊鄰“Murdoch”一詞。這表明關(guān)系檢測(cè)是在某個(gè)特定位置收集到足夠證據(jù)時(shí)觸發(fā)的。并且，模型可以根據(jù)不同的關(guān)系類(lèi)型，將相同的實(shí)體分類(lèi)為源實(shí)體或目標(biāo)實(shí)體（例如，Rupert Murdoch 是 person-company 的源實(shí)體，而是 company-founder 的目標(biāo)實(shí)體），這證明了本文的分層框架的優(yōu)勢(shì)，它可以根據(jù)不同的關(guān)系類(lèi)型為單詞分配動(dòng)態(tài)標(biāo)簽。此外，Rupert Murdoch 還與 Australia 有關(guān)系，其中兩個(gè)實(shí)體相距很遠(yuǎn)。盡管這更難檢測(cè)，但本文的模型仍然可以正確地抽取出關(guān)系。

第二句話給出了另一個(gè)實(shí)體涉及多個(gè)關(guān)系（類(lèi)型 I）的例子。在這個(gè)句子中，（Steven A. Ballmer, person-company, Microsoft）和（Bill Gates, person-company, Microsoft）共享相同的關(guān)系類(lèi)型和目標(biāo)實(shí)體，但有不同的源實(shí)體。當(dāng)代理掃描到“Microsoft”這個(gè)詞時(shí)，模型檢測(cè)到第一個(gè)關(guān)系。然后，當(dāng)代理掃描到“Gates”這個(gè)詞時(shí)，檢測(cè)到第二個(gè)關(guān)系。這進(jìn)一步證明了本文的分層框架的好處，它通過(guò)首先檢測(cè)關(guān)系，然后找到實(shí)體參數(shù)，具有抽取重疊關(guān)系的優(yōu)勢(shì)。此外，本文的模型還預(yù)測(cè)了另一個(gè)關(guān)系（Bill Gates, founder-of, Microsoft），這對(duì)于這個(gè)句子來(lái)說(shuō)是錯(cuò)誤的，因?yàn)闆](méi)有明確提及這個(gè)關(guān)系。這可能是由遠(yuǎn)程監(jiān)督產(chǎn)生的噪聲導(dǎo)致的，其中有許多噪聲句子與該關(guān)系對(duì)齊。

Conclusion and Future Work

本文提出了一種分層抽取范式，它通過(guò)分層強(qiáng)化學(xué)習(xí)來(lái)處理關(guān)系抽取。該范式將實(shí)體視為關(guān)系的參數(shù)，并將關(guān)系抽取任務(wù)分解為兩個(gè)子任務(wù)：高層的關(guān)系指示器檢測(cè)和低層的實(shí)體提及抽取。高層策略用于在句子中識(shí)別多個(gè)關(guān)系，低層策略用于啟動(dòng)一個(gè)子任務(wù)，進(jìn)一步抽取每個(gè)關(guān)系的相關(guān)實(shí)體。由于這種分層方法的特性，它能夠很好地建模兩個(gè)子任務(wù)之間的交互，特別是在抽取重疊關(guān)系方面表現(xiàn)出色。實(shí)驗(yàn)表明，本文的方法優(yōu)于現(xiàn)有的基準(zhǔn)方法。

作為未來(lái)的工作，這種分層抽取框架可以推廣到許多其他的成對(duì)或三元的抽取任務(wù)，如方面-觀點(diǎn)挖掘或本體歸納。

posted @ 2024-03-02 18:14 大雄的叮當(dāng)貓閱讀(220) 評(píng)論(0) 收藏舉報(bào)

刷新頁(yè)面返回頂部

大雄的叮當(dāng)貓

《A Hierarchical Framework for Relation Extraction with Reinforcement Learning》論文閱讀筆記

代碼

原文地址

摘要