文檔級(jí)關(guān)系抽取（DocRE）的目的是從文檔中提取實(shí)體之間的關(guān)系，這對(duì)于知識(shí)圖譜構(gòu)建等應(yīng)用非常重要。然而，現(xiàn)有的方法通常需要預(yù)先識(shí)別出文檔中的實(shí)體及其提及，這與實(shí)際應(yīng)用場(chǎng)景不一致。為了解決這個(gè)問(wèn)題，本文提出了一種新穎的表格到圖生成模型（TAG），它能夠在文檔級(jí)別上同時(shí)抽取實(shí)體和關(guān)系。TAG的核心思想是在提及之間構(gòu)建一個(gè)潛在的圖，其中不同類型的邊反映了不同的任務(wù)信息，然后利用關(guān)系圖卷積網(wǎng)絡(luò)（RGCN）對(duì)圖進(jìn)行信息傳播。此外，為了減少錯(cuò)誤傳播的影響，本文在解碼階段采用了層次聚類算法，將任務(wù)信息從提及層反向傳遞到實(shí)體層。在DocRED數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，TAG顯著優(yōu)于以前的方法，達(dá)到了當(dāng)前的最佳性能。

關(guān)系抽取（RE）：從自然語(yǔ)言文本中抽取實(shí)體之間的語(yǔ)義關(guān)系，并將其表示為結(jié)構(gòu)化的三元組。

句子級(jí)RE：在單個(gè)句子的范圍內(nèi)，抽取句子中實(shí)體對(duì)之間的關(guān)系。

DocRE：在多個(gè)句子的范圍內(nèi)，利用跨句子的語(yǔ)義推理，抽取文檔中實(shí)體對(duì)之間的關(guān)系。

大部分現(xiàn)有的DocRE方法只關(guān)注抽取關(guān)系，這些方法假設(shè)實(shí)體及其對(duì)應(yīng)的提及已經(jīng)預(yù)先給定。

流水線框架是一種用于DocRE的方法，該框架首先將整個(gè)任務(wù)劃分為提及抽取（ME）、共指消解（COREF）和實(shí)體關(guān)系抽取（RE）三個(gè)子任務(wù)，然后使用單獨(dú)的模型逐步進(jìn)行每個(gè)任務(wù)（Zaporojets等人, 2021）。然而，該框架的缺點(diǎn)在于它忽略了子任務(wù)之間的潛在依賴性，影響了模型的性能。

一些早期的聯(lián)合考慮子任務(wù)的方法，如（Eberts等人, 2021; Xu等人,2022）仍然將COREF和RE任務(wù)分別建模，導(dǎo)致在編碼和解碼階段可能產(chǎn)生的偏差。一方面，這類方法仍然存在信息共享不足的問(wèn)題。它們要么完全依賴于共享的語(yǔ)言模型（如BERT）（Eberts等人,2021），要么只考慮從RE到COREF的單向信息流，忽略了其他跨任務(wù)的依賴性（Xu等人, 2022）。另一方面，這類方法大多采用流水線風(fēng)格的解碼，即先識(shí)別提及范圍并形成實(shí)體簇，然后對(duì)每對(duì)實(shí)體進(jìn)行關(guān)系分類。流水線風(fēng)格的解碼不僅耗時(shí)，而且面臨著錯(cuò)誤傳播的問(wèn)題。實(shí)體提及抽取的結(jié)果可能影響關(guān)系抽取的性能，并導(dǎo)致級(jí)聯(lián)錯(cuò)誤。Xu等人(2022)引入一個(gè)正則化項(xiàng)來(lái)緩解這個(gè)問(wèn)題，但是問(wèn)題仍然沒(méi)有完全解決。

本文提出了TAG，將COREF和RE兩個(gè)任務(wù)融合為一個(gè)表格填充任務(wù)的方法，使用一個(gè)表格填充器對(duì)原始文本進(jìn)行編碼，并在粗粒度上生成提及和關(guān)系的候選集合。為了表示共指和關(guān)系的信息，本文動(dòng)態(tài)地構(gòu)建了兩個(gè)圖結(jié)構(gòu)，其中節(jié)點(diǎn)是提及，邊的權(quán)重由表格填充器的置信度得分決定。此外，本文還在提及層面上建立了一個(gè)句法圖，以緩解長(zhǎng)距離依賴問(wèn)題，并顯式地引入句法信息。本文將這三個(gè)圖視為三種不同類型的邊，并利用關(guān)系圖卷積網(wǎng)絡(luò)（RGCN）來(lái)在細(xì)粒度上捕捉任務(wù)之間的隱含依賴關(guān)系。本文的粗到細(xì)的方法利用了豐富的節(jié)點(diǎn)表示，通過(guò)語(yǔ)義和句法鏈接傳遞信息，這與之前僅從語(yǔ)言模型中共享范圍表示的多任務(wù)系統(tǒng)不同。本文還采用了一個(gè)直觀的假設(shè)，即同一實(shí)體簇中的提及應(yīng)該與其他實(shí)體形成相似的關(guān)系鏈接，并將層次聚類算法（HAC）應(yīng)用到提及聚類中，以利用關(guān)系信息來(lái)提升共指消解的性能，從而避免錯(cuò)誤傳播的風(fēng)險(xiǎn)。本文在廣泛使用的DocRE基準(zhǔn)數(shù)據(jù)集DocRED上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明，本文提出的TAG模型顯著優(yōu)于現(xiàn)有的方法，并達(dá)到了新的最佳水平。本文還在DocRED的一個(gè)修訂版本Re-DocRED上報(bào)告了聯(lián)合實(shí)體和關(guān)系抽取的第一個(gè)結(jié)果，為未來(lái)的研究提供了一個(gè)新的基準(zhǔn)。

DocRE的任務(wù)是，給定一個(gè)包含L個(gè)單詞的文檔D，端到端地同時(shí)提取所有實(shí)體和關(guān)系。因?yàn)槟硞€(gè)實(shí)體可能在文檔中以不同的形式多次出現(xiàn)，所以提取過(guò)程涉及到以下三個(gè)子任務(wù)：

與以前的工作不同，本文將COREF和RE兩個(gè)任務(wù)用表格填充框架來(lái)建模，即對(duì)每對(duì)提及進(jìn)行多分類。本文維護(hù)一個(gè)表格來(lái)表示提及對(duì)，并使用一個(gè)共享的表示來(lái)處理兩個(gè)任務(wù)。對(duì)于表格中的每個(gè)單元格，本文分別為其分配COREF標(biāo)簽和RE標(biāo)簽。對(duì)于COREF，用1/0表示一對(duì)提及是否屬于同一個(gè)實(shí)體。對(duì)于RE，將實(shí)體級(jí)別的標(biāo)簽轉(zhuǎn)換為提及級(jí)別的標(biāo)簽，其中提及對(duì)與其所屬實(shí)體具有相同的關(guān)系，且。

考慮到DocRE任務(wù)中重疊提及的情況較少，本文為了提高效率，采用了一種序列標(biāo)注（sequence-based）的方式來(lái)抽取提及。該方法使用BIO標(biāo)簽來(lái)標(biāo)記提及的開(kāi)始、內(nèi)部和結(jié)束位置，相比于基于跨度的方法，雖然犧牲了一些表達(dá)能力，但是降低了時(shí)間復(fù)雜度，只需要線性時(shí)間就可以完成。本文借鑒了Devlin等人（2019）的工作，先用預(yù)訓(xùn)練語(yǔ)言模型（PLM）對(duì)文檔中的詞進(jìn)行向量化，然后用一個(gè)分類器對(duì)每個(gè)詞進(jìn)行BIO標(biāo)簽的分配，用表示抽取出的所有提及。

給定一個(gè)文檔和相應(yīng)的提及集，本文用表格的方式來(lái)表示每對(duì)提及，借鑒了實(shí)體標(biāo)記策略（Baldini Soares等人，2019），在每個(gè)提及的首尾添加一個(gè)特殊符號(hào)“*”。接著用一個(gè)獨(dú)立的預(yù)訓(xùn)練語(yǔ)言模型（PLM）來(lái)獲取上下文表示和多頭注意力:

式中，A為最后一層Transformer的多頭注意矩陣。

將起始標(biāo)記為“*”的嵌入作為提及嵌入，為了捕獲提及對(duì)的相關(guān)上下文，應(yīng)用本地化上下文池技術(shù)來(lái)計(jì)算上下文嵌入(Zhou等人, 2021):

式中，代表哈達(dá)瑪積，分別是第k個(gè)注意力頭中的注意權(quán)值，由對(duì)和都有高度關(guān)注的詞聚合而成，因此可能對(duì)它們都很重要。

式中，都是可訓(xùn)練參數(shù)。

采用雙仿射注意力機(jī)制將提及特征轉(zhuǎn)換為表示共指消解或關(guān)系鏈接的標(biāo)量分?jǐn)?shù)表：

式中，都是可訓(xùn)練參數(shù)，表示向量串聯(lián)，分別用共享表示預(yù)測(cè)得到共指消解分?jǐn)?shù)和關(guān)系抽取分?jǐn)?shù)，具體來(lái)說(shuō)，如果RE標(biāo)記，則被標(biāo)記為1，否則為0。

在得到共指消解和關(guān)系分?jǐn)?shù), 后，對(duì)每個(gè)表的列進(jìn)行規(guī)范化:

COREF和RE是兩個(gè)重要的信息抽取任務(wù)，它們可以從文本中識(shí)別實(shí)體和實(shí)體之間的關(guān)系。然而，現(xiàn)有的方法往往分別處理這兩個(gè)任務(wù)，忽略了它們之間的交互和語(yǔ)法信息的作用。為了解決這個(gè)問(wèn)題，本文提出了一個(gè)信息傳播模塊，它可以考慮COREF和RE任務(wù)之間的交互，并結(jié)合顯式語(yǔ)法信息，從而改進(jìn)提及表示。具體來(lái)說(shuō)，本文提出了一種基于潛在圖的方法，它可以將提及圖上的三種不同類型的邊（分別對(duì)應(yīng)COREF、RE和語(yǔ)法）進(jìn)行統(tǒng)一建模。本文的模型可以利用不同類型的邊來(lái)聚合鄰居特征，從而增強(qiáng)提及的語(yǔ)義和結(jié)構(gòu)信息。為了在提及圖上應(yīng)用關(guān)系圖卷積網(wǎng)絡(luò)，本文設(shè)計(jì)了一個(gè)更新過(guò)程，它可以根據(jù)邊的類型和權(quán)值來(lái)調(diào)整不同鄰居的貢獻(xiàn)。本文的模型可以初始化節(jié)點(diǎn)嵌入為提及的隱藏特征，然后通過(guò)多層的信息傳播來(lái)更新提及表示。與以前的方法不同，本文的模塊可以并行集成跨任務(wù)信息，并提取兩個(gè)任務(wù)的相關(guān)提及特征，從而實(shí)現(xiàn)更有效的信息抽取。

經(jīng)過(guò)N次傳播后，本文使用優(yōu)化后的提及嵌入和上下文嵌入來(lái)預(yù)測(cè)COREF得分和RE得分：

式中，都是可訓(xùn)練參數(shù)，n維的雙仿函數(shù)定義為：

式中，是可訓(xùn)練參數(shù)， 在COREF任務(wù)中，；在RE任務(wù)中，。為了實(shí)現(xiàn)多標(biāo)簽分類的動(dòng)態(tài)閾值，引入了一個(gè)虛擬類TH，根據(jù)Zhou等人（2021）的方法來(lái)學(xué)習(xí)它的分?jǐn)?shù)。在測(cè)試階段，將分?jǐn)?shù)高于TH類的關(guān)系類型預(yù)測(cè)為輸出。如果沒(méi)有任何關(guān)系類型的分?jǐn)?shù)高于TH類，就認(rèn)為分類器沒(méi)有找到任何關(guān)系，返回。