Natural language understanding (NLU) is a branch of artificial intelligence (AI) that uses computer software to understand input in the form of sentences using text or speech. NLU enables human-computer interaction by analyzing language versus just words.

NLU enables computers to understand the sentiments expressed in a natural language used by humans, such as English, French or Mandarin, without the formalized syntax of computer languages. NLU also enables computers to communicate back to humans in their own languages.

A basic form of NLU is called parsing, which takes written text and converts it into a structured format for computers to understand. Instead of relying on computer language syntax, NLU enables a computer to comprehend and respond to human-written text.

One of the main purposes of NLU is to create chat- and voice-enabled bots that can interact with people without supervision. Many startups, as well as major IT companies, such as Amazon, Apple, Google and Microsoft, either have or are working on NLU projects and language models.

BIO and BILOU encodings represent the most popular encoding schemas. The BIO encoding schema is presented in Fig., where B denotes the beginning of a segment, I represents the inside of a segment, including the ending word, and O stands for the word that does not belong to any segment.

（B - 'beginning'；I - 'inside'；L - 'last'；O - 'outside'；U - 'unit'）

Exposure bias refers to the train-test discrep- ancy that seemingly arises when an autoregres- sive generative model uses only ground-truth contexts at training time but generated ones at test time.

 

 

 

自回歸，全稱自回歸模型（Autoregressive model，簡稱AR模型），是統(tǒng)計上一種處理時間序列的方法， 是用同一變量之前各期的表現(xiàn)情況，來預(yù)測該變量自己本期的表現(xiàn)情況。 因為這不是用來預(yù)測其他變量，而是用來預(yù)測自己，所以叫做自回歸。

關(guān)系抽取是信息抽取的一個重要任務(wù)，它可以從原始文本中抽取出實體之間的關(guān)系三元組，為知識庫、事實檢查和其他應(yīng)用提供支持。然而，這通常需要一個多步驟的流程，可能會導(dǎo)致錯誤的累積或者只能處理少數(shù)幾種關(guān)系類型。為了解決這些問題，本文提出了一個端到端的關(guān)系抽取模型REBEL，它是一個自回歸的seq2seq模型。seq2seq模型已經(jīng)在語言生成和NLU任務(wù)上表現(xiàn)出優(yōu)異的性能，例如實體鏈接等。本文展示了如何通過將關(guān)系三元組轉(zhuǎn)換為一個文本序列來簡化關(guān)系抽取的問題，并且使用BART作為seq2seq模型的基礎(chǔ)，使得REBEL能夠抽取超過200種不同的關(guān)系類型。

關(guān)系抽取：

傳統(tǒng)關(guān)系抽取所面臨的問題：

端到端方法所面臨的問題：

本文提出了一種將關(guān)系抽取視為seq2seq任務(wù)的自回歸方法（REBEL, Relation Extraction By End-to-end Language generation），以及一個利用自然語言推理模型得到的大規(guī)模遠(yuǎn)程監(jiān)督數(shù)據(jù)集（REBEL）。REBEL是一個簡單而有效的端到端關(guān)系抽取模型，它將三元組作為文本序列來處理。它利用一個大的銀色數(shù)據(jù)集對一個Transformer（BART）進(jìn)行預(yù)訓(xùn)練，然后在幾個周期內(nèi)微調(diào)，在多個RE基準(zhǔn)上取得最佳的性能。它的簡單性也使得它能夠靈活地適應(yīng)不同的領(lǐng)域和更長的文本。由于在微調(diào)階段仍然使用預(yù)訓(xùn)練的模型權(quán)重，因此不需要重新訓(xùn)練模型特定的組件，節(jié)省了訓(xùn)練時間。此外，REBEL不僅可以用于關(guān)系抽取，還可以用于關(guān)系分類，達(dá)到與其他方法相當(dāng)?shù)慕Y(jié)果。本文提供了REBEL的模型代碼和預(yù)訓(xùn)練權(quán)重，它可以抽取超過200種關(guān)系類型，也可以很容易地在新的RE和RC數(shù)據(jù)集上進(jìn)行微調(diào)。

關(guān)系抽取與關(guān)系分類的定義：

1. 流水線技術(shù)（pipeline）：早期的工作利用CNN、LSTM挖掘語義關(guān)系，并對給定的實體進(jìn)行關(guān)系分類。 目前已有工作開始使用transformer模型。
2. 早期的端到端方法：對輸入文本中所有單詞對進(jìn)行分類，使用表格表示或表格填充，將任務(wù)轉(zhuǎn)化為填充一個表格（關(guān)系）的格子，其中行和列是輸入中的單詞。
3. 利用聯(lián)合訓(xùn)練的流水線技術(shù)：聯(lián)合訓(xùn)練NER和RC，比如Eberts and Ulges (2021)使用了一個流水線方法（文檔級RE），聯(lián)合訓(xùn)練了一個多任務(wù)模型，利用共指消解在實體級別而不是提及級別進(jìn)行操作。

• 它們通常假設(shè)每個實體對之間最多有一種關(guān)系類型，而且多分類方法不考慮其他的預(yù)測。例如，它們可能預(yù)測同一個頭實體有兩個“出生日期”，或者預(yù)測一些不兼容的關(guān)系。此外，它們需要推斷所有可能的實體對，這可能會變得計算代價昂貴。

1. Zhang等人(2020)指出，將三元組轉(zhuǎn)換為文本序列需要一個線性化的過程，而這個過程可能是有些隨意的，比如按照字母順序。Zeng等人(2019)對這個問題進(jìn)行了研究，他們使用了強化學(xué)習(xí)來確定三元組的抽取順序。
2. 由于在訓(xùn)練過程中，預(yù)測總是依賴于正確的輸出，seq2seq方法會受到暴露偏差的影響。Zhang等人(2020)提出了一個樹解碼的方法，可以緩解這個問題，同時仍然保持了seq2seq方法的自回歸性質(zhì)。

1. 使用BART-large（Lewis et al., 2020）作為基礎(chǔ)模型，將關(guān)系抽取和分類視為一個生成任務(wù)，輸出輸入文本中存在的每個三元組。
2. 輸入：編碼器接收輸入數(shù)據(jù)序列，即數(shù)據(jù)集中的文本。
3. 輸出：解碼器產(chǎn)生輸出數(shù)據(jù)序列，即線性化的三元組。
4. 預(yù)訓(xùn)練模型：BART。
5. 損失函數(shù)：Cross-Entropy。

1. <triplet>標(biāo)記了一個新的三元組的開始，后面跟著一個新的頭實體。
2. <subj>標(biāo)記了頭實體的結(jié)束和尾實體的開始。
3. <obj>標(biāo)記了尾實體的結(jié)束和頭實體與尾實體之間關(guān)系的開始。