1. 為了構建目標關系類型的原型，它們將所有具有該關系的實體對的表示聚合在一起，但這些實體對可能同時具有其他關系，導致原型的混淆。
2. 它們在所有任務中使用同一組通用的非上述(none-of-the-above，NOTA)原型，忽視了不同任務中目標關系類型對NOTA語義的影響。

1. 一個實體對在一個文檔中可能有多個關系，如果用支持集中的實體對表示來聚合生成關系原型，那么原型就會混雜了其他無關的關系信息，導致度量空間中的關系難以區(qū)分，如圖2(a)所示。
2. 由于大部分查詢實體對并不涉及任何目標關系，因此 NOTA也被當作一個類別。考慮到不同任務的目標關系類型有所差異，如果只是用一組可學習的向量作為 NOTA 原型，并且在所有任務中通用，這種“一刀切”的策略可能會使 NOTA 原型偏離理想的 NOTA 語義，從而導致分類的混淆。如圖 2(a) 所示，一組通用的 NOTA 原型在任務 1 中看起來還可以，但是在任務 2 中就不太合適。

1. 首先，以前的方法很難與對比目標相結合，因為它們只能得到成對的支持向量。實體對的多標簽性質使得合理地定義正負對很困難。
2. 其次，通過引入關系間的相似性，這種對比損失更加注重將語義上接近的關系的實例向量分開，從而有助于更好地區(qū)分相應的關系原型。

3.3 Relation-Aware NOTA Prototype Learning

由于大多數(shù)查詢實體對沒有任何目標關系，所以NOTA也被視為一個類別。現(xiàn)有的方法通常學習一組通用的NOTA原型，用于所有的任務，但這在某些任務中可能不是最優(yōu)的，因為NOTA的語義在不同的目標關系類型的任務中是不同的。為此，本文提出了一種任務特定的NOTA原型生成策略，以更好地捕捉每個任務中的NOTA語義。具體來說，本文首先引入一組可學習的向量 ，其中是一個超參數(shù)。與之前的工作不同，本文不直接將這組向量作為NOTA原型，而是將它們視為需要在每個任務中進一步修正的基礎NOTA原型。由于支持文檔的標注是完整的，可以得到一個支持NOTA分布，它隱含地表達了NOTA的語義。因此，可以利用支持NOTA實例來捕捉每個特定任務中的NOTA語義。對于一個支持NOTA實例，使用等式2作為實例級別的注意力，并根據(jù)等式6~8得到實例表示 。將所有的支持NOTA實例的集合記為，為每個基礎NOTA原型自適應地選擇一個NOTA實例：

這個等式找到了一個與基礎NOTA原型最接近，而與關系原型最遠的NOTA實例。然后，將它與融合，得到最終的NOTA原型：

其中是一個超參數(shù)。通過這種方式，可以獲得一組特定于任務的NOTA原型，這些原型不僅包含了元學習的一般知識，而且隱含地捕獲了每個特定任務中的NOTA語義。

3.4 Training Objective

給定查詢文檔中的一個實體對，使用等式2作為實體對級別的注意力，并采用類似于等式6~8的方法得到實體對的表示。對于每個目標關系類型，計算的概率為：

其中。然后，將查詢文檔中的所有實體對的集合記為，計算分類損失為：

如果之間存在關系，則；否則。總的損失定義為：

其中是一個超參數(shù)。在推理過程中，如果，就提取查詢文檔中的關系實例。

4.1 Benchmarks and Evaluation Metric

使用的數(shù)據(jù)集：

與 Popovic 和 F?rber (2022) 一致，使用宏 F1 來評估整體性能。

4.2 Baselines

本文的方法與四種基于FREDo的基線方法進行比較：

此外，本文還評估了有監(jiān)督的 DocRE 模型，它通過在整個訓練語料上學習并在支持集上微調。在這里，選擇 KDDocRE 作為最先進的公開可用的有監(jiān)督的 DocRE 方法。為了公平的比較，遵循 Popovic and F?rber (2022) 的方法，使用 BERT-base作為本文方法的編碼器。

 

 

4.3 Main Results

表 2 顯示了RAPL在 FREDo 和 ReFREDo 上的主要結果。

從實驗結果可知：

4.4 Ablation Study

本文在ReFREDo上進行了消融實驗，以探究RAPL每個模塊的影響。具體來說，

平均結果如表 3 所示。可以觀察到，與 RAPL 相比，“?RCL”和“?TNPG”模型的性能有不同程度的下降，“?IBPC?RCL”模型的性能甚至比“?RCL”還要差，這證明了每個模塊的有效性。此外，在對級上整合對比目標并沒有帶來顯著的改進，這表明了學習實例級支持嵌入的重要性。

4.5 Analyses and Discussions

Effect of Hyperparameters.

本文研究了不同超參數(shù)對RAPL性能的影響。本文在 ReFREDo 數(shù)據(jù)集上的 3-Doc 任務中進行了實驗。如圖 4 所示，可以觀察到：

Support Embeddings Visualization.

為了直觀地展示RAPL的優(yōu)勢，本文從ReFREDo數(shù)據(jù)集的領域內3-Doc測試語料中選擇了三種語義相近的關系類型，并為每種關系類型采樣了十個支持實例，然后使用進行可視化 (Van der Maaten和Hinton, 2008)，如圖 5 所示。除了消融實驗中的兩種模型變體，本文還嘗試了，它用有監(jiān)督的對比損失 (Khosla等人, 2020; Gunel等人, 2021) 替換了實例級的關系加權對比損失。由于一些實體對同時表達了“部分”和“成員”關系，或者“部分”和“子類”關系，本文只在圖 5(a) 中可視化了的“部分”關系。可以觀察到，由 RAPL?RCL 學習的支持實例嵌入改善了學習的支持對嵌入，證明了實例級嵌入對于關系原型構建的有效性。此外，盡管引入實例級的有監(jiān)督對比目標形成了更緊湊的聚類，但三種關系類型之間的區(qū)分度仍然不足。如圖 5(d) 所示，本文提出的關系加權對比學習方法更好地區(qū)分了三種關系類型。

Performance vs. NOTA Rate of Episodes.

本文進一步探索了任務特定的 NOTA 原型生成策略對性能提升的影響。根據(jù)每個測試樣本的 NOTA 比率，即查詢文檔中 NOTA 實體對與總實體對數(shù)的比例，將 ReFREDo 數(shù)據(jù)集的領域內 3-Doc 測試樣本劃分為不相交的子集。建立了四個子集，分別對應 NOTA 比率在 [0%,95%)，[95%, 97%)，[97%, 99%) 和 [99%, 100%] 區(qū)間內的情況。然后在每個子集上評估了使用或不使用任務特定的 NOTA 原型生成策略訓練的模型。實驗結果如表 4 所示。可以觀察到，任務特定的 NOTA 原型生成策略在每個子集上都帶來了改進。更重要的是，隨著 NOTA 比率的增加，性能提升也越大。這表明，任務特定的 NOTA 原型生成策略有助于捕捉 NOTA 語義，從而生成更好的 NOTA 表示，尤其是在那些涉及更多 NOTA 查詢對的測試樣本中。

 

 

Performance vs. Number of Support Relation Instances.

本文還分析了支持關系實例數(shù)對總體性能的影響。在 ReFREDo 基準數(shù)據(jù)集的領域內 3-Doc 任務上進行了實驗。對于每個測試樣本中的每種關系類型，計算了該樣本中該關系類型的支持實例數(shù)。這里將支持實例數(shù)劃分為 10 個類別，其中前 9 個類別對應于 1 到 9，最后一個類別對應于支持實例數(shù)大于或等于 10 的情況。然后在這些類別上評估了 RAPL 方法的性能，如圖 6 所示。可以觀察到，RAPL 的性能隨著支持關系實例數(shù)的增加而呈現(xiàn)出上升趨勢，但在某些點也出現(xiàn)了波動。這表明，所提出的方法具有一定的可擴展性，但性能可能不是完全正相關于支持關系實例數(shù)。

Preliminary Exploration of LLM for FSDLRE.

近期，大型語言模型（LLM）通過在上下文學習的方式，在許多少樣本任務上取得了令人鼓舞的結果。也有一些工作專注于利用 LLM 解決少樣本信息抽取問題。然而，大多數(shù)研究主要針對句子級任務。因此，本文使用 gpt-3.5-turbo3 進行了一個初步實驗，探索 LLM 在 FSDLRE 任務上的性能。由于輸入長度的限制，本文只在1-Doc 設置下進行實驗。本文從 ReFREDo 的領域內測試樣本中隨機選擇了 1000 個樣本，并設計了一個包含任務描述、示例和查詢的在上下文學習提示模板（詳見附錄 C）。實驗結果顯示，gpt-3.5-turbo 只達到了 12.98% 的宏 F1，甚至低于一些基線方法。雖然這個測試可能無法充分反映 LLM 的能力，但本文認為 FSDLRE 仍然是一個具有挑戰(zhàn)性的問題，即使在 LLM 的時代。

Sentence-Level Relation Extraction.

......

Document-Level Relation Extraction.

大多數(shù)現(xiàn)有的 DocRE 研究都基于數(shù)據(jù)驅動的監(jiān)督學習場景，通常可以分為基于圖的方法和基于序列的方法。基于圖的方法通常通過圖結構來抽象文檔，并用圖神經網絡進行推理。基于序列的方法用純粹的Transformer架構來編碼長距離的上下文依賴。這兩類方法在 DocRE 任務上都取得了令人印象深刻的結果。然而，這些方法都依賴于大規(guī)模的標注文檔，這使得它們難以適應低資源的場景。

Few-Shot Document-Level Relation Extraction.

為了解決現(xiàn)實中 DocRE 場景中普遍存在的數(shù)據(jù)稀缺問題，Popovic 和 F?rber（2022）將 DocRE 任務轉化為少樣本學習任務。為了完成這個任務，他們提出了多種基于度量的模型，這些模型都是基于最先進的監(jiān)督式 DocRE 方法和少樣本句子級關系抽取方法構建的，目的是適應不同的任務設置。而對于一個有效的基于度量的 FSDLRE 方法，每個類別的原型應該準確地捕捉相應的關系語義。然而，這對于現(xiàn)有的方法來說是具有挑戰(zhàn)性的，因為他們的關系原型學習策略是粗粒度的，而且他們的“一刀切”的 NOTA 原型學習策略也不合理。在這項工作中，本文提出了一種關系感知的原型學習方法，以更好地捕捉原型表示中的關系語義。

本文提出了RAPL，這是一種 用于FSDLRE的新穎的關系感知原型學習方法。本文將關系原型的構建重新定義為實例級別，并進一步提出了一種關系加權對比學習方法，來共同優(yōu)化關系原型。此外，本文設計了一種任務特定的NOTA原型生成策略，以更好地捕捉每個任務中的NOTA語義。實驗結果和進一步的分析證明了本文方法的優(yōu)越性和每個組件的有效性。在未來的工作中，本文想要將該方法遷移到其他少樣本文檔級信息抽取任務，例如少樣本文檔級事件論元抽取，它與FSDLRE具有相似的任務結構。

首先，引入關系編碼器和尋找支持NOTA實例的過程增加了內存和時間的開銷。其次，假設實體信息應該被指定可能影響方法的魯棒性（Liu等人，2022b）。在有監(jiān)督的場景中，一些最近的DocRE研究探索了聯(lián)合實體和關系抽取，以避免這個假設（Eberts和Ulges，2021；Xu和Choi，2022；Zhang等人，2023）。本文認為，在少樣本場景中，研究端到端的DocRE是有益的，RAPL方法可能為未來的工作提供一些啟示。最后，RAPL在跨領域任務上的性能提升低于在領域內任務上的性能提升。一個未來的研究方向是探索提高跨領域任務性能的技術，例如數(shù)據(jù)增強（Hu等人，2023c）和結構化知識引導（Liu等人，2022a；Ma等人，2023a）。