sunshine丶23

摘要： 問題：BERT的表示本身存在塌縮的問題。通過對BERT詞表示的觀察，會發(fā)現(xiàn)整體呈錐形分布：高頻詞聚集在錐頭部，低頻詞分散在錐尾。又由于高頻詞本身是高頻的，因此會主要貢獻(xiàn)整個的句子表示，讓整體的相似度都很高。 解決思路： 對比學(xué)習(xí)，它是通過拉近相同樣本的距離、拉遠(yuǎn)不同樣本的距離，來刻畫樣本本身的表示， 閱讀全文