orange0005

摘要： 局部注意力方法 （Local attention，LA） 摘要： 主要研究了一些局部注意力的工作。 對于NLP，LA能夠更好的外推；對于CV，能夠更加高效。 作用不同，主要也是因為兩者的關注目標，實現方法不同。(沒有討論多頭，因為那是對最后一個維度，通道維度的操作，現在關注對注意力矩陣的操作)。 1 閱讀全文

摘要： 1. 論文 摘要： 對于時變 PDE，在隱空間中自回歸的生成未來時刻的 tokens。特別的，下一時刻的特征使用掩碼自回歸的范式，按批次生成不同位置的token。 2. 背景： 對于時變的參數 PDE，通常有兩種預測設置： 時間條件：模型 \(\widehat{\mathcal{G}}\) 接收 \ 閱讀全文

摘要： 1. 論文 摘要： 本文從壓縮角度敘事。 引入了連續的自適應卷積，用于將偏微分方程數據從高分辨率的物理空間壓縮到低分辨率的潛在空間。其中query points 是可學習的（可移動），提取 epsilon neighborhood 的信息。 NeurIPS 2. 背景： PDEs 數據通常是由一組網 閱讀全文

摘要： 本文提出了一種基于神經網絡的代理模型，被稱為 RelaxNet，能夠為五重碰撞積分提供保結構的近似值。進一步的，本文將機械對流算子與基于 PelaxNet 的碰撞算子融合為一個統一的模型，稱為 Universal Boltzmann Equation (UBE). 閱讀全文

摘要： 早先的 VQ 方法通常將圖像分割為固定尺寸的區域，每個區域具有固定長度的code。作者提出了一種 Dynamic Vector Qualification，核心思想是基于信息密度分割圖像為不同粒度的區域，粗粒度（平滑）區域擁有更少的codes，細粒度（細節）區域擁有更多codes。此外，不同于早先的順序生成，本文還提出了由粗粒度區域到細粒度區域生成的順序。 閱讀全文

摘要： 對ViT的一種改進。提出了一種rigional to local attention，核心思想是將同一個輸入(圖片)不重疊地分割成一大一小兩種size的patch，然后將兩種patch之中的信息融合，來提升所學習特征的多尺度表現 閱讀全文

摘要： 雙分支transformer提取多尺度特征用于圖像分類。 閱讀全文

摘要： CLIP OpenAI ICML2021 摘要 CLIP的方法非常的簡單，但是效果非常好。 比如，clip的遷移學習能力是非常強的，它預訓好的模型，能夠在任意一個視覺分類的數據集上取得不錯的效果。而且最重要的是CLIP是**==zero shot==**的，也就是說它完全沒有在這些數據集上去做訓練， 閱讀全文

摘要： 本文提出了一種端到端的，使用transformer的目標檢測方法。作者將目標檢測視為直接集合預測的問題。相比較于之前的方法，有效地消除了許多手工設計的組件的需求。 之前目標檢測中，不論是proposal based的方法，還是anchor based的方法，都需要用到nms（非極大值抑制）等后處理方 閱讀全文

摘要： 未發表 摘要 本文提出了一種基于元學習的方法，該方法從一系列相關的偏微分方程中學習快速解決問題。作者使用元學習（MAML和LEAP）來識別近似PDE解的神經網絡的初始化，以便在新任務中快速最小化 PDE 的殘差。由此產生的meta-PDE方法可以在幾個梯度步驟內找到大多數問題的解，中等精度下可以比有 閱讀全文