摘要：
【自動微分實現】反向OO實現自動微分（Pytroch核心機制） 寫【自動微分】原理和實現系列文章，存粹是為了梳理在 MindSpore 當SE時候最核心的自動微分原理。網上看了很多文章，基本上都是很零散，當然Automatic Differentiation in Machine Learning:
閱讀全文
摘要：
MobileViT 結構上基本基于 MobileNet V2 而改進增加了 MobileViT block，但是同樣能夠實現一個不錯的精度表現，文章實驗部分大量的對比了 MobileViT 跟 CNN 和 ViT 模型的參數量和模型大小，不過值得一提的是在端側除了模型大小以外，更加重視模型的性能，只能說這篇文章經典之處是開創(chuàng)了 CNN 融合 ViT 在端側的研究。
閱讀全文
摘要：
那現在！是否有可能結合 CNN 和 ViT 的優(yōu)勢，為移動視覺任務構建一個輕量級、低延遲的網絡？ 為此，作者提出了 MobileViT，一種用于移動設備的輕量級通用視覺Transformer。
閱讀全文
摘要：
DeiT 是一個全 Transformer 的架構。其核心是提出了針對 ViT 的教師-學生蒸餾訓練策略，并提出了 token-based distillation 方法，使得 Transformer 在視覺領域訓練得又快又好。
閱讀全文
摘要：
何凱明從 CVPR 2020 上發(fā)表的 MoCo V1（Momentum Contrast for Unsupervised Visual Representation Learning），到前幾天掛在arxiv上面的 MoCo V3（An Empirical Study of Training Self-Supervised Visual Transformers），MoCo一共走過了三個版本。今天介紹 MoCo 系列第三版，MoCo v1 和 v2 是針對 CNN 設計的，而 MoCo v3 是針對 Transformer 結構設計的，反映了 MoCo 系列對視覺模型的普適性。
閱讀全文
摘要：
何凱明從 CVPR 2020 上發(fā)表的 MoCo V1（Momentum Contrast for Unsupervised Visual Representation Learning），到前幾天掛在arxiv上面的 MoCo V3（An Empirical Study of Training Self-Supervised Visual Transformers），MoCo一共走過了三個版本。今天介紹 MoCo 系列第二版 MoCo v2 就是在 SimCLR 發(fā)表后結合了 SimCLR 優(yōu)點的圖像自監(jiān)督學習方法，MoCo v1 和 v2 是針對 CNN 設計的，而 MoCo v3 是針對 Transformer 結構設計的，反映了 MoCo 系列對視覺模型的普適性。
閱讀全文
摘要：
何凱明從 CVPR 2020 上發(fā)表的 MoCo V1（Momentum Contrast for Unsupervised Visual Representation Learning），到前幾天掛在arxiv上面的 MoCo V3（An Empirical Study of Training Self-Supervised Visual Transformers），MoCo一共走過了三個版本。今天介紹 MoCo 系列第一版 MoCo v1 就是在 SimCLR 發(fā)表前經典的圖像自監(jiān)督學習方法，MoCo v1 和 v2 是針對 CNN 設計的，而 MoCo v3 是針對 Transformer 結構設計的，反映了 MoCo 系列對視覺模型的普適性。
閱讀全文
【AI框架核心技術】這個系列，主要是跟大家一起探討和學習人工智能、深度學習的計算機系統(tǒng)設計，而整個系統(tǒng)是圍繞著我在工作之余所積累、梳理、構建關于AI框架的一些核心技術內容。 閱讀全文
浙公網安備 33010602011771號