CQzhangyu

摘要： [MoE] Tutel源碼解讀 前言 最近MoE變得火了起來。但我在和別人討論MoE時，總有一些說不清楚地方，就算讀了論文也一知半解。于是我決定還是要看一看具體的代碼，看看每個細節究竟都是怎么實現的。 作為實現參考，Tutel這篇工作就很不錯。最近的工作基本都拿Tutel作為Baseline比較，于 閱讀全文