CQzhangyu

摘要： [MoE] Deepseek的All-to-all通信: DeepEP代碼解讀 前言 最近，Deepseek開源了一系列MoE的優(yōu)化技術(shù)，讓我們看到了AI infra的強大之處。其中，第二天發(fā)布的DeepEP則是針對MoE中EP的all-to-all通信進行了優(yōu)化。 我最近也在關(guān)注MoE和all-t 閱讀全文