07 2023 檔案

摘要：最近給領導匯報研發搗鼓的AI編譯器，里面有一個東西很吊炸天，研發天天說自己搞了個自研很牛逼的IR。我給領導一匯報，就被領導刁飛了，IR、IR，IR有啥用，能節約我的研發成本嗎？IR能解決啥問題？我真的想知道，AI編譯器中的IR是什么？ 閱讀全文

摘要：目前主流的深度學習框架都選擇使用計算圖來抽象神經網絡計算表達，通過通用的數據結構（張量）來理解、表達和執行神經網絡模型，通過計算圖可以把 AI 系統化的問題形象地表示出來。 本節將會以AI概念落地的時候，遇到的一些問題與挑戰，因此引出了計算圖的概念來對神經網絡模型進行統一抽象。接著展開什么是計算，計算圖的基本構成來深入了解誒計算圖。最后簡單地學習PyTorch如何表達計算圖。 閱讀全文

摘要：我給領導匯報AI框架用函數式編程好，沒講明白，說函數式就是寫函數那樣方便，都被領導吊飛了，啥玩意，寫啥不是寫函數，狗屁不通！網上搜說用tensorflow那就是用聲明式編程，用pytorch就是命令式編程。有兄弟能講清楚，AI框架的編程范式到底如何區分？AI框架中的不同編程范式有什么作用嗎？ 閱讀全文

摘要：都2023年，才來回答這個問題，自然毫無懸念地選擇PyTorch，TensorFlow在大模型這一波浪潮中沒有起死回生，有點惋惜，現在GLM、GPT、LLaMA等各種大模型都是基于PyTorch框架構建。這個事情已經水落石出。 不過呢，我覺得可以一起去回顧下，在AI框架發展的過程中，都沉陷了哪些技術點，為什么一開始這么多人在糾結到底用哪個框架。 閱讀全文

摘要：最近一個月朋友老來挑戰我：“什么才是AI框架？”，于是趁著夜深人靜的時候，真正地去梳理什么是AI框架，下面是我對AI框架的一些思考。 到底什么是AI算法？什么是神經網絡？神經網絡有什么用？為什么神經網絡需要訓練？什么是模型？AI框架有什么用？AI框架能解決什么問題？ 上面的幾個問題其實還挺有挑戰的。 閱讀全文