摘要：
從零開始解析Transformer，目標是：(1) 解析Transformer如何運作，以及為何如此運作，讓新同學可以入門；(2) 力爭融入一些比較新的或者有特色的論文或者理念，讓老鳥也可以有所收獲。 閱讀全文
posted @ 2025-03-21 18:10
羅西的思考
閱讀(8009)
評論(0)
推薦(7)
摘要： 
## 0x01 廣告 經過一年多的努力，我的書 《分布式機器學習——系統、工程與實戰》終于上架了，在這里打個廣告。  閱讀全文
## 0x01 廣告 經過一年多的努力，我的書 《分布式機器學習——系統、工程與實戰》終于上架了，在這里打個廣告。  閱讀全文
posted @ 2023-07-21 23:50
羅西的思考
閱讀(2462)
評論(7)
推薦(3)
摘要：
前幾篇文章我們介紹了 PyTorch 流水線并行的基本知識，自動平衡機制和切分數據等，本文我們結合論文內容來看看如何實現流水線依賴，核心就是如何建立這些小批次之間的跨設備依賴關系。 閱讀全文
posted @ 2021-10-07 10:54
羅西的思考
閱讀(2991)
評論(4)
推薦(3)
摘要：
Celery是一個簡單、靈活且可靠的，處理大量消息的分布式系統，專注于實時處理的異步任務隊列，同時也支持任務調度。本系列將通過源碼分析，和大家一起深入學習 Celery。本文是系列第二篇，繼續探究 Celery 架構。 閱讀全文
posted @ 2021-03-27 10:02
羅西的思考
閱讀(2690)
評論(0)
推薦(0)
摘要：
[Agent] ACE（Agentic Context Engineering）源碼閱讀筆記 （1）基礎模塊 目錄[Agent] ACE（Agentic Context Engineering）源碼閱讀筆記 （1）基礎模塊0x00 概要0x01 示例1.1 建立簡單Agent1.2 后續操作Load 閱讀全文
posted @ 2025-11-04 21:58
羅西的思考
閱讀(52)
評論(0)
推薦(0)
摘要：
MPK 包含內置 GPU 運行時系統，可在單個 GPU 巨型內核內完整執行任務圖。這使得系統能在推理過程中無需額外內核啟動的情況下，實現任務執行與調度的細粒度控制，以實現高吞吐量與低延遲。 閱讀全文
posted @ 2025-11-02 20:58
羅西的思考
閱讀(51)
評論(0)
推薦(1)
摘要：
MPK（Mirage Persistent Kernel）源碼筆記（4） 轉譯系統 目錄MPK（Mirage Persistent Kernel）源碼筆記（4） 轉譯系統0x00 概要0x01 Task和Event1.1 可執行任務1.1.1 任務定義1.1.2 任務類型1.2 事件1.2.1 事件 閱讀全文
posted @ 2025-10-31 21:02
羅西的思考
閱讀(34)
評論(0)
推薦(0)
摘要：
MPK（Mirage Persistent Kernel）源碼筆記（3） 系統接口 目錄MPK（Mirage Persistent Kernel）源碼筆記（3） 系統接口0x00 概述0x01 流程0x02 初始化0x03 定義計算圖0x04 編譯0x05 執行0xFF 參考 0x00 概述 因為轉 閱讀全文
posted @ 2025-10-29 21:12
羅西的思考
閱讀(56)
評論(0)
推薦(0)
摘要：
MPK（Mirage Persistent Kernel）源碼筆記（2） 多層結構化圖模型 目錄MPK（Mirage Persistent Kernel）源碼筆記（2） 多層結構化圖模型0x00 概要0x01 機制1.1 當前問題1.2 解決方案1.2.1 μGraphs：多層次計算圖表示1.2.2 閱讀全文
posted @ 2025-10-26 15:33
羅西的思考
閱讀(60)
評論(0)
推薦(1)
摘要：
MPK（Mirage Persistent Kernel）源碼筆記（1） 基礎原理 目錄MPK（Mirage Persistent Kernel）源碼筆記（1） 基礎原理0x00 概要0.1 傳統LLM推理框架的瓶頸0.2 MPK的流程重構0.3 MPK的關鍵優勢0x01 問題1.1 現有框架問題1 閱讀全文
posted @ 2025-10-23 21:22
羅西的思考
閱讀(73)
評論(0)
推薦(0)
摘要：
[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet學習筆記 目錄[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet學習筆記0x00 概述0x01 ACE1.1 背景 閱讀全文
posted @ 2025-10-19 20:31
羅西的思考
閱讀(190)
評論(0)
推薦(0)
摘要：
OpenAI Apps SDK：核心價值、競爭格局與發展猜想 目錄OpenAI Apps SDK：核心價值、競爭格局與發展猜想0x01 從聊天工具到 “AI 操作系統” 的野心0x02 ChatGPT 與 Comet 瀏覽器的 “一站式” 對決0x03 AI 賽道的 “入口戰” 0x01 從聊天工具 閱讀全文
posted @ 2025-10-12 22:51
羅西的思考
閱讀(108)
評論(0)
推薦(0)
摘要：
從零開始解析Transformer，目標是：(1) 解析Transformer如何運作，以及為何如此運作，讓新同學可以入門；(2) 力爭融入一些比較新的或者有特色的論文或者理念，讓老鳥也可以有所收獲。 閱讀全文
posted @ 2025-06-08 20:13
羅西的思考
閱讀(2573)
評論(1)
推薦(2)
摘要：
從零開始解析Transformer，目標是：(1) 解析Transformer如何運作，以及為何如此運作，讓新同學可以入門；(2) 力爭融入一些比較新的或者有特色的論文或者理念，讓老鳥也可以有所收獲。 閱讀全文
posted @ 2025-06-02 20:22
羅西的思考
閱讀(1937)
評論(0)
推薦(2)
浙公網安備 33010602011771號