人工智能的快速發展幾乎都離不開一個核心架構——Transformer。自從 2017 年被提出以來，Transformer 以其并行化的計算能力和強大的建模效果，成為大模型架構的主流標準。無論是 GPT 系列、LLaMA，還是國內的 Qwen 系列，它們都建立在 Transformer 的基礎上。
然而，隨著模型規模不斷擴大，Transformer 逐漸暴露出一些難以忽視的問題，例如訓練時開銷隨序列長度呈平方級增長，推理時顯存占用隨序列長度線性增加，造成資源消耗，導致其處理超長序列能力受限等。
與此形成鮮明對比的是，生物大腦在能效和靈活性上展現了完全不同的道路。人類大腦僅消耗約 20 瓦功率，卻能處理感知、記憶、語言和復雜推理等海量任務。這種對比不禁讓研究者開始深思：如果讓大模型在設計和計算方式上更接近大腦，是否就能突破 Transformer 帶來的瓶頸？
基于這一探索，中國科學院自動化研究所聯合腦認知與類腦智能全國重點實驗室等機構借鑒了大腦神經元內部復雜工作機制，提出「基于內生復雜性」大模型構架方式，并于今年 9 月發布了一款原生國產自主可控類腦脈沖大模型——「瞬悉 1.0（SpikingBrain-1.0）」。該模型在理論上建立了脈沖神經元內生動力學與線性注意力模型之間的聯系，揭示了現有線性注意力機制是樹突計算的特殊簡化形式，展示出一條不斷提升模型復雜度和性能的新型可行路徑。進一步，研發團隊構建并開源了基于脈沖神經元、具有線性及混合線性復雜度的新型類腦基礎模型，開發出面向國產 GPU 集群高效訓練和推理框架、Triton 算子庫、模型并行策略、集群通信原語。
通過實驗驗證，SpikingBrain-1.0 在達成極低數據量高效訓練、實現推理效率數量級提升、構建國產自主可控類腦大模型生態、提出基于動態閾值脈沖化的多尺度稀疏機制 4 個性能方面均實現突破。其中，SpikingBrain-7B 模型在 400 萬個 token 序列的首個 token 時間（Time to First Token）方面實現了超過 100 倍的加速。在數百塊 MetaX C550 GPU 上，SpikingBrain-7B 模型的訓練可穩定運行數周，其模型 FLOP 利用率達到 23.4%。所提出的脈沖方案實現了 69.15% 的稀疏度，從而實現了低功耗運行。
值得注意的是，這是我國首次提出大規模類腦線性基礎模型架構，并首次在國產 GPU 算力集群上構建類腦脈沖大模型的訓練和推理框架。其超長序列處理能力在法律與醫學文檔分析、復雜多智能體模擬、高能粒子物理實驗、DNA 序列分析、分子動力學軌跡等超長序列任務建模場景中具有顯著的潛在效率優勢。
目前，「SpikingBrain-1.0 基于內生復雜性的類腦脈沖大模型」已上線至 HyperAI超神經官網的「教程」板塊，點擊下方鏈接即可體驗一鍵部署教程 ??
教程鏈接：
https://go.hyper.ai/T8hos
Demo 運行
- 進入 hyper.ai 首頁后，選擇「教程」頁面，并選擇「SpikingBrain-1.0 基于內生復雜性的類腦脈沖大模型」，點擊「在線運行此教程」。
2.頁面跳轉后，點擊右上角「克隆」，將該教程克隆至自己的容器中。
- 選擇「NVIDIA RTX A6000 48GB」以及「PyTorch」鏡像，并點擊「繼續執行」。OpenBayes 平臺提供了 4 種計費方式，大家可以按照需求選擇「按量付費」或「包日/周/月」。新用戶采用下方邀請鏈接注冊，可獲得 4 小時 RTX 4090 + 5 小時 CPU 的免費時長！
HyperAI超神經專屬邀請鏈接（直接復制到瀏覽器打開）：
https://openbayes.com/console/signup?r=Ada0322_NR0n
4.等待分配資源，首次克隆需等待 3 分鐘左右的時間。當狀態變為「運行中」后，點擊「API 地址」旁邊的跳轉箭頭，即可跳轉至 Demo 頁面。請注意，用戶需在實名認證后才能應用 API 地址訪問功能。
5.在對話框輸入困難即可開始進行對答。
效果演示
筆者以「Show me a code snippet of a website’s sticky header in CSS and JavaScript.」為例進行提問，效果如下圖所示：
HyperAI超神經本期推薦的教程，歡迎大家前來體驗！就是以上就
教程鏈接：
https://go.hyper.ai/T8hos
浙公網安備 33010602011771號