浦語(yǔ)書(shū)生大模型實(shí)戰(zhàn)訓(xùn)練營(yíng)01筆記
大模型總的發(fā)展趨勢(shì):?jiǎn)我荒P吞幚韱我蝗蝿?wù)到一個(gè)模型解決多個(gè)任務(wù)
書(shū)生.浦語(yǔ)大模型開(kāi)源歷程:internLM大模型發(fā)布-》全面商業(yè)、開(kāi)源支持8k語(yǔ)境全鏈路開(kāi)源體系》多模態(tài)預(yù)訓(xùn)練語(yǔ)料庫(kù)開(kāi)源發(fā)布-》1.1版本迭代升級(jí),開(kāi)源智能體框架支持語(yǔ)言模型到智能體升級(jí)轉(zhuǎn)換-》增強(qiáng)版發(fā)布開(kāi)源工具全線升級(jí)
書(shū)生.浦語(yǔ)大模型種類:1.輕量級(jí)(70億參數(shù),10000億數(shù)據(jù),8k長(zhǎng)對(duì)話能力,多個(gè)調(diào)用模板支持)2.中量級(jí)(200億參數(shù)降低耗時(shí)出結(jié)果速度變快,語(yǔ)料長(zhǎng)度變成16k)3.重量級(jí)(1230億模型參數(shù)支持,支持高精度api調(diào)用實(shí)現(xiàn)各類action的智能體),性能夠強(qiáng)
應(yīng)用上的一些特點(diǎn):自動(dòng)根據(jù)業(yè)務(wù)場(chǎng)景進(jìn)行判斷選擇模型,減少算力需求
開(kāi)源鏈路體系:1.2T多種類數(shù)據(jù)集
? 2.預(yù)訓(xùn)練-參數(shù)微調(diào)
? 3.支持低成本微調(diào)
? 4.支持部署性能高
? 5.性能復(fù)現(xiàn)語(yǔ)料庫(kù)豐富
? 6.支持多種智能體ACTION應(yīng)用
微調(diào):1.增量訓(xùn)練微調(diào)2.有監(jiān)督微調(diào),支持多種生態(tài)和算法適配多種硬件

浙公網(wǎng)安備 33010602011771號(hào)