mengrennwpu

摘要： 本文主要是通過Scrapegraph-ai集成gpt3.5實(shí)現(xiàn)一個(gè)簡單的網(wǎng)頁爬取并解析的demo應(yīng)用，其中涉及到gpt3.5免費(fèi)申請(qǐng)，Scrapegraph-ai底層原理簡介，demo應(yīng)用源碼等。 閱讀全文

摘要： 本文主要是使用unsloth框架針對(duì)Qwen1.5的高效微調(diào)實(shí)驗(yàn)，提供了詳細(xì)的對(duì)比代碼以及不同維度的對(duì)比分析結(jié)果。 閱讀全文

摘要： 本文主要是使用unsloth框架針對(duì)llama3的高效微調(diào)實(shí)驗(yàn)，提供了詳細(xì)的對(duì)比代碼以及不同維度的對(duì)比分析結(jié)果。 閱讀全文

摘要： 本文主要是針對(duì)開源星火13B的顯存及內(nèi)存占用過大的一個(gè)代碼優(yōu)化。核心思想是使用CPU預(yù)加載模型，再轉(zhuǎn)換至GPU。 閱讀全文

摘要： 本文主要是針對(duì)KBQA方案基于LLM實(shí)現(xiàn)存在的問題進(jìn)行優(yōu)化，主要涉及到圖譜存儲(chǔ)至Es，且支持Es的向量檢索，還有解決了一部分基于屬性值倒查實(shí)體的場景，且效果相對(duì)提升。 閱讀全文

摘要： 將傳統(tǒng)KBQA中的部分模塊，如NLU、指代消解、實(shí)體對(duì)齊等任務(wù)，完全由LLM實(shí)現(xiàn) 閱讀全文

摘要： 此文是本qiang~針對(duì)大語言模型的MoE的整理，包括原理、流程及部分源碼 閱讀全文

摘要： 此文是本qiang~針對(duì)大語言模型的DPO算法的整理，包括原理、流程及部分源碼。 閱讀全文

摘要： 1. 背景 本qiang~這段時(shí)間調(diào)研了LLM上下文擴(kuò)展的問題，并且實(shí)打?qū)嵉倪\(yùn)行了幾個(gè)開源的項(xiàng)目，所謂實(shí)踐與理論相結(jié)合嘛！ 此文是本qiang~針對(duì)上下文擴(kuò)展問題的總結(jié)，包括解決方案的整理概括，文中參考了多篇有意義的文章，他山之石可以攻玉。 大語言模型的擴(kuò)展有諸多意義，如進(jìn)行更長的會(huì)話、總結(jié)更長的文 閱讀全文

摘要： LLM復(fù)讀機(jī)產(chǎn)生的原因以及對(duì)應(yīng)的解決方案 閱讀全文