摘要： MCP MCP網(wǎng)站 Agent工具 Langchain cherry studio Prompt Prompt優(yōu)化 閱讀全文

摘要： excel2latex:在excel中編輯表格，放到latex中。 latex-code:在latex中編輯代碼 閱讀全文

摘要： 學(xué)習(xí)網(wǎng)站 這里會(huì)記錄一些高質(zhì)量的機(jī)器學(xué)習(xí)的網(wǎng)站。 國外： investopedia：看內(nèi)容是一個(gè)投資網(wǎng)站，但是仍然看到一些技術(shù)文章。 medium：國外非常高質(zhì)量的技術(shù)網(wǎng)站（細(xì)節(jié)講的很多），有些是收費(fèi)的。 HuggingFace-blog：HuggingFace的博客社區(qū)，中英文都有，介紹也很詳細(xì)。 閱讀全文

摘要： 博客資源 用于復(fù)習(xí)和鞏固基礎(chǔ)知識(shí)。 一、Transformer系列，早期論文： 經(jīng)典文章的transformers的blog huggingface的教程 機(jī)器學(xué)習(xí)、深度學(xué)習(xí) 線性代數(shù) word2vec AUC-ROC 二、論文配色網(wǎng)站 知乎網(wǎng)站 自定義色彩配置:colordot 色彩組配置:top 閱讀全文

摘要： 需求： 在home\[username]下已經(jīng)存在一個(gè)linux用戶，需要把他的文件移動(dòng)到另一個(gè)磁盤下，并且需要登錄時(shí)能夠進(jìn)入到新移動(dòng)的目錄下，而不是源目錄。 大模型的prompt如下： linux目錄home/lwx是用戶lwx的默認(rèn)登錄位置，現(xiàn)在我需要將文件移動(dòng)到home/dell/data/l 閱讀全文

摘要： 1.錯(cuò)誤 File "/usr/bin/quirks-handler", line 26, in <module> import Quirks.quirkapplier File "/usr/lib/python3/dist-packages/Quirks/quirkapplier.py", lin 閱讀全文

摘要： 背景 在SelfLLM項(xiàng)目中發(fā)現(xiàn)了很多微調(diào)大模型的項(xiàng)目。微調(diào)語言大模型的很多了，微調(diào)多模態(tài)模型的還是較少。這里有幾個(gè)例子，可以很好的參考一下： 微調(diào)qwen Llava 這里做一下總結(jié)，使用float16加載模型，再配上Lora，可以在4090*24G（單卡）上微調(diào)7B的模型。7B以上的模型，需要多 閱讀全文

摘要： 背景 需要對3B模型進(jìn)行蒸餾，一張4090的卡無法完成實(shí)驗(yàn)。完成這個(gè)實(shí)驗(yàn)的前提是需要兩張卡，一張用來加載學(xué)生模型，一張用來加載教師模型。 多卡使用 這里的多卡使用并不是像以往的方式，使用dataloaderparallel等方式，這種是數(shù)據(jù)并行的策略，不適合蒸餾的場景，因?yàn)檎麴s是一個(gè)模型做推理，一個(gè) 閱讀全文

摘要： 背景 在使用Llama-3.2-1B時(shí)遇到一個(gè)關(guān)于pad_tokens經(jīng)驗(yàn)不足的bug。沒有指定pad_token的時(shí)候分詞器會(huì)報(bào)錯(cuò)，這個(gè)使用有以下兩種解決策略： 配一個(gè)新的token。 tokenizer.add_special_tokens({'pad_token': '[PAD]'}) mod 閱讀全文

摘要： 背景 這里記錄一下從HuggingFace上下載Llama模型的流程，方便后續(xù)使用。 注冊賬號(hào) 目前Llama的模型是需要提交申請才可以使用，因此需要先注冊HuggingFace的賬號(hào)。這里有兩點(diǎn)需要注意。 用戶名會(huì)用來登錄：用戶名會(huì)用作后續(xù)下載模型使用，因此需要使用一個(gè)自己方便記憶的名稱。 用戶名 閱讀全文

摘要： 工具包 hyperref hyperref 包提供了多個(gè)顏色選項(xiàng)來定制文檔中超鏈接的顏色： colorlinks=true：啟用彩色鏈接（而不是邊框）。 linkcolor：內(nèi)部鏈接的顏色（例如，章節(jié)、節(jié)標(biāo)題等之間的鏈接）。 anchorcolor：錨點(diǎn)的顏色（定義了但未被點(diǎn)擊的鏈接）。 filec 閱讀全文

摘要： 背景 在模型訓(xùn)練過程中，需要記錄很多數(shù)據(jù)，例如損失值，評(píng)價(jià)指標(biāo)，使用的參數(shù)等，這里介紹一下可以使用的工具，方便后續(xù)使用。 工具 Pandas + openpyxl：pandas 是一個(gè)強(qiáng)大的數(shù)據(jù)處理庫，而 openpyxl 是一個(gè)用于讀寫 Excel 文件的庫。你可以使用 pandas 來創(chuàng)建和操作 閱讀全文