sunshine丶23

摘要： 任務(wù)一： Leetcode 383 class Solution: def canConstruct(self, ransomNote: str, magazine: str) -> bool: cnt = Counter(magazine) for c in ransomNote: cnt[c] 閱讀全文

摘要： 該代碼結(jié)構(gòu)如下圖所示： 在initialize_megatron初始化megatron的過程中，有關(guān)于數(shù)據(jù)并行、流水線并行、張量并行的實現(xiàn)，簡介及其實現(xiàn)如下： 模型分布式環(huán)境初始化： 以兩臺分別有8個GPU服務(wù)器為例，訓(xùn)練具有12層的transformer layers， 圖一 圖二 本示例將模型縱 閱讀全文

摘要： W: Failed to fetch http://archive.ubuntu.com/ubuntu/dists/jammy/InRelease Temporary failure resolving 'archive.ubuntu.com' W: Failed to fetch http://a 閱讀全文

摘要： 前置環(huán)境：兩臺可以互通的centos服務(wù)器（服務(wù)器1、服務(wù)器2），docker，NVIDIA驅(qū)動 一、docker創(chuàng)建overlay共享網(wǎng)絡(luò) 1）選用服務(wù)器1作為manage節(jié)點進行初始化，執(zhí)行docker swarm init Swarm initialized: current node (ly 閱讀全文

摘要： 最近看到一篇推文是在不量化、不損失精度的情況下使用一張16G的顯卡推理70B的大模型。方案來自于kaggle的一個方案，具體流程為： 1.創(chuàng)建一個空的（例如，沒有權(quán)重的）模型 2.決定每一層將要去哪里（當(dāng)有多個設(shè)備可用時） 3.在內(nèi)存中加載其權(quán)重的一部分 4.在空模型中加載這些權(quán)重 5.將權(quán)重移動到 閱讀全文

摘要： Sentencepiece是google開源的文本Tokenzier工具，其主要原理是利用統(tǒng)計算法，在語料庫中生成一個類似分詞器的工具，外加可以將詞token化的功能；對比開源的分詞器，它會將頻繁出現(xiàn)的字符串作為詞，然后形成詞庫進行切分，所以它會切分的粒度會更大些。當(dāng)前各個大模型的分詞器基本都是基于 閱讀全文

摘要： 難點：由于langchain采用的是硬切分文檔的方式，導(dǎo)致文檔分割不夠準(zhǔn)確，例如：在文檔中若有分點描述的情況，對文檔硬性分割后，會把各個重點分隔開，導(dǎo)致后續(xù)向量召回時，片段是殘缺的。如： 如果硬性分割文檔，則在召回階段拿不到所有的通知信息。 解決方案：考慮使用語義分析的方式來分割文檔，BERT模型訓(xùn) 閱讀全文

摘要： 使用dataset = datasets.load_dataset("beyond/rlhf-reward-single-round-trans_chinese")下載數(shù)據(jù)集會報錯： FileNotFoundError: [Errno 2] No such file or directory: 'C 閱讀全文

摘要： 之前項目有聚類的一些需求，現(xiàn)大致對一些聚類算法總結(jié)下： 聚類是對一系列事物根據(jù)其潛在特征按照某種度量函數(shù)歸納成一個個簇的動作，使得簇內(nèi)數(shù)據(jù)間的相似度盡可能大，不同簇的數(shù)據(jù)相似度盡可能小。 通常聚類流程如下：數(shù)據(jù)獲取-數(shù)據(jù)預(yù)處理-模型選型-模型聚類調(diào)參-輸出結(jié)果。其中數(shù)據(jù)預(yù)處理、模型選型是流程中較為重 閱讀全文

摘要： 問題：BERT的表示本身存在塌縮的問題。通過對BERT詞表示的觀察，會發(fā)現(xiàn)整體呈錐形分布：高頻詞聚集在錐頭部，低頻詞分散在錐尾。又由于高頻詞本身是高頻的，因此會主要貢獻整個的句子表示，讓整體的相似度都很高。 解決思路： 對比學(xué)習(xí)，它是通過拉近相同樣本的距離、拉遠不同樣本的距離，來刻畫樣本本身的表示， 閱讀全文