Rain

摘要： 1 Groups 1.1 Definition and Basic Terms Given a set with a binary operation $ (G,\cdot) $, if it satisfies: Closure: for all $ a,b\in G $, $ a\cdot b\ 閱讀全文

摘要： 無(wú)論是康德、叔本華還是黑格爾，他們提出的所謂“體系”“理論”都是服務(wù)于現(xiàn)實(shí)（國(guó)家、階級(jí)）的假說(shuō)。 斯賓諾莎 斯賓諾莎是愛(ài)因斯坦最喜歡的哲學(xué)家，愛(ài)因斯坦本人也信奉斯賓諾莎的靜態(tài)的、自然的物理規(guī)則（即上帝本身）。 “一切都是決定好的”，可以說(shuō)他是后來(lái)機(jī)械決定論的奠基者。 康德 康德最著名的兩本書(shū)《純粹理 閱讀全文

摘要： 這是我在粗看土田知?jiǎng)t《現(xiàn)代文學(xué)理論》后的一些淺薄理解。內(nèi)容淺顯，請(qǐng)多指教。 1 傳統(tǒng)的閱讀方法 什么是傳統(tǒng)呢？比如一句話(huà)，一個(gè)意象，代表的是什么，就是什么；對(duì)于一個(gè)夢(mèng)，詳細(xì)地解釋前因后果，并嘗試緩解做夢(mèng)者的癥狀。 “我在一片模糊的森林中迷路了，四周都是低語(yǔ)。” 作為傳統(tǒng)的閱讀理解，我們會(huì)直接套用象征 閱讀全文

摘要： 這是一個(gè)蠻有趣的領(lǐng)域，旨在保留大部分自回歸效果的前提下，顯著降低推理時(shí)間（說(shuō)一下監(jiān)督學(xué)習(xí)一般用“預(yù)測(cè)”這種說(shuō)法，非監(jiān)督學(xué)習(xí)通常是“推理”）。 Paper 1: Non-Autoregressive Coarse-to-Fine Video Captioning (2021) 這篇論文提出了Coars 閱讀全文

摘要： Variational Autoencoder 的目的是將輸入數(shù)據(jù)映射成潛在分布（隱分布）。 什么是潛在分布？就是特征提取后的有效低維空間的概率分布。 VAE包括編碼器和解碼器。 編碼器負(fù)責(zé)將輸入數(shù)據(jù) \(\boldsymbol x\)（可能是高維向量）映射成低維的 \(\mu_{\boldsymb 閱讀全文

摘要： 比爾·蓋茨近期發(fā)表了一篇博客，其中談到Agents將會(huì)是LLM的未來(lái)方向。LLM是一個(gè)Decoder，是Agent的大腦。LLM和Agent的區(qū)別，正如GPT-4和ChatGPT的區(qū)別。 1 Intro 如圖所示： Agents具有運(yùn)用“Tools”的能力，可以調(diào)用外部api或沙盤(pán)來(lái)執(zhí)行代碼； Ag 閱讀全文

摘要： https://arxiv.org/pdf/2404.16130 往期的NaiveRAG基本都是顯式檢索，而GraphRAG通過(guò)知識(shí)圖譜增強(qiáng)了總結(jié)能力。 1 引入 RAG的向量查詢(xún)可以如下歸納： 索引階段：文檔先進(jìn)行分塊（可以劃分成統(tǒng)一大小的512token塊，也可以根據(jù)語(yǔ)義按句子劃分，如spaCy 閱讀全文

摘要： 對(duì)于連續(xù)的優(yōu)化問(wèn)題，典型的方法是梯度下降法；對(duì)于離散的優(yōu)化問(wèn)題，典型的方法是爬山法/退火法。 讓我們從一道簡(jiǎn)單的題目入手吧。 任務(wù)：生成能夠欺騙文本分類(lèi)模型的對(duì)抗性文本。 你需要對(duì)給定的positive、negative、neutral文本數(shù)據(jù)進(jìn)行微小擾動(dòng)，以確保模型對(duì)這些擾動(dòng)后的文本進(jìn)行錯(cuò)誤預(yù)測(cè)。 閱讀全文

摘要： 1 概述 關(guān)于Unity正文前，先大致整理一些預(yù)備內(nèi)容和框架。 Unity是一個(gè)平臺(tái)/引擎，有很多庫(kù)文件，開(kāi)發(fā)者需要做兩件事：利用Unity自帶的圖形化界面（Inspector面板）掛載調(diào)整；利用自己寫(xiě)的C#（Script腳本）調(diào)用庫(kù)文件實(shí)現(xiàn)邏輯。 一個(gè)Unity工程有多個(gè)場(chǎng)景（Scene），每個(gè)場(chǎng) 閱讀全文

摘要： 優(yōu)化一個(gè)LLM的表現(xiàn)有很多技巧，如Prompt Engineering（提示工程）、Fine Tuning（微調(diào)）、Retrieval Augmented Generation（檢索增強(qiáng)生成）等： 其中Fine Tuning有很多種，除了普通的微調(diào)，還包括Instruction Tuning（提高對(duì) 閱讀全文