一葉知秋

摘要： 自注意力（Self-Attention）的計(jì)算復(fù)雜度問題 Local Attention 🌟 一、為什么需要 Local Attention？ 先回憶一下普通的 Self-Attention： 每個(gè)詞都要對(duì)序列中 所有其他詞 計(jì)算注意力權(quán)重。 如果句子長度是 n， 則計(jì)算量是 \(O(n^2)\) 閱讀全文

摘要： Sequence2Sequence Sequence-to-Sequence（簡稱 Seq2Seq） 是一種用于序列到序列（Sequence → Sequence）映射任務(wù)的深度學(xué)習(xí)模型結(jié)構(gòu)。 它最早由 Google 在 2014 年提出，用于 機(jī)器翻譯（Machine Translation），后 閱讀全文

摘要： 有些參數(shù)改變可能梯度很平滑，有些參數(shù)改變可能梯度很陡峭 怎么改變這個(gè)，使每個(gè)參數(shù)改變盡可能梯度都一樣呢 特征歸一化 對(duì)于每個(gè)維度i：均值：(\(m_i\))標(biāo)準(zhǔn)差：(\(\sigma_i\)) \(\widetilde{x}_i^r \leftarrow \frac{x_i^r - m_i}{\si 閱讀全文

摘要： 接CNN 如何解決一堆向量的問題？ 輸入 一個(gè)單詞一個(gè)編碼，一句話是一堆向量 聲音信號(hào)是一堆向量 一個(gè)圖也是一堆向量 輸出 輸入多少，輸出多少（Sequence labeling） 輸入很多，輸出一個(gè) 輸入很多，但不知道輸出多少，讓機(jī)器自己決定 輸入多少，輸出多少（Sequence labeling 閱讀全文

摘要： CNN = Convolutional Neural Network（卷積神經(jīng)網(wǎng)絡(luò)） 👉 一種專門用于處理具有網(wǎng)格結(jié)構(gòu)數(shù)據(jù)（例如圖像）的深度學(xué)習(xí)模型。 核心思想是通過卷積層（Convolution）自動(dòng)提取特征，而不是人工設(shè)計(jì)特征。 🔹 基本結(jié)構(gòu)： 輸入層：輸入圖像（如 28×28×3）。 卷積 閱讀全文

摘要： 1.1 公式表達(dá) 顯示 代碼 行內(nèi)公式 $數(shù)學(xué)公式$ 獨(dú)立公式 $$數(shù)學(xué)公式$$ 1.2 上下標(biāo) 顯示 代碼 $x^2$ $x^2$ $x_2$ $x_2$ 1.3 括號(hào) 顯示 代碼 $\underbrace{yyyy}_{ \text{xxx} }$ $\underbrace{yyyy}_{ \t 閱讀全文

摘要： 模型復(fù)雜程度 一、常見衡量指標(biāo) 參數(shù)數(shù)量（Number of Parameters） 模型包含的可學(xué)習(xí)參數(shù)越多，復(fù)雜度越高。 例如： 線性回歸：參數(shù)個(gè)數(shù) = 特征維數(shù) + 1 深度神經(jīng)網(wǎng)絡(luò)：每層權(quán)重矩陣大小 × 層數(shù) 例子：ResNet-18（約1100萬參數(shù)） vs. GPT-3（1750億參數(shù)） 閱讀全文

摘要： “機(jī)器學(xué)習(xí)分類”（Machine Learning Classification）是機(jī)器學(xué)習(xí)中的一個(gè)監(jiān)督學(xué)習(xí)任務(wù)，它的目標(biāo)是讓模型根據(jù)輸入數(shù)據(jù)預(yù)測(cè)所屬的類別（class）或標(biāo)簽（label）。簡單來說，就是“根據(jù)已知樣本的經(jīng)驗(yàn)，判斷新樣本屬于哪一類”。 🧠 一、分類的基本概念 概念 說明 輸入（F 閱讀全文

摘要： Adaptive Learning Rate（自適應(yīng)學(xué)習(xí)率） Adaptive Learning Rate（自適應(yīng)學(xué)習(xí)率） 是指在模型訓(xùn)練過程中，學(xué)習(xí)率會(huì)根據(jù)參數(shù)更新的反饋?zhàn)詣?dòng)調(diào)整，而不是使用一個(gè)固定值。其核心思想是： 👉 不同參數(shù)或不同訓(xùn)練階段，最優(yōu)的學(xué)習(xí)率應(yīng)該不同。 當(dāng) Loss 不在下降，G 閱讀全文

摘要： 三個(gè)臨界點(diǎn) 一、critical point（臨界點(diǎn) / 駐點(diǎn)） 在多元函數(shù) $f(x1,x2,…,xn$)中， 臨界點(diǎn)（critical point） 是指： $$?f(x)=0$$ 也就是所有偏導(dǎo)數(shù)都為 0 的點(diǎn)。 👉 這些點(diǎn)可能是： 局部極小值點(diǎn)（local minimum） 局部極大值點(diǎn)（ 閱讀全文