Skeinz

摘要： 本文首先講述了C/C++項目構(gòu)建原理，然后通過在Windows和Linux操作系統(tǒng)上實踐，提供了CMake構(gòu)建C/C++項目的基本范式。 閱讀全文

摘要： 激活函數(shù)總結(jié) 1 統(tǒng)一數(shù)學(xué)表達(dá) Hadamard product或element-wise product 多見\(\odot\)或\(\circ\)。在GLU論文中：\(\otimes\) is the element-wise product between matrices. ?由于在數(shù)學(xué)上\ 閱讀全文

摘要： 優(yōu)化算法——SGD、Momentum、Adagrad、RMSprop、Adam、AdamW 統(tǒng)一數(shù)學(xué)表達(dá)：設(shè)損失函數(shù)為\(\mathcal{L}(\theta)\)，學(xué)習(xí)率為\(\eta\)。 每次迭代僅使用一個隨機(jī)小批量（mini-batch）數(shù)據(jù)計算梯度。 從訓(xùn)練集中采樣包含小批量\(m\)個樣 閱讀全文