Orion's Blog

摘要： 我們在上一篇博客中介紹了數(shù)值優(yōu)化算法的歷史發(fā)展、分類及其收斂性/復(fù)雜度分析基礎(chǔ)。本篇博客我們重點(diǎn)關(guān)注一階確定性優(yōu)化算法及其收斂性分析。梯度下降法的基本思想是：最小化目標(biāo)函數(shù)在當(dāng)前迭代點(diǎn)處的一階泰勒展開，從而近似地優(yōu)化目標(biāo)函數(shù)本身。具體地，對函數(shù) ??:???→? ，將其在第 t 輪迭代點(diǎn) ????處求解最小化問題。梯度下降法有兩個局限，一是只適用于無約束優(yōu)化問題，二是只適用于梯度存在的目標(biāo)函數(shù)。投影次梯度法可以解決梯度下降法的這兩個局限性。 閱讀全文