來者可追

摘要： 共軛函數 1 基礎知識 定義1（共軛函數） 設 \(f: \mathbb{E} \to [-\infty, \infty]\) 是一個擴展實值函數。函數 \(f^{*}: \mathbb{E}^{*} \to [-\infty, \infty]\) 定義為： \[f^{*}(y) = \max_{x 閱讀全文

摘要： 優化問題中的最優性條件 一、基礎知識：無約束優化的最優性條件 1. 費馬最優性條件（Fermat's Optimality Condition） 定理1：設函數 \(f: \mathbb{E} \to (-\infty, \infty]\) 是一個適當的凸函數，那么 \(x^{*}\) 是 \(f( 閱讀全文

摘要： 不動點迭代(Fixed-point iteration) (不動點) $x$為單值算子$\mathbb{T}$的不動點，如果$$\mathbb{T} x =x$$ 記$\text{Fix} \mathbb{T}=\{x|x=\mathbb{T}x\}=(\mathbb{I}-\mathbb{T})^ 閱讀全文

摘要： 人生是用來體驗的，不是用來演繹完美的，我慢慢接受自己的遲鈍和平庸，允許自己出錯，允許自己而爾斷電，帶著遺憾拼命綻放，這是與自己達成和解的唯一辦法，希望大家能放下焦慮，和不完美的自己和解，然后去愛那個完整的自己。 閱讀全文

摘要： 輕舟已過萬重山，山外還有重重山。 閱讀全文

摘要： 可微凸優化臨近點梯度法 求解約束優化問題： \begin{align*} \mathop{min}\limits_{x} & \quad f(x)\\ s.t. & \quad x \in S \end{align*} 其中，$f$是可微凸函數，$S$是凸集合。這個問題等價于: \begin{ali 閱讀全文

摘要： 罰函數法 求解約束優化問題： \begin{align*} \mathop{min}\limits_{x} & \quad f(x)\\ s.t. & \quad x \in S \end{align*}其中，$f$是連續函數。可以采用罰函數法將約束優化問題轉變為無約束優化問題，具體方法是對目標函數 閱讀全文

摘要： 次梯度算法： 梯度下降法的迭代格式為$$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 但是對于不可微的凸函數，梯度并不存在，于是使用此梯度算法： $$x_{k+1}=x_k-\alpha_k g_k)$$其中$g_k\in \partial f(x_k)$ 次梯度算法的收斂 閱讀全文

摘要： 梯度下降法 對于無約束最優化問題：$$\mathop{min}_{x} f(x)$$其中$f$是可微函數,梯度下降法的更新方式如下: $$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 步長$\alpha_k$有多種選擇方式，普通的梯度法就選擇固定步長$\alpha$。 下面 閱讀全文

摘要： 共軛方向法: Def1(共軛)：給定一個對稱矩陣$Q$，如果向量$d_1,d_2$滿足：$$d_1^\top Q d_2=0$$，則稱$d_1,d_2$為$Q$正交，或關于$Q$共軛。 注：通常考慮$Q$是對稱正定的；如果$Q=I$，則共軛$\iff$正交；如果非零向量組$\{d_0,d_1\dot 閱讀全文