摘要： 
在之前的博客中我們提到過，設l為在標簽Y上定義的0-1多分類棄權損失的代理損失，則我們可以在此基礎上進一步定義棄權代理損失L。在這篇博客中，讓我們把注意力轉移一個新的方向——代理損失函數的泛化誤差界（generalization error gap）。差值R_L(hat{h}) - widehat{R}_L(hat{h})被稱為泛化差距（generalization gap），刻畫了學習算法輸出假設的泛化能力。證明學習算法的泛化界（generalization bound）即為證明其泛化差距被某個大致形如epsilon = O(C(H)/m)的項給界定，其中C(H)為假設空間H的模型復雜度，m為樣本個數。按照經典統計學習理論，一般假設空間H的模型復雜度越低，樣本個數m越多，學習算法的泛化性能越好。證明泛化界的問題可以轉化為證明經驗過程有界。 閱讀全文
在之前的博客中我們提到過，設l為在標簽Y上定義的0-1多分類棄權損失的代理損失，則我們可以在此基礎上進一步定義棄權代理損失L。在這篇博客中，讓我們把注意力轉移一個新的方向——代理損失函數的泛化誤差界（generalization error gap）。差值R_L(hat{h}) - widehat{R}_L(hat{h})被稱為泛化差距（generalization gap），刻畫了學習算法輸出假設的泛化能力。證明學習算法的泛化界（generalization bound）即為證明其泛化差距被某個大致形如epsilon = O(C(H)/m)的項給界定，其中C(H)為假設空間H的模型復雜度，m為樣本個數。按照經典統計學習理論，一般假設空間H的模型復雜度越低，樣本個數m越多，學習算法的泛化性能越好。證明泛化界的問題可以轉化為證明經驗過程有界。 閱讀全文
posted @ 2025-08-04 17:36
orion-orion
閱讀(220)
評論(0)
推薦(1)
浙公網安備 33010602011771號