基于機器學習與深度學習的貸款批準預測
由于我做的是產品報價,要的是對產品價格的一個預測,對應的是回歸任務,基線模型得從適合處理回歸任務的算法模型里找,然后就去deepseek去搜了一下,發現回歸任務的常見算法和應用場景有:
- 線性回歸【二元線性回歸和多元線性回歸】,比如說,二元線性回歸有:預測房價y基于房屋面積x。多元線性回歸:預測房價y基于房屋面積x和房屋地段z。
2.多項式回歸:
3.決策樹回歸:預測銷售額y基于歷史數據(a,b,c,d...)
4.隨機森林回歸:查了一下,隨機森林是一個集成學習算法,說要構建多顆決策樹并平均他們的預測結果來提高準確率????
5:支持向量機回歸:
6:神經網絡回歸:處理復雜非線性關系
總結:太多了,不懂啥意思,于是我又看了看昨天找的那個項目——《基于機器學習與深度學習的貸款批準預測》
項目地址:https://www.heywhale.com/mw/project/670f61d10ebb9f7a69c5144c
他的項目思路是:
1.他的數據來源是某場競賽數據;
2.對數據進行一致性檢驗:對數據進行了KS檢驗和卡方檢驗,主要目的是發現數據中的不一致、矛盾點,比如產品價格是十萬,產品價格比產品成本還低等等。然后他會這些不一致的矛盾數據進行處理。處理方法好像有正則法,這塊還得再看看,看他用沒用數據處理方法,還是說,KS檢驗和卡方檢驗完成后,他不一致的數據會自動處理
3.對貸款批準的影響因素進行分析。他用到了斯皮爾曼相關性分析和卡方檢驗。
4.重點在這里。他用了四個處理回歸任務的算法模型:邏輯回歸、隨機森林、多層感知機、深度神經網絡。這幾個算法模型都能用來處理回歸任務。他選的是深度神經網絡模型,他得出的結論是:各個模型的預測結果都不錯,通過SHAP值分析,發現深度神經網絡中,重要的特征因素是貸款信用等級、借款人年收入、貸款的利率。
我要參考他的思路的話,我直接選深度神經網絡模型,然后和其他三個模型的預測結果做對比,說明我的準確率F1值比他們高。當然,這是個大致思路,我看不同模型,他們不都是用F1值。另外,我覺得直接用深度神經網絡模型還不行,還得在深度神經網絡模型基礎上,加一些別的算法,對他進行優化,比如優化他的過擬合問題等等。
- [百科]
1.線性回歸算法——是一種統計方法,用于建模和分析兩個或多個變量之間的線性關系。它通過擬合一條直線(或超平面)來預測因變量(目標變量)與一個或多個自變量(特征)之間的關系。
![]()
2.多層感知機(Multilayer Perceptron, MLP)是一種前饋人工神經網絡(Feedforward Artificial Neural Network),由多個神經元層組成,能夠處理復雜的非線性關系。它是深度學習的基礎模型之一,廣泛應用于分類和回歸任務。


3.SHAP值的作用:
判斷特征重要性:通過SHAP值的絕對值大小,評估每個特征對模型預測的總體貢獻。本文作者通過SHAP值分析,發現深度神經網絡中,重要的特征因素是貸款信用等級、借款人年收入、貸款的利率。
判斷特征交互作用:分析特征之間的交互作用,理解他們如何共同影響預測。這一點可以用在我的報價模型里,去判斷匯率、國際事件、原材料市場價、運費等因素,他們之間有沒有相互作用影響。


浙公網安備 33010602011771號