特征融合

特征融合通常是指將不同層次的feature map進(jìn)行整合, 以便在檢測(cè)head能利用不同尺寸的信息. 特征融合手段包括:

1. concat 拼接
2. FPN 特征金字塔網(wǎng)絡(luò)
3. BiFPN 雙向特征金字塔網(wǎng)絡(luò)
4. SCP 結(jié)構(gòu)單元: 這些結(jié)構(gòu)單元通過(guò)卷積核歸一化操作完成特征優(yōu)化, 減少計(jì)算量
5. 注意力機(jī)制(如CBAM和SE等), 注意力機(jī)制可以幫助模型關(guān)注更重要的特征區(qū)域, 從而提供特征融合的效果.

雙向金字塔結(jié)構(gòu)代碼及文章

• YOLOv8主干網(wǎng)絡(luò)改進(jìn) 添加加權(quán)雙向金字塔結(jié)構(gòu)的特征加強(qiáng)模塊BiFPN https://zhuanlan.zhihu.com/p/674887344,支持2和3個(gè)input的合并.
• YOLOv8改進(jìn)-bifpn: https://blog.csdn.net/weixin_45303602/article/details/132135514, 支持2和3個(gè)input的合并.
• YOLOv8最新改進(jìn)系列：YOLOv8融合BiFPN網(wǎng)絡(luò)，親測(cè)顯著漲點(diǎn)！ https://blog.csdn.net/weixin_51692073/article/details/132594602, 僅支持2個(gè)input的合并.

在yolo中引入雙向金字塔結(jié)構(gòu), 使得特征融合時(shí)候更加關(guān)注小尺寸貢獻(xiàn)的特征, 可以增強(qiáng)小目標(biāo)檢測(cè)能力, yaml文件改動(dòng)非常簡(jiǎn)單, 只需要使用 BiFPN_Concat 替換原來(lái)的 Concat 即可.