立冬以東

摘要： 1，挑選校準(zhǔn)數(shù)據(jù)集，如測試集，bad case數(shù)據(jù) 2，每層量不量化對最后一層輸出的cos影響，影響大的，設(shè)置成fp16或者int16 3，部分cos較低的層，想辦法從源頭提高cos，如加上一個BN，換上adam優(yōu)化器，而不是adamw 4，brecq/qdrop，或者we，或者聯(lián)合使用 6，多分支 閱讀全文