中文銳推榜的優(yōu)化

鄭昀@玩聚RT 20090615

中文銳推榜（原理很簡單，就是自動搜集中文世界微博客的銳推(轉(zhuǎn)發(fā))消息，語義計算消息之間的相似性，自動聚合一條消息被 Twitter和飯否用戶轉(zhuǎn)發(fā)的次數(shù)；轉(zhuǎn)發(fā)次數(shù)高的消息將登上熱榜）在6月9日加入飯否的合并統(tǒng)計之前，存在的老問題：

1、重復(fù)：發(fā)源自不同人的銳推，內(nèi)容大致是一件事情或一個鏈接，但由于措辭不同（漢語博大精深），甚至只是在最前面加了幾個字或者詭異的符號，然后只要轉(zhuǎn)發(fā)次數(shù)足夠多，就可以導(dǎo)致重復(fù)上榜；

    解決辦法：針對此問題，我們已經(jīng)建立了不少規(guī)則，盡可能地去除銳推消息中的標(biāo)點符號英文字母、各種格式各種習(xí)慣的轉(zhuǎn)發(fā)過程中用戶增加的評論。自然語言處理上，則清理消息中無意義的停止詞，如“的”“是”等等。但只能盡可能減少，并未徹底解決。

在 @NetPuter 的建議下，最近加入對飯否數(shù)據(jù)的統(tǒng)計。

之后常被投訴的問題：

1、還是重復(fù)問題；

2、部分知名ID過于頻繁上榜：尤其以飯否ID為主；

3、少量上榜消息不具有傳播性：即消息并不像玩聚RT所致力挖掘的那么“有趣”；

4、飯否的消息上榜過多：飯否的站方規(guī)范轉(zhuǎn)發(fā)行為，增加了轉(zhuǎn)發(fā)按鈕之后，降低了轉(zhuǎn)發(fā)行為的成本。

    解決辦法：針對2和3，玩聚RT增加了一個黑名單，專門收納那些有很多熱情粉絲的、消息卻不具有傳播性的ID。但考慮到無處不在的“馬太效應(yīng)”，名人ID的消息上榜多，是顯而易見的社會常態(tài)，不應(yīng)該被禁止或限制。只要符合“有趣”的特質(zhì)，那么即使是名人的消息，通過轉(zhuǎn)發(fā)次數(shù)足夠多證明了它的可傳播性，那么就應(yīng)該被傳播出去。畢竟，榜單追求的是“有趣”。當(dāng)初TechMeme的創(chuàng)始人Gabe非常強調(diào)的一點就是：“我希望能讓讀者感到有趣，同時也為不知名作者提供展示自己的舞臺”。如果榜單上全都是東東槍、連岳或艾未未的名人銳推，人們也會很快厭倦的，所以增加不知名微博客用戶的上榜幾率，才是我們要認真考慮的。熱門榜單相當(dāng)于給你五分鐘登上舞臺中央的機會，至于是否抓人，就要看你的自身魅力了。上了銳推榜，第一波可以讓至少兩、三千人看到，然后也許有近百人再轉(zhuǎn)發(fā)，按此估算，上榜的輻射面可能有近萬人。這能夠給不知名作者帶來不少訂閱者。

                  針對4，把來自twitter的消息上榜的閾值，與飯否的分開。飯否的上榜閾值要高得多。

                  針對1，@terryxxy 建議，對每一條已達到上榜資格的銳推消息，在準備上榜之前，可以與48小時內(nèi)的已上榜銳推進行相似性比較；如果此消息發(fā)現(xiàn)與之前的消息重復(fù)度大于85%，就不再上榜。但考慮到微博客用戶對漢語運用的隨意性，還是會存在一定判錯幾率的。

其他問題：

5、@easthero 認為飯否用戶和Twitter用戶的群體是完全不同的，Twitter上的更具有Geek氣質(zhì)。所以他認為需要把Twitter的銳推榜與飯否的徹底分開，不要混合在一起計算和傳播。

當(dāng)然，在@NetPuter 建議為飯否單獨建一個銳推榜時，我也是這么認為；飯否用戶質(zhì)量不如Twitter質(zhì)量高，所以它們的消息不能合并計算。

但，在做了一段時間的實驗后，我發(fā)現(xiàn)也不是這么絕對。

具有傳播特質(zhì)的銳推，和人性有關(guān)，與Geek無關(guān)。Geek也是人。

飯否和twitter上的能上榜的銳推消息本質(zhì)都是一樣，無非幾個命題：

    自由主義、科技、情色和爆炸性新聞。

你可以回到加入飯否之前（6月9日）的銳推榜，比如 http://rt.ju690.com/?v=new&d=7&p=page30 ，對，修改后面的p參數(shù)，翻到40、50頁看看，看和現(xiàn)在合并統(tǒng)計的有何區(qū)別呢？不還都是那些東西嗎？科技、自由、大事件、段子、情色。

以后再增加其他微博客服務(wù)時，只要調(diào)高或調(diào)低發(fā)源自它們的消息的上榜閾值，調(diào)整好黑名單，我認為可以合并統(tǒng)計。

鄭昀@玩聚RT 20090615