摘要：
一淘網(wǎng)（www.etao.com）于2010年10月9日10:39正式上線，很多同學和同行對一淘的系統(tǒng)架構(gòu)和面臨的關(guān)鍵技術(shù)問題都很感興趣，這篇短文希望能給予簡要的介紹。系統(tǒng)架構(gòu)一淘的系統(tǒng)架構(gòu)如上圖所示。可以看到，一淘有三個數(shù)據(jù)來源：互聯(lián)網(wǎng)、外部合作方和淘寶主站。其中，互聯(lián)網(wǎng)數(shù)據(jù)通過crawl的方式獲得，而后兩者則通過feed的方式提供。抓取系統(tǒng)的功能包括：網(wǎng)頁抓取、抓取調(diào)度、域名解析、死鏈檢測、JavaScript執(zhí)行等。目前，一淘的資訊、話題、問答combo中的大部分數(shù)據(jù)都是通過抓取系統(tǒng)從互聯(lián)網(wǎng)獲得的。它是一淘一個重要的“原料廠”。離線處理系統(tǒng)是一個功能眾多、可靈活定制的Pipeline，其 閱讀全文
posted @ 2011-09-01 15:34
搏擊的小船
閱讀(2127)
評論(0)
推薦(0)
浙公網(wǎng)安備 33010602011771號