劉超覺先

摘要： 我們來看最復雜的部分，就是Term Dictionary和Term Index文件，Term Dictionary文件的后綴名為tim，Term Index文件的后綴名是tip，格式如圖所示。Term Dictionary文件首先是一個Header，接下來是PostingsHeader，這兩個的格式... 閱讀全文

摘要： 1. 定長編碼最容易想到的方式就是常用的普通二進制編碼，每個數值占用的長度相同，都占用最大的數值所占用的位數，如圖所示。這里有一個文檔ID列表，254,507,756,1007，如果按照二進制定長編碼，需要按照最大值1007所占用的位數10位進行編碼，每個數字都占用10位。和詞典的格式設計中順序列表... 閱讀全文

摘要： 詞典的格式設計詞典中所保存的信息主要是三部分：Term字符串Term的統計信息，比如文檔頻率(Document Frequency)倒排表的位置信息其中Term字符串如何保存是一個很大的問題，根據上一章基本原理的表述中，我們知道，寫入文件的Term是按照字典順序排好序的，那么如何將這些排好序的Ter... 閱讀全文

摘要： Booting and Shutdown 閱讀全文

摘要： Lucene應用開發揭秘華章培訓網地址：http://www.hztraining.com/bbs/showtopic-1954.aspxChinaPub地址：http://product.china-pub.com/3502099&ref=xiliegoumai注意事項：由于本人是首次錄制此類視頻，不完美之處敬請諒解此系列課程主要包涵三大部分，一是搜索引擎的原理，二是lucene的深入解析及高級特性，三是實時搜索分布式搜索的框架解析及代碼實現對于搜索引擎的原理部分，理論講解比較多，有的部分內容較少，處于完整性的需要，還是作為單獨的一節，可能視頻時間較短，好在視頻是分節銷售的，本人已經 閱讀全文

摘要： 一、總體架構 Zoie是linkedin公司基于Lucene實現的實時搜索引擎系統，按照其官方wiki的描述為： http://snaprojects.jira.com/wiki/display/ZOIE/Overview Zoie is a realtime indexing and search system, and as such needs to have relatively close coupling between the logically distinct Indexing and Searching subsystems: as soon as a document m 閱讀全文

摘要： Hadoop 學習總結之一：HDFS簡介Hadoop學習總結之二：HDFS讀寫過程解析Hadoop學習總結之三：Map-Reduce入門Hadoop學習總結之四：Map-Reduce的過程解析在使用hadoop的時候，可能遇到各種各樣的問題，然而由于hadoop的運行機制比較復雜，因而出現了問題的時候比較難于發現問題。 本文欲通過某種方式跟蹤Hadoop的運行痕跡，方便出現問題的時候可以通過這些痕跡來解決問題。 一、環境的搭建 為了能夠跟蹤這些運行的痕跡，我們需要搭建一個特殊的環境，從而可以一步步的查看上一節提到的一些關鍵步驟所引起的變化。 我們首先搭建一個擁有一個NameNode(namen 閱讀全文

摘要： 轉者注：本來想在Hadoop學習總結系列詳細解析HDFS以及Map-Reduce的，然而查找資料的時候，發現了這篇文章，并且發現caibinbupt已經對Hadoop的源代碼已經進行了詳細的分析，推薦大家閱讀。 轉自http://blog.csdn.net/HEYUTAO007/archive/2010/07/10/5725379.aspx 參考： 1 caibinbupt的源代碼分析http://caibinbupt.javaeye.com/ 2 coderplay的avaeye http://coderplay.javaeye.com/blog/295097 http://coderpla 閱讀全文

摘要： 一、客戶端 Map-Reduce的過程首先是由客戶端提交一個任務開始的。 提交任務主要是通過JobClient.runJob(JobConf)靜態函數實現的： public static RunningJob runJob(JobConf job) throws IOException { //首先生成一個JobClient對象 JobClient jc = new JobClient(job); …… //調用submitJob來提交一個任務 running = jc.submitJob(job); JobID jobId = running.getID(); …… ... 閱讀全文

摘要： 1、Map-Reduce的邏輯過程 假設我們需要處理一批有關天氣的數據，其格式如下： 按照ASCII碼存儲，每行一條記錄 每一行字符從0開始計數，第15個到第18個字符為年 第25個到第29個字符為溫度，其中第25位是符號+/- 0067011990999991950051507+0000+ 0043011990999991950051512+0022+ 0043011990999991950051518-0011+ 0043012650999991949032412+0111+ 0043012650999991949032418+0078+ 00670119909999919370... 閱讀全文