劉超覺先

摘要： 一、文件的打開 1.1、客戶端 HDFS打開一個文件，需要在客戶端調用DistributedFileSystem.open(Path f, int bufferSize)，其實現(xiàn)為： public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFSDataInputStream( dfs.open(getPathName(f), bufferSize, verifyChecksum, statistics)); } 其中dfs為Distributed... 閱讀全文

摘要： 一、基本原理 有時候我們需要實現(xiàn)一個公共的模塊，需要對多個其他的模塊提供服務，最常用的方式就是實現(xiàn)一個Socket Server，接受客戶的請求，并返回給客戶結果。 這經(jīng)常涉及到如果管理多個連接及如何多線程的提供服務的問題，常用的方式就是連接池和線程池，基本流程如下： 首先服務器端有一個監(jiān)聽線程，不斷監(jiān)聽來自客戶端的連接。 當一個客戶端連接到監(jiān)聽線程后，便建立了一個新的連接。 監(jiān)聽線程將新建立的連接放入連接池進行管理，然后繼續(xù)監(jiān)聽新來的連接。 線程池中有多個服務線程，每個線程都監(jiān)聽一個任務隊列，一個建立的連接對應一個服務任務，當服務線程發(fā)現(xiàn)有新的任務的時候，便用此連接向客戶端提供服務。 一.. 閱讀全文

摘要： 在有關Lucene的問題(7)，討論了使用Lucene內(nèi)存索引和硬盤索引構建實時索引的問題。 然而有的讀者提到，如果涉及到文檔的刪除及更新，那么如何構建實時的索引呢？本節(jié)來討論這個問題。 1、Lucene刪除文檔的幾種方式 IndexReader.deleteDocument(int docID)是用 IndexReader 按文檔號刪除。 IndexReader.deleteDocuments(Term term)是用 IndexReader 刪除包含此詞(Term)的文檔。 IndexWriter.deleteDocuments(Term term)是用 IndexWriter 刪除包.. 閱讀全文

摘要： Lucene 原理與代碼分析系列文章已經(jīng)基本告一段落，可能問題篇還會有新的更新。完整版pdf可由以下鏈接下載。Lucene 原理與代碼分析完整版目錄如下：目錄目錄第一篇：原理篇第一章：全文檢索的基本原理一、總論二、索引里面究竟存些什么三、如何創(chuàng)建索引第一步：一些要索引的原文檔(Document)。第二步：將原文檔傳給分次組件(Tokenizer)。第三步：將得到的詞元(Token)傳給語言處理組件(Linguistic Processor)。第四步：將得到的詞(Term)傳給索引組件(Indexer)。1.利用得到的詞(Term)創(chuàng)建一個字典。2.對字典按字母順序進行排序。3.合并相同的詞(T 閱讀全文

摘要： 由于前一章所述的Lucene的事務性，使得Lucene可以增量的添加一個段，我們知道，倒排索引是有一定的格式的，而這個格式一旦寫入是非常難以改變的，那么如何能夠增量建索引呢？Lucene使用段這個概念解決了這個問題，對于每個已經(jīng)生成的段，其倒排索引結構不會再改變，而增量添加的文檔添加到新的段中，段之間在一定的時刻進行合并，從而形成新的倒排索引結構。 然而也正因為Lucene的事務性，使得Lucene的索引不夠實時，如果想Lucene實時，則必須新添加的文檔后IndexWriter需要commit，在搜索的時候IndexReader需要重新的打開，然而當索引在硬盤上的時候，尤其是索引非常大的時候 閱讀全文

摘要： 所謂事務性，本多指數(shù)據(jù)庫的屬性，包括ACID四個基本要素：原子性(Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久性（Durability）。 我們這里主要討論隔離性，Lucene的IndexReader和IndexWriter具有隔離性。 當IndexReader.open打開一個索引的時候，相對于給當前索引進行了一次snapshot，此后的任何修改都不會被看到。 僅當IndexReader.open打開一個索引后，才有可能看到從上次打開后對索引的修改。 當IndexWriter沒有調用Commit的時候，其修改的內(nèi)容是不能夠被看到的，哪怕... 閱讀全文

摘要： 1、抽象類Analyzer 其主要包含兩個接口，用于生成TokenStream： TokenStream tokenStream(String fieldName, Reader reader); TokenStream reusableTokenStream(String fieldName, Reader reader) ; 所謂TokenStream，后面我們會講到，是一個由分詞后的Token結果組成的流，能夠不斷的得到下一個分成的Token。 為了提高性能，使得在同一個線程中無需再生成新的TokenStream對象，老的可以被重用，所以有reusableTokenStream一說... 閱讀全文

摘要： Lucene學習總結之九：Lucene的查詢對象(1)http://www.rzrgm.cn/forfuture1978/archive/2010/05/19/1738803.htmlLucene學習總結之九：Lucene的查詢對象(2)http://www.rzrgm.cn/forfuture1978/archive/2010/05/19/1738804.htmlLucene學習總結之九：Lucene的查詢對象(3)http://www.rzrgm.cn/forfuture1978/archive/2010/05/19/1738805.html--------------- 閱讀全文

摘要： Lucene除了支持查詢語法以外，還可以自己構造查詢對象進行搜索。 從上一節(jié)的Lucene的語法一章可以知道，能與查詢語句對應的查詢對象有：BooleanQuery，F(xiàn)uzzyQuery，MatchAllDocsQuery，MultiTermQuery，MultiPhraseQuery，PhraseQuery，PrefixQuery，TermRangeQuery，TermQuery，WildcardQuery。 Lucene還支持一些查詢對象并沒有查詢語句與之對應，但是能夠實現(xiàn)相對高級的功能，本節(jié)主要討論這些高級的查詢對象。 它們中間最主要的一些層次結構如下，我們將一一解析。 Query B. 閱讀全文

摘要： 5、SpanQuery 所謂SpanQuery也即在查詢過程中需要考慮進Term的位置信息的查詢對象。 SpanQuery中最基本的是SpanTermQuery，其只包含一個Term，與TermQuery所不同的是，其提供一個函數(shù)來得到位置信息： public Spans getSpans(final IndexReader reader) throws IOException { return new TermSpans(reader.termPositions(term), term); } Spans有以下方法： next() 得到下一篇文檔號，不同的SpanQuery此方... 閱讀全文