最老程序員閆濤

基于內容的推薦引擎有兩種實現途徑，一種是根據條目的元數據（可以將元數據理解為屬性），另一種是根據條目的文本描述信息。本系列中將先描述基于條目描述信息的全文檢索實現方式，然后描述基于元數據的內容推薦引擎實現方式。

對于基于條目文本描述信息的內容推薦引擎，目前有很多資料可以參考，基本步聚是先對文本內容進行分詞，包括提取出單詞、去掉常用詞如的地得、加入同意詞、對英語還有去掉復數形式和過去分詞形式等；第二步是計算各個詞在每篇文章中的出現頻率，以及在所有文章中的出現頻率，即TF/IDF；第三步計算文章向量；最后是利用自動聚類算法，對條目進行聚類，這樣就可以實現向用戶推薦同類產品的需求了。

但是在這里有一個非常重要的問題沒有解決，就是中文分詞的問題，這些文章中絕大部分都是以英文為背景的，而英文分詞方面，分出單詞很簡單，只需要空格作為分隔符就可以了，而中文中詞與詞之間沒有空格，其次是英文中單復數、過去分詞等比較多，需要還原成單數現在式，但是中文中這個問題基本不存在，再有就是英文需要在分詞后識別長的詞組，而中文這一步也不需進行。

針對以上這些難題，在我的項目中，采用了MMSeg4j中文分詞模塊，這個項目集成了據說是搜狗輸入法的10萬多詞庫（大家知道中文分詞的關鍵是中文詞庫）。

另外，我還希望中文分詞可以在全文檢索引擎和全文內容推薦引擎共用，由于全文檢索引擎采用了Apache Lucene 3.x版本，需要中文分詞模塊符合Lucene的體系架構，幸運的是MMSeg4j提供了Lucene所需的Tokenizer實現類，同時還需要重點解決如下問題：

• 由于打開索引文件比較慢，所以整個程序共享一個indexer和searcher
• 考慮到準實時性需求，采用了Lucene新版本中reopen機制，每次查詢前讀入索引增量
• 采用Lucene默鎖機制

在項目中我定義了全文檢索引擎類：

public class FteEngine {

　　public static void initFteEngine(String _indexPathname) {
　　　　indexPathname = _indexPathname;
　　}

　　public static FteEngine getInstance() { // Singleton模式
　　　　if (null == engine) {
　　　　　　engine = new FteEngine();
　　　　}
　　　　return engine;
　　}

　　public IndexWriter getIndexWriter() {
　　　　return writer;
　　}

　　public IndexSearcher getIndexSearcher() {
　　　　try {
　　　　　　IndexReader newReader = reader.reopen(); // 讀入新增加的增量索引內容，滿足實時索引需求
　　　　　　if (!reader.equals(newReader)) {
　　　　　　　　reader.close();
　　　　　　　　reader = newReader;
　　　　　　}
　　　　　　searcher = new IndexSearcher(reader);
　　　　} catch (CorruptIndexException e) { ....

　　　　} catch (IOException e) {....
　　　　}
　　　　return searcher;
　　}

　　public Analyzer getAnalyzer() {
　　　　return analyzer;
　　}

　　public void stop() {
　　　　try {
　　　　　　if (searcher != null) {
　　　　　　　　searcher.close();
　　　　　　}
　　　　　　reader.close();
　　　　writer.close();
　　　　indexDir.close();
　　　　} catch (IOException e) {....
　　　　}
　　}

　　private FteEngine() {
　　　　analyzer = new MMSegAnalyzer(); // 初始化中文分詞模塊，會讀入中文字典
　　　　IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_31, analyzer);
　　　　iwc.setOpenMode(OpenMode.CREATE_OR_APPEND);
　　　　try {
　　　　　　indexDir = FSDirectory.open(new File(indexPathname));
　　　　　　writer = new IndexWriter(indexDir, iwc); // writer和reader整個程序共用
　　　　　　reader = IndexReader.open(writer, true);
　　　　} catch (CorruptIndexException e) {......
　　　　} catch (LockObtainFailedException e) {......
　　　　} catch (IOException e) {.....

　　　　}
　　}
　　private static FteEngine engine = null;
　　private static String indexPathname = null;
　　private Directory indexDir = null;
　　private IndexWriter writer = null;
　　private IndexSearcher searcher = null;
　　private Analyzer analyzer = null;
　　private IndexReader reader = null;
}

具體中文分詞可以使用如下代碼：

FteEngine fteEngine = FteEngine.getInstance();
Analyzer analyzer = fteEngine.getAnalyzer();
String text = "測試2011年如java有意見 分岐其中華人民共合國，oracle咬死獵人的狗！";
TokenStream tokenStrm = analyzer.tokenStream("contents", new StringReader(text));
OffsetAttribute offsetAttr = tokenStrm.getAttribute(OffsetAttribute.class);
CharTermAttribute charTermAttr = tokenStrm.getAttribute(CharTermAttribute.class);
String term = null;
int i = 0;
int len = 0;
char[] charBuf = null;
try {
　　while (tokenStrm.incrementToken()) {
　　charBuf = charTermAttr.buffer();
　　for (i = (charBuf.length - 1); i >= 0; i--) {
　　　　if (charBuf[i] > 0) {
　　　　　　len = i + 1;
　　　　　　break;
　　　　}
　　}
　　//term = new String(charBuf, offsetAttr.startOffset(), offsetAttr.endOffset());
　　term = new String(charBuf, 0, offsetAttr.endOffset() - offsetAttr.startOffset());
　　System.out.println(term);
}
} catch (IOException e) {
　　// TODO Auto-generated catch block
　　e.printStackTrace();
}

打印的內容如下：

測試 2011 年 如 java 有 意見 分 岐 其中 華 人民 共 合 國 oracle 咬 死 獵人 的 狗

當我們在缺省詞庫中加入單詞：分岐 中華人民共合國后，那么分詞結果可以變為：

測試 2011 年 如 java 有 意見 分岐 其 中華人民共合國 oracle 咬 死 獵人 的 狗

由此可見，可以通過完善中文詞庫，得到越來越好的中文分詞效果。