大圓那些事

摘要： hbase-thrift項目是對HBase Thrift接口的封裝，屏蔽底層的細節，使用戶可以方便地通過HBase Thrift接口訪問HBase集群，同時基于此對C++客戶端讀寫的效率進行了簡單的測試。該項目目前基于的是HBase thrift接口，至于HBase 0.94版本中的HBase thrift2接口，后續再考慮進一步的支持。 閱讀全文

摘要： 最近完成了一個GitHub項目：Storm-HBase，該項目是Twitter Storm和Apache HBase的結合，它使用HBase cluster作為Storm的Spout數據源，目前只是初步實現，后續會進一步完善。 閱讀全文

摘要： 本文首先介紹了Storm的基本概念和數據流模型，然后結合一個典型應用場景來說明Storm支持Topology之間數據流訂閱的必要性，最后對比了Storm與另一個流處理系統在數據流模型上的區別之處。 閱讀全文

摘要： 近期在使用HBase Java Client連接HBase服務端創建Configuration對象時，遇到了hbase-default.xml file seems to be for and old version of HBase的異常，經過查找資料及閱讀HBase相關源碼，對這類異常的解決方法做一下總結。 閱讀全文

摘要： HTable和HTablePool都是HBase客戶端API的一部分，可以使用它們對HBase表進行CRUD操作。下面結合在項目中的應用情況，對二者使用過程中的注意事項做一下概括總結。 閱讀全文

摘要： 分布式RPC（distributed RPC，DRPC）用于對Storm上大量的函數調用進行并行計算過程。對于每一次函數調用，Storm集群上運行的拓撲接收調用函數的參數信息作為輸入流，并將計算結果作為輸出流發射出去。本文翻譯自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作為學習Storm DRPC的資料，轉載必須以超鏈接形式標明文章原始出處及本文翻譯鏈接。 閱讀全文

摘要： Storm中使用一種叫做TimeCacheMap的數據結構，用于在內存中保存近期活躍的對象，它的實現非常地高效，而且可以自動刪除過期不再活躍的對象。TimeCacheMap使用多個桶buckets來縮小鎖的粒度，以此換取高并發讀寫性能。 閱讀全文

摘要： 這里介紹Storm的一個常見模式——BasicBolt，用于實現簡單函數處理過程或過濾器功能，Storm中專門為這種模式封裝了相應接口：IBasicBolt。BaseBasicBolt等類實現了這一接口。 閱讀全文

摘要： Storm對流數據進行實時處理時，一種常見場景是批量一起處理一定數量的tuple元組，而不是每接收一個tuple就立刻處理一個tuple，這樣可能是性能的考慮，或者是具體業務的需要。下面是針對這種場景的一個示例代碼。 閱讀全文

摘要： Storm的另一種常見模式是對流式數據進行所謂“streaming top N”的計算，它的特點是持續的在內存中按照某個統計指標（如出現次數）計算TOP N，然后每隔一定時間間隔輸出實時計算后的TOP N結果。這里通過對storm-starter中的示例代碼剖析來介紹一種Storm中可擴展的求TOP N的方法。 閱讀全文