大圓那些事

摘要： 由于項目開發的需要，使用HBase作為數據統計應用的存儲系統，這里是一些經驗總結以及對于使用過程中存在問題的解決思路。 閱讀全文

摘要： 分布式文件系統KFS的MetaServer和Client采用服務器/客戶端模型，MetaServer和Client之間的通訊是通過RPC機制來實現的。這里介紹下KFS中MetaServer端的RPC實現機制。 閱讀全文

摘要： 最近在Linux環境下做C語言項目，由于是在一個原有項目基礎之上進行二次開發，而且項目工程龐大復雜，出現了不少問題，其中遇到最多、花費時間最長的問題就是著名的“段錯誤”（Segmentation Fault）。借此機會系統學習了一下，這里對Linux環境下的段錯誤做個小結，方便以后同類問題的排查與解決。 閱讀全文

摘要： 本文依次介紹了互聯網領域海量數據實時計算的基本概念、相關技術和產品以及一個簡單的應用實例。 閱讀全文

摘要： strace和gdb是Linux環境下的兩個常用調試工具，這里是個人在使用過程中對這兩個工具常用參數的總結，留作日后查看使用。 閱讀全文

摘要： 本文簡單概括總結了Linux下的兩個環境變量：LIBRARY_PATH和LD_LIBRARY_PATH，以及它們在使用上的區別。 閱讀全文

摘要： 上一篇博文對Hadoop的作業調度器進行了介紹，我們知道，JobTracker和TaskTracker是Hadoop作業調度過程中最核心的兩個部分，前者負責map/reduce作業的調度與分派，后者負責map/reduce作業的實際執行，它們之間通過RPC機制進行通訊。下面將對Hadoop 0.20.2版本中作業調度相關源碼進行分析，至于JobTracker和TaskTracker中與作業調度無關的源碼部分，并未進行詳細介紹。 閱讀全文

摘要： Hadoop作業調度器的設計采用的是插件機制，即作業調度器是動態加載的、可插拔的，同時第三方可以開發自己的作業調度器替代Hadoop默認的調度器。目前，Hadoop的作業調度器主要有以下三個：FIFO Scheduler、Capacity Scheduler、Fair Scheduler。這里對Hadoop作業調度器的基本原理進行介紹，然后就其存在的問題給出了自己的理解。 閱讀全文

摘要： KFS文件系統的MetaServer元數據的持久化采用的是checkpoint + log方式，下面將結合其源碼，對KFS MetaServer中元數據的持久化機制及其實現細節進行分析。 閱讀全文

摘要： KFS文件系統的MetaServer元數據管理采用的是B+樹方式，下面將結合其源碼，對KFS MetaServer中元數據的組織形式及有關實現細節進行分析。 閱讀全文