大圓那些事

摘要： 上一篇博文對Hadoop的作業調度器進行了介紹，我們知道，JobTracker和TaskTracker是Hadoop作業調度過程中最核心的兩個部分，前者負責map/reduce作業的調度與分派，后者負責map/reduce作業的實際執行，它們之間通過RPC機制進行通訊。下面將對Hadoop 0.20.2版本中作業調度相關源碼進行分析，至于JobTracker和TaskTracker中與作業調度無關的源碼部分，并未進行詳細介紹。 閱讀全文

摘要： Hadoop作業調度器的設計采用的是插件機制，即作業調度器是動態加載的、可插拔的，同時第三方可以開發自己的作業調度器替代Hadoop默認的調度器。目前，Hadoop的作業調度器主要有以下三個：FIFO Scheduler、Capacity Scheduler、Fair Scheduler。這里對Hadoop作業調度器的基本原理進行介紹，然后就其存在的問題給出了自己的理解。 閱讀全文