本人微信公眾號，歡迎掃碼關(guān)注！

從Hadoop框架討論大數(shù)據(jù)生態(tài)

1、Hadoop是什么

1）Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)

2）主要解決，海量數(shù)據(jù)的存儲和海量數(shù)據(jù)的分析計算問題。

3）廣義上來說，HADOOP通常是指一個更廣泛的概念——HADOOP生態(tài)圈

2、Hadoop發(fā)展歷史

1）Lucene--Doug Cutting開創(chuàng)的開源軟件，用java書寫代碼，實現(xiàn)與Google類似的全文搜索功能，它提供了全文檢索引擎的架構(gòu)，包括完整的查詢引擎和索引引擎

2）2001年年底成為apache基金會的一個子項目

3）對于大數(shù)量的場景，Lucene面對與Google同樣的困難

4）學(xué)習(xí)和模仿Google解決這些問題的辦法 ：微型版Nutch

5）可以說Google是hadoop的思想之源(Google在大數(shù)據(jù)方面的三篇論文)

• GFS --->HDFS
• Map-Reduce --->MR
• BigTable --->Hbase

6）2003-2004年，Google公開了部分GFS和Mapreduce思想的細(xì)節(jié)，以此為基礎(chǔ)Doug Cutting等人用了2年業(yè)余時間實現(xiàn)了DFS和Mapreduce機制，使Nutch性能飆升

7）2005 年Hadoop 作為 Lucene的子項目 Nutch的一部分正式引入Apache基金會。2006 年 3 月份，Map-Reduce和Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中

8）名字來源于Doug Cutting兒子的玩具大象

9）Hadoop就此誕生并迅速發(fā)展，標(biāo)志這云計算時代來臨

3、Hadoop三大發(fā)行版本

Apache、Cloudera、Hortonworks

1）Apache版本最原始（最基礎(chǔ)）的版本，對于入門學(xué)習(xí)最好。

2）Cloudera在大型互聯(lián)網(wǎng)企業(yè)中用的較多。

• 2008年成立的Cloudera是最早將Hadoop商用的公司，為合作伙伴提供Hadoop的商用解決方案，主要是包括支持、咨詢服務(wù)、培訓(xùn)。
• 2009年Hadoop的創(chuàng)始人Doug Cutting也加盟Cloudera公司。Cloudera產(chǎn)品主要為CDH，Cloudera Manager，Cloudera Support
• CDH是Cloudera的Hadoop發(fā)行版，完全開源，比Apache Hadoop在兼容性，安全性，穩(wěn)定性上有所增強
• Cloudera Manager是集群的軟件分發(fā)及管理監(jiān)控平臺，可以在幾個小時內(nèi)部署好一個Hadoop集群，并對集群的節(jié)點及服務(wù)進(jìn)行實時監(jiān)控。Cloudera Support即是對Hadoop的技術(shù)支持。
• Cloudera的標(biāo)價為每年每個節(jié)點4000美元。Cloudera開發(fā)并貢獻(xiàn)了可實時處理大數(shù)據(jù)的Impala項目。

3）Hortonworks文檔較好。

• 2011年成立的Hortonworks是雅虎與硅谷風(fēng)投公司Benchmark Capital合資組建。
• 公司成立之初就吸納了大約25名至30名專門研究Hadoop的雅虎工程師，上述工程師均在2005年開始協(xié)助雅虎開發(fā)Hadoop，貢獻(xiàn)了Hadoop80%的代碼。
• 雅虎工程副總裁、雅虎Hadoop開發(fā)團隊負(fù)責(zé)人Eric Baldeschwieler出任Hortonworks的首席執(zhí)行官。
• Hortonworks的主打產(chǎn)品是Hortonworks Data Platform（HDP），也同樣是100%開源的產(chǎn)品，HDP除常見的項目外還包括了Ambari，一款開源的安裝和管理系統(tǒng)。
• HCatalog，一個元數(shù)據(jù)管理系統(tǒng)，HCatalog現(xiàn)已集成到Facebook開源的Hive中。Hortonworks的Stinger開創(chuàng)性的極大的優(yōu)化了Hive項目。Hortonworks為入門提供了一個非常好的，易于使用的沙盒。
• Hortonworks開發(fā)了很多增強特性并提交至核心主干，這使得Apache Hadoop能夠在包括Window Server和Windows Azure在內(nèi)的microsoft Windows平臺上本地運行。定價以集群為基礎(chǔ)，每10個節(jié)點每年為12500美元。

4、Hadoop的優(yōu)勢

1）高可靠性：因為Hadoop假設(shè)計算元素和存儲會出現(xiàn)故障，因為它維護(hù)多個工作數(shù)據(jù)副本，在出現(xiàn)故障時可以對失敗的節(jié)點重新分布處理。

2）高擴展性：在集群間分配任務(wù)數(shù)據(jù)，可方便的擴展數(shù)以千計的節(jié)點。

3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任務(wù)處理速度。

4）高容錯性：自動保存多份副本數(shù)據(jù)，并且能夠自動將失敗的任務(wù)重新分配。

5、Hadoop組成

5.1 HDFS架構(gòu)概述

1）NameNode（nn）：存儲文件的元數(shù)據(jù)，如文件名，文件目錄結(jié)構(gòu)，文件屬性（生成時間、副本數(shù)、文件權(quán)限），以及每個文件的塊列表和塊所在的DataNode等。

2）DataNode(dn)：在本地文件系統(tǒng)存儲文件塊數(shù)據(jù)，以及塊數(shù)據(jù)的校驗和。

3）Secondary NameNode(2nn)：用來監(jiān)控HDFS狀態(tài)的輔助后臺程序，每隔一段時間獲取HDFS元數(shù)據(jù)的快照。

5.2 YARN架構(gòu)概述

1）ResourceManager(rm)：處理客戶端請求、啟動/監(jiān)控ApplicationMaster、監(jiān)控NodeManager、資源分配與調(diào)度。

2）NodeManager(nm)：單個節(jié)點上的資源管理、處理來自ResourceManager的命令、處理來自ApplicationMaster的命令。

3）ApplicationMaster：數(shù)據(jù)切分、為應(yīng)用程序申請資源，并分配給內(nèi)部任務(wù)、任務(wù)監(jiān)控與容錯。

4）Container：對任務(wù)運行環(huán)境的抽象，封裝了CPU、內(nèi)存等多維資源以及環(huán)境變量、啟動命令等任務(wù)運行相關(guān)的信息。

5.3 MapReduce架構(gòu)概述

MapReduce將計算過程分為兩個階段：Map和Reduce

1）Map階段并行處理輸入數(shù)據(jù)

2）Reduce階段對Map結(jié)果進(jìn)行匯總

6、大數(shù)據(jù)技術(shù)生態(tài)體系

7、推薦系統(tǒng)框架圖