Hadoop面試題

1.簡述Hadoop核心組件

1.HDFS

• HDFS是hadoop的分布式文件系統，用于存儲大量結構化和非結構化數據。
• 它將文件分割成多個塊(默認128MB)，并將這些塊分布在集群中的不同節點上。
• 提供了高容錯性，通過在多個節點上復制數據塊來確保數據的可靠性和可用性。

2.YARN

• YARN是Hadoop的資源管理器，負責管理和調度集群中的計算資源。
• 它使得多個應用程序可以共享集群資源，并支持多種計算框架(如MapReduce，Spark等)運行在同一個Hadoop集群上。
• YARN包含兩個主要組件：ResourceManager和NodeManager。ResourceManager負責全局資源管理和調度，NodeManager負責每個節點的資源管理和任務執行。

3.MapReduce

• MapReduce是Hadoop的編程模型，用于并行處理大規模數據集。
• 它由兩個主要階段組成：Map階段和Reduce階段。
• Map階段：將輸入數據分割成小塊，并行處理每個小塊，生成中間鍵值對。
• Reduce階段：對中間鍵值對進行匯總和聚合，生成最終結果。
• MapReduce框架會自動處理任務分發，錯誤恢復和負載均衡等復雜問題。

除了這三個核心組件外，Hadoop 生態系統還包括許多其他工具和庫，例如 Hive（用于SQL查詢）、Pig（用于數據流編程）、HBase（分布式列式數據庫）、Sqoop（用于數據導入導出）等，這些工具共同構成了強大的大數據處理平臺。

2.Hadoop的優點

1.高可靠性

• hadoop通過數據冗余存儲來確保數據的高可靠性，即使某個節點發生故障，系統仍然可以從其他副本中恢復數據。

2.高擴展性

• Hadoop支持橫向擴展，可以通過添加更多廉價的commodity硬件節點來擴展集群的存儲和計算能力，而無需對現有系統進行重大修改。

3.高容錯性

• hadoop能夠自動處理節點故障，當某個節點宕機時，任務會被重新分配到其他可用節點上繼續執行，從而保證系統的正常運行。

4.高效的數據處理

• 基于MapReduce編程模型，Hadoop將任務分解為多個小任務并行處理，極大地提高了大數據的處理效率。

5.分布式存儲

• hadoop提供了HDFS，能夠大規模數據分布在集群中的多個節點上存儲，并支持流式數據訪問。

6.經濟性

• hadoop可以運行在普通的商用硬件上，而不是依賴昂貴的專用設備，降低了構建和維護大規模集群的成本。

7.生態豐富

• hadoop擁有強大的生態系統，包括Hive，HBase，Pig，ZK等工具，可以滿足不同的數據分析需求。

8.可移植性

• hadoop可以在多種操作系統上運行，具有良好的跨平臺兼容性。

3.簡述解釋hadoop和hadoop生態系統兩個概念

1.hadoop

hadoop是一個開源的分布式計算框架，主要用于處理大規模數據集，核心組件包括：

• HDFS：一種分布式文件系統，能夠存儲超大規模的數據集，并且具有高容錯性。它將數據分布在多個節點上，并通過冗余存儲來保證數據的安全性和可靠性。
• MapReduce:一種編程模型和任務調度框架，用于并行處理大量數據。它通過Map和Reduce兩個步驟來處理數據，能夠在多臺機器上同時執行任務。

hadoop的設計理念是將計算邏輯推送到數據所在的節點上執行，從而減少網絡傳輸開銷，提高處理效率。

2.hadoop生態系統

hadoop生態系統是指圍繞hadoop核心技術構建的一系列工具和框架，它們共同構成了一個完整的數據處理平臺，這個工具和框架擴展了hadoop的功能。常見的hadoop生態系統組件包括：

• YARN：資源管理和調度框架，負責分配集群中的計算資源，并管理應用程序的生命周期。
• Hive：基于hadoop的數據倉庫工具，提供sql查詢接口，允許用戶使用類似sql的查詢語言（HQL）來查詢存儲在HDFS中的數據。
• Pig：一種高級數據流語言和運行環境，用于處理大規模數據集。
• HBase：一個分布式的，面向列的NoSQL數據庫，建立在HDFS之上，適用于需要隨機讀寫的實時應用。
• Spark：一個快速的通用分布式計算引擎，支持內存計算，使用于迭代算法和實時數據處理。它可以與Hadoop繼承，也可以獨立運行。
• ZooKeeper：一個分布式協調服務，用于管理集群中各個節點的狀態，確保一致性。
• Sqoop：用于在關系型數據庫和Hadoop之間高效傳輸數據的工具。
• Flume：一個高可靠，高性能的日志收集，聚合和傳輸系統，常用于將日志數據導入到hadoop系統中。
• Oozie：一個工作流調度系統，用于管理和協調Hadoop上的各種任務。

4.HDFS如何保證數據不丟失

HDFS通過多種機制來保證數據的可靠性和防止數據丟失以下是HDFS確保數據不丟失的主要方法：

1.數據冗余與副本機制

• 多副本存儲：HDFS默認會將每個文件分成多個塊，并將這些塊存儲在集群中的不同DataNode上。默認情況下每個塊會有3個副本。這個即使某個節點發生故障，其他節點仍然保存有完整的數據副本。
• 副本放置策略：為了進一步提高可靠性，HDFS采用了特定的副本放置策略。例如，默認情況下第一個副本會存儲在本地機架的DataNode上，第二個副本會存儲在同一個機架的不同DataNode上，第三個副本會存儲在不同機架的DataNode上。這種策略可以減少由于機架故障導致的數據丟失風險。

2.心跳檢測與健康監控

• 心跳機制：NameData會定期接收來自各個DataNode的心跳信號。如果某個DataNode在規定的時間內沒有發送心跳，NameNode會認為該節點可能出現了故障，并將其標記為”死亡“。此時NameNode會根據現有的副本情況，重新分配新的副本以確保數據的可用性。
• 塊報告：每個DataNode會定期向NameNode發送塊報告，告知它當前存儲了那些塊以及它們的狀態。NameNode可以根據這些信息來檢查是否有塊的副本數量不足，并采取相應措施進行修復。

3.數據校驗和

• HDFS為每個寫入的數據塊生成校驗和。當客戶端讀取數據時，HDFS會驗證數據的完整性。如果發現數據損壞或校驗和不匹配，HDFS會嘗試從其他副本中讀取正確的數據并修復損壞的副本。

4.安全模式

• 當HDFS啟動時，NameNode會進入安全模式，在此期間它不會允許對文件系統進行修改操作。NameNode會等待所有DataNode完成塊報告，并確保有足夠的副本存在后，才會退出安全模式，這有助于防止在系統啟動過程中發生數據丟失。

5.垃圾回收機制

• 如果某個文件被刪除，HDFS并不會立即刪除其對應的塊，而是將這些塊標記為”待刪除“。只有在經過一段時間后且確認沒有其他應用依賴這些塊時，HDFS才會真正刪除這些塊。這樣可以防止誤刪除導致的數據丟失。

6.日志持久化

• NameNode會維護一個編輯日志，記錄所有的元數據變更操作。即使NameNode崩潰，也可以通過恢復編輯日志來重建元數據。此外HDFS還支持Secondary NameNode或Checkpoint節點定期合并編輯日志和Fslmage，確保元數據的安全性和一致性。

7.快照功能

• HDFS支持快照功能，用戶可以在指定目錄下創建快照，從而保留某一時刻的數據狀態。即使后續發生了更改或丟失，用戶仍然可以通過快照恢復到之前的狀態。

簡述HDFS的Blok

HDFS中的Blok是HDFS存儲文件的基本單位。

1.定義與大小

• 在HDFS中，文件被分割成固定大小的數據塊，每個文件會被分割成一個或多個Block進行存儲。
• 默認情況下，HDFS的Block大小為128MB。這個大小遠大于傳統文件系統的塊大小，目的是為了減少元數據的管理開銷，并且提高大文件的讀寫效率。

2.冗余存儲

• 為了保證數據的可靠性和容錯性，每個Block會被復制多份，默認情況下會復制3份，這些副本會被存儲在不同的DataNode上。
• 如果某個DataNode發生故障，系統可以根據其他副本恢復數據，確保數據的安全性和可用性。

3.分布式存儲

• HDFS是一個分布式文件系統，Block會被分布到集群中的不同DataNode上存儲。NameNode負責管理文件系統的命名空間和客戶端對文件的訪問請求，而DataNode則負責實際存儲Block。
• 當用戶上傳文件時，HDFS會將文件切分成多個Block，并將這些Block分布到集群中的各個DataNode上進行存儲。

4.讀寫操作

• 在讀取文件時，HDFS會根據文件名找到對應的Block列表，并從最近的DataNode讀取Block數據。
• 寫入文件時，客戶端會將數據流式寫入Block寫滿后，在開始寫入下一個Block，直到整個文件寫完。

5.Block管理

• NameNode維護著整個文件系統的元數據，包括文件與Block的映射關系，Block的位置信息等。
• DataNode定期向NameNode匯報自己所持有的Block信息，以確保NameNode掌握最新的Block分布情況。