假期周總結06
在假期的第六周,我本周學習了 MapReduce、YARN 和 Hive 框架這部分內容,理解了分布式計算 “分而治之” 的核心思想和MapReduce 程序的提交方法與完整執行流程,還學習了 YARN 的功能、架構組件,了解了程序提交至 YARN 的交互流程及常見調度策略;同時,明確了數據倉庫的定義、解決的業務問題與核心特點,理解了 SQL 編程語言的概念及簡潔易用、通用性強等優點,進一步掌握了 Apache Hive 的架構原理、核心組件與客戶端使用方法,以及 Hive 建庫、建表的 SQL 語法。
- 學習內容概述
MapReduce 相關:理解分布式計算 “分而治之” 的核心思想,掌握 MapReduce 執行流程,學會提交 MapReduce 程序,明確其在分布式數據處理中的作用。
YARN 相關:掌握 YARN 的功能與架構組件,理解程序提交至 YARN 的交互流程,同時了解 YARN 調度策略,明晰其對分布式任務的資源管理與調度邏輯。
Hive 與數據倉庫相關:理解數據倉庫的定義、解決的問題及核心特點;明確 SQL 編程語言的概念與優點;掌握 Apache Hive 的架構原理及組件,學會使用 Hive 客戶端,熟練運用建庫、建表的 SQL 語法,為數據倉庫場景下的數據分析奠定基礎。

- 遇到的問題與解決
客戶端連接失敗:啟動 Hive CLI 或 Beeline 時提示 “無法連接 Metastore”,經過檢查后是 Metastore 服務未啟動。
hadoop框架在使用時,需要啟動許多服務,在進行操作時一定確保開啟,可通過jps查看進程。
- 下周計劃
繼續學習大數據,開始學習hive框架sql語法

浙公網安備 33010602011771號