軟件工程學習日志2025.10.23

目標：完成 MapReduce 詞頻統計程序的遠程執行鏈路，支持用 java -jar 直接運行 RemoteRunner，并解決參數傳遞與 HDFS/SSH 連接問題。
結果：RemoteRunner 已增強為“更健壯的遠程執行器”，能自動探測 HDFS、在無參數時讀取配置并運行；同時整理了 SSH 連接超時的排障流程與可執行命令。
關鍵改動
切換可執行 JAR主類
- 將 pom.xml 的 maven-shade-plugin 主類改為 org.example.RemoteRunner，支持 java -jar 直接啟動。
- 構建命令：mvn -q -DskipTests clean package。
HDFS 連接增強
- 自動探測 hdfs://<VM_IP>:8020 → hdfs://<VM_IP>:9000。
- 所有 hdfs dfs 命令顯式加 -fs <uri>，避免默認 fs.defaultFS=hdfs://localhost:9000 帶來的連接拒絕。
- hadoop jar 的輸入/輸出使用全量 HDFS URI（例如 hdfs://192.168.222.130:8020/user/hadoop/input）。
參數解析與配置來源
- 支持將所有參數放在“一對引號”內的情況：自動按空白切分。
- 在參數不足時，不再立即退出；改為按優先級讀取配置：
  - 命令行參數；
  - 系統屬性 -Dremote.host -Dremote.user -Dremote.port -Dremote.password（可選：-Djar.path -Dword1.path -Dword2.path -Dfs.uri）；
  - 環境變量 REMOTE_HOST, REMOTE_USER, REMOTE_PORT, REMOTE_PASSWORD（可選：LOCAL_JAR, WORD_FILE1, WORD_FILE2, FS_URI）；
  - 項目根目錄 remote.properties；
  - 仍缺時且控制臺可交互，進入交互式輸入。
    執行與驗證
正常運行（逐項參數）
- java -jar "c:\Users\王朝東\IdeaProjects\mapreduce\target\mapreduce-1.0-SNAPSHOT.jar" 192.168.222.130 hadoop 22 20050614
無參運行（系統屬性方式）
- java -Dremote.host=192.168.222.130 -Dremote.user=hadoop -Dremote.port=22 -Dremote.password=20050614 -Dfs.uri=hdfs://192.168.222.130:8020 -jar "c:\Users\王朝東\IdeaProjects\mapreduce\target\mapreduce-1.0-SNAPSHOT.jar"
無參運行（環境變量方式）
- 設置環境變量后執行：
- $env:REMOTE_HOST="192.168.222.130"; $env:REMOTE_USER="hadoop"; $env:REMOTE_PORT="22"; $env:REMOTE_PASSWORD="20050614"; $env:FS_URI="hdfs://192.168.222.130:8020"
- java -jar "c:\Users\王朝東\IdeaProjects\mapreduce\target\mapreduce-1.0-SNAPSHOT.jar"
無參運行（remote.properties）
- 文件路徑：c:\Users\王朝東\IdeaProjects\mapreduce\remote.properties
- 內容示例：
  - host=192.168.222.130
  - user=hadoop
  - port=22
  - password=20050614
  - fsUri=hdfs://192.168.222.130:8020
  - localJar=c:\\Users\\王朝東\\IdeaProjects\\mapreduce\\target\\mapreduce-1.0-SNAPSHOT.jar
  - wordfile1=c:\\Users\\王朝東\\IdeaProjects\\mapreduce\\src\\main\\resources\\wordfile1.txt
  - wordfile2=c:\\Users\\王朝東\\IdeaProjects\\mapreduce\\src\\main\\resources\\wordfile2.txt
- 運行：java -jar "c:\Users\王朝東\IdeaProjects\mapreduce\target\mapreduce-1.0-SNAPSHOT.jar"
  問題排查：SSH 連接超時
主機連通性檢查
- ping 192.168.222.130
- Test-NetConnection 192.168.222.130 -Port 22
- ssh hadoop@192.168.222.130 -p 22
VM 內部檢查
- ip a 或 ifconfig 確認 IP；
- 安裝并啟動 SSH：
  - Ubuntu/Debian：sudo apt install -y openssh-server && sudo systemctl enable --now ssh && sudo systemctl status ssh
  - CentOS/RHEL：sudo yum install -y openssh-server && sudo systemctl enable --now sshd && sudo systemctl status sshd
- 防火墻放行 22：
  - Ubuntu：sudo ufw allow 22/tcp && sudo ufw status
  - CentOS：sudo firewall-cmd --add-service=ssh --permanent && sudo firewall-cmd --reload
虛擬機網絡模式
- Bridged：推薦，主機可直接訪問 VM IP；
- Host-Only：主機需啟用對應虛擬網卡；
- NAT：需端口轉發（示例：宿主 127.0.0.1:2222 → 客戶機 22），命令改為：
  - java -jar "...\\mapreduce-1.0-SNAPSHOT.jar" 127.0.0.1 hadoop 2222 20050614
    使用方法與預期輸出
程序行為
- SFTP 上傳：mapreduce-1.0-SNAPSHOT.jar、wordfile1.txt、wordfile2.txt 到遠端 ~/mapreduce/；
- HDFS 操作：在 /user/<user>/input 創建目錄并上傳兩個詞文件；
- 提交 MapReduce 作業，輸出日志；
- 打印 ===== MapReduce Result ===== 和詞頻結果。
HDFS 未運行時提醒
- 若探測失敗，會提示啟動 HDFS，參考：
  - 首次格式化：hdfs namenode -format
  - 啟動 HDFS：start-dfs.sh
  - 啟動 YARN：start-yarn.sh
    經驗與教訓
遠端默認 fs.defaultFS 可能指向 localhost:9000，必須顯式 -fs <uri> 和全量 HDFS URI 才穩。
參數傳遞在 Windows 下容易受引號與空格影響，增加“單參數切分”與多來源配置能顯著提升可用性。
網絡問題優先從“能否 ping / 能否通 22”判斷，最有效率；其次再看 SSH 服務與防火墻。

posted @ 2025-10-23 23:23 仙人兵馬俑閱讀(4) 評論(0) 收藏舉報

刷新頁面返回頂部

dynastyeast

軟件工程學習日志2025.10.23

公告