摘要：
http://www.mamicode.com/info-detail-976861.html sc.textFile("hdfs://...").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect val hadoopRDD0 = 閱讀全文
posted @ 2016-11-17 22:18
Uncle_Nucky
閱讀(148)
評論(0)
推薦(0)
摘要：
實時數據處理方案FlumeKafka 日志收集Spark Streaming 實時處理 將數據寫入到kafka持久化存儲；Spark Streaming消費kafka數據，業務級別分析；將分析結果寫入HBase或者HDFS。 業界《百度海量日志分析架構及處理》對于互聯網企業來說，最有價值的數據，往往 閱讀全文
posted @ 2016-11-17 11:20
Uncle_Nucky
閱讀(2581)
評論(0)
推薦(1)
摘要：
本文搭建環境為：Mac + Parallel Desktop + CentOS7 + JDK7 + Hadoop2.6 + Scala2.10.4 + IDEA14.0.5 —————————————————————————————————————————————————— 一、CentOS安裝 ■ 閱讀全文
posted @ 2016-11-17 08:45
Uncle_Nucky
閱讀(663)
評論(0)
推薦(0)
浙公網安備 33010602011771號