15521419744

摘要： http://www.rzrgm.cn/798627841qq/p/14667743.html 補(bǔ)01 大數(shù)據(jù)概述 沒(méi)注意上交時(shí)間 http://www.rzrgm.cn/798627841qq/p/14667733.html 補(bǔ)04 RDD編程練習(xí) 編程環(huán)境出了問(wèn)題，導(dǎo)致延遲上交時(shí) 閱讀全文

摘要： 安裝啟動(dòng)檢查Mysql服務(wù)。netstat -tunlp (3306) spark 連接mysql驅(qū)動(dòng)程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 啟動(dòng) Mysql shell 閱讀全文

摘要： 閱讀全文

摘要： 一、用DataFrame的操作完成以下數(shù)據(jù)分析要求 每個(gè)分?jǐn)?shù)+5分。 總共有多少學(xué)生？ 總共開(kāi)設(shè)了哪些課程？ 每個(gè)學(xué)生選修了多少門(mén)課？ 每門(mén)課程有多少個(gè)學(xué)生選？ 每門(mén)課程大于95分的學(xué)生人數(shù)？ Tom選修了幾門(mén)課？每門(mén)課多少分？ Tom的成績(jī)按分?jǐn)?shù)大小排序。 Tom的平均分。 求每門(mén)課的平均分，最高 閱讀全文

摘要： 1.pandas df 與 spark df的相互轉(zhuǎn)換 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark與Pandas中DataFrame對(duì)比 http://www.lining0806.com/spark%E4%B8%8E 閱讀全文

摘要： 1.Spark SQL出現(xiàn)的 原因是什么? Spark SQL是Spark用來(lái)處理結(jié)構(gòu)化數(shù)據(jù)的一個(gè)模塊，它提供了一個(gè)叫作Data Frame的編程抽象結(jié)構(gòu)數(shù)據(jù)模型(即帶有Schema信息的RDD)，Spark SQL作為分布式SQL查詢引擎，讓用戶可以通過(guò)SQL、DataFrame API和Data 閱讀全文

摘要： 一.用圖表描述Hadoop生態(tài)系統(tǒng)的各個(gè)組件及其關(guān)系。 Hadoop生態(tài)系統(tǒng)除了核心的HDFS和MapReduce以外，Hadoop生態(tài)系統(tǒng)還包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能組件。 (1).HDFS:具有處理超大數(shù)據(jù)、流式 閱讀全文

摘要： 一、filter,map,flatmap練習(xí)： 1.讀文本文件生成RDD lines 2.將一行一行的文本分割成單詞 words 3.全部轉(zhuǎn)換為小寫(xiě) 4.去掉長(zhǎng)度小于3的單詞 5.去掉停用詞 6.練習(xí)一的生成單詞鍵值對(duì) 閱讀全文

摘要： 、詞頻統(tǒng)計(jì)： 1.讀文本文件生成RDD lines 2.將一行一行的文本分割成單詞 words flatmap() 3.全部轉(zhuǎn)換為小寫(xiě) lower() 4.去掉長(zhǎng)度小于3的單詞 filter() 5.去掉停用詞 6.轉(zhuǎn)換成鍵值對(duì) map() 7.統(tǒng)計(jì)詞頻 reduceByKey() 二、學(xué)生課程分?jǐn)?shù) 閱讀全文

摘要： 總共有多少學(xué)生？map(), distinct(), count() 開(kāi)設(shè)了多少門(mén)課程？ 每個(gè)學(xué)生選修了多少門(mén)課？map(), countByKey() 每門(mén)課程有多少個(gè)學(xué)生選？map(), countByValue() Tom選修了幾門(mén)課？每門(mén)課多少分？filter(), map() RDD To 閱讀全文