劉淑婷

一、安裝Spark

1. 檢查基礎(chǔ)環(huán)境hadoop,jdk                                                                                                                                                                                                                       

    

    

2.  配置文件、  環(huán)境變量                          

   #配置環(huán)境
   vim /usr/local/spark/conf/spark-env.sh

    

                                                                                                                                                                   

   # 修改環(huán)境變量 vim ~/.bashrc 
   # 生效 source ~/.bashrc

                                                                                                                                                                                                      

3. 試運(yùn)行python代碼

    

二、Python編程練習(xí)：英文文本的詞頻統(tǒng)計(jì)

1. 準(zhǔn)備文本文件                                                                                                                                                                                                                                         

    

    

    

    

2. 統(tǒng)計(jì)每個(gè)單詞出現(xiàn)的次數(shù)
3. 結(jié)果寫文件                                                                                                                                                                                                                                            

    

    

三、根據(jù)自己的編程習(xí)慣搭建編程環(huán)境（選做）

1. 使用Jupyter Notebook調(diào)試PySpark程序：參考http://dblab.xmu.edu.cn/blog/2575-2/

2.  

    

3. 使用PyCharm參考：Ubuntu 16.04 + PyCharm + spark 運(yùn)行環(huán)境配置https://blog.csdn.net/zhurui_idea/article/details/72982598