石山園

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、運行環(huán)境說明1.1硬軟件環(huán)境l 主機操作系統(tǒng)：Windows 64位，雙核4線程，主頻2.2G，10G內(nèi)存l 虛擬軟件：VMware® Workstation 9.0.0 build-812388l 虛... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1.1 運行環(huán)境說明1.1.1硬軟件環(huán)境l 主機操作系統(tǒng)：Windows 64位，雙核4線程，主頻2.2G，10G內(nèi)存l 虛擬軟件：VMware® Workstation 9.0.0 build-81238... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、SparkSQL的發(fā)展歷程1.1Hive and SharkSparkSQL的前身是Shark，給熟悉RDBMS但又不理解MapReduce的技術(shù)人員提供快速上手的工具，Hive應(yīng)運而生，它是當(dāng)時唯一運... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、Hive操作演示1.1內(nèi)部表1.1.1創(chuàng)建表并加載數(shù)據(jù)第一步 啟動HDFS、YARN和Hive，啟動完畢后創(chuàng)建Hive數(shù)據(jù)庫hive>create database hive;hive>show dat... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、Hive介紹1.1Hive介紹Hive是一個基于Hadoop的開源數(shù)據(jù)倉庫工具，用于存儲和處理海量結(jié)構(gòu)化數(shù)據(jù)。它是Facebook 2008年8月開源的一個數(shù)據(jù)倉庫框架，提供了類似于SQL語法的HQL語... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、 Spark運行架構(gòu)1.1術(shù)語定義lApplication：Spark Application的概念和Hadoop MapReduce中的類似，指的是用戶編寫的Spark應(yīng)用程序，包含了一個Driver... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、 安裝IntelliJ IDEAIDEA 全稱 IntelliJ IDEA，是java語言開發(fā)的集成環(huán)境，IntelliJ在業(yè)界被公認為最好的java開發(fā)工具之一，尤其在智能代碼助手、代碼自動提示、重構(gòu)... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、Spark編程模型1.1術(shù)語定義l應(yīng)用程序（Application）： 基于Spark的用戶程序，包含了一個Driver Program 和集群中多個的Executor；l驅(qū)動程序（Driver Pro... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、編譯SparkSpark可以通過SBT和Maven兩種方式進行編譯，再通過make-distribution.sh腳本生成部署包。SBT編譯需要安裝git工具，而Maven安裝則需要maven工具，兩種... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、編譯Hadooop1.1搭建環(huán)境1.1.1安裝并設(shè)置maven1.下載maven安裝包，建議安裝3.0以上版本，本次安裝選擇的是maven3.0.5的二進制包，下載地址如下http://mirror.b... 閱讀全文