石山園

摘要： A.1 編譯Hadoop A.1.1 搭建環(huán)境 第一步安裝并設(shè)置maven 1. 下載maven安裝包 建議安裝3.0以上版本（由于Spark2.0編譯要求Maven3.3.9及以上版本），本次安裝選擇的是maven3.3.9的二進(jìn)制包，下載地址如下： http://mirror.bit.edu.c 閱讀全文

摘要： 本書中所使用到的測試數(shù)據(jù)、代碼、安裝包及本書附錄放在百度盤提供下載 ，鏈接: https://pan.baidu.com/s/1LP6PKGzIWQzF8e-dTklxkg 提取碼: it28 為什么要寫這本書 在過去的十幾年里，由于計算機普遍應(yīng)用和互聯(lián)網(wǎng)的普及數(shù)據(jù)呈現(xiàn)了爆發(fā)式增長，在這個背景下Do 閱讀全文

摘要： 我們很榮幸地宣布，自7月26日起Databricks開始提供Apache Spark 2.0的下載，這個版本是基于社區(qū)在過去兩年的經(jīng)驗總結(jié)而成，不但加入了用戶喜愛的功能，也修復(fù)了之前的痛點。 本文總結(jié)了Spark 2.0的三大主題：更簡單、更快速、更智能，另有Spark 2.0內(nèi)容的文章匯總介紹了更 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、Tachyon介紹1.1Tachyon簡介隨著實時計算的需求日益增多，分布式內(nèi)存計算也持續(xù)升溫，怎樣將海量數(shù)據(jù)近乎實時地處理，或者說怎樣把離線批處理的速度再提升到一個新的高度是當(dāng)前研究的重點。近年來，內(nèi)... 閱讀全文

摘要： Apache Spark社區(qū)2015年9月9日發(fā)布了1.5版本，該版本由230+開發(fā)人員和80+機構(gòu)參與，修復(fù)了1400多個補丁，該版本可以通過 http://spark.apache.org/downloads.html進(jìn)行下載。Spark1.5中最主要的修改內(nèi)容是為了提升Spark性能、可用性和... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、GraphX介紹1.1GraphX應(yīng)用背景Spark GraphX是一個分布式圖處理框架，它是基于Spark平臺提供對圖計算和圖挖掘簡潔易用的而豐富的接口，極大的方便了對分布式圖處理的需求。眾所周知·，... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、MLlib實例1.1聚類實例1.1.1算法說明聚類（Cluster analysis）有時也被翻譯為簇類，其核心任務(wù)是：將一組目標(biāo)object劃分為若干個簇，每個簇之間的object盡可能相似，簇與簇之... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、機器學(xué)習(xí)概念1.1機器學(xué)習(xí)的定義在維基百科上對機器學(xué)習(xí)提出以下幾種定義：l“機器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗學(xué)習(xí)中改善具體算法的性能”。l“機器學(xué)習(xí)是對能通... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、實例演示1.1流數(shù)據(jù)模擬器1.1.1流數(shù)據(jù)說明在實例演示中模擬實際情況，需要源源不斷地接入流數(shù)據(jù)，為了在演示過程中更接近真實環(huán)境將定義流數(shù)據(jù)模擬器。該模擬器主要功能：通過Socket方式監(jiān)聽指定的端口號... 閱讀全文

摘要： 【注】該系列文章以及使用到安裝包/測試數(shù)據(jù) 可以在《傾情大奉送--Spark入門實戰(zhàn)系列》獲取1、Spark Streaming簡介1.1概述Spark Streaming 是Spark核心API的一個擴展，可以實現(xiàn)高吞吐量的、具備容錯機制的實時流數(shù)據(jù)的處理。支持從多種數(shù)據(jù)源獲取數(shù)據(jù)，包括Kafk、... 閱讀全文