石山園

摘要： 本書中所使用到的測試數(shù)據(jù)、代碼、安裝包及本書附錄放在百度盤提供下載 ，鏈接: https://pan.baidu.com/s/1LP6PKGzIWQzF8e-dTklxkg 提取碼: it28 為什么要寫這本書 在過去的十幾年里，由于計(jì)算機(jī)普遍應(yīng)用和互聯(lián)網(wǎng)的普及數(shù)據(jù)呈現(xiàn)了爆發(fā)式增長，在這個(gè)背景下Do 閱讀全文

摘要： 這一兩年Spark技術(shù)很火，自己也湊熱鬧，反復(fù)的試驗(yàn)、研究，有痛苦萬分也有欣喜若狂，抽空把這些整理成文章共享給大家。這個(gè)系列基本上圍繞了Spark生態(tài)圈進(jìn)行介紹，從Spark的簡介、編譯、部署，再到編程模型、運(yùn)行架構(gòu)，最后介紹其組件SparkSQL、Spark Streaming、Spark MLi 閱讀全文

摘要： Spark調(diào)優(yōu) 由于大部分Spark計(jì)算都是在內(nèi)存中完成的，所以Spark程序的瓶頸可能由集群中任意一種資源導(dǎo)致，如：CPU、網(wǎng)絡(luò)帶寬、或者內(nèi)存等。最常見的情況是，數(shù)據(jù)能裝進(jìn)內(nèi)存，而瓶頸是網(wǎng)絡(luò)帶寬；當(dāng)然，有時(shí)候我們也需要做一些優(yōu)化調(diào)整來減少內(nèi)存占用，例如將RDD以序列化格式保存（storing RD 閱讀全文

摘要： 前言 繼基礎(chǔ)篇講解了每個(gè)Spark開發(fā)人員都必須熟知的開發(fā)調(diào)優(yōu)與資源調(diào)優(yōu)之后，本文作為《Spark性能優(yōu)化指南》的高級(jí)篇，將深入分析數(shù)據(jù)傾斜調(diào)優(yōu)與shuffle調(diào)優(yōu)，以解決更加棘手的性能問題。 數(shù)據(jù)傾斜調(diào)優(yōu) 調(diào)優(yōu)概述 有的時(shí)候，我們可能會(huì)遇到大數(shù)據(jù)計(jì)算中一個(gè)最棘手的問題——數(shù)據(jù)傾斜，此時(shí)Spark作 閱讀全文

摘要： 前言 在大數(shù)據(jù)計(jì)算領(lǐng)域，Spark已經(jīng)成為了越來越流行、越來越受歡迎的計(jì)算平臺(tái)之一。Spark的功能涵蓋了大數(shù)據(jù)領(lǐng)域的離線批處理、SQL類處理、流式/實(shí)時(shí)計(jì)算、機(jī)器學(xué)習(xí)、圖計(jì)算等各種不同類型的計(jì)算操作，應(yīng)用范圍與前景非常廣泛。在美團(tuán)?大眾點(diǎn)評(píng)，已經(jīng)有很多同學(xué)在各種項(xiàng)目中嘗試使用Spark。大多數(shù)同學(xué) 閱讀全文

摘要： Spark 作為一個(gè)基于內(nèi)存的分布式計(jì)算引擎，其內(nèi)存管理模塊在整個(gè)系統(tǒng)中扮演著非常重要的角色。理解 Spark 內(nèi)存管理的基本原理，有助于更好地開發(fā) Spark 應(yīng)用程序和進(jìn)行性能調(diào)優(yōu)。本文旨在梳理出 Spark 內(nèi)存管理的脈絡(luò)，拋磚引玉，引出讀者對這個(gè)話題的深入探討。本文中闡述的原理基于 Spar 閱讀全文

摘要： 這個(gè)版本是 Structured Streaming 的一個(gè)重要里程碑，因?yàn)槠浣K于可以正式在生產(chǎn)環(huán)境中使用，實(shí)驗(yàn)標(biāo)簽（experimental tag）已經(jīng)被移除。在流系統(tǒng)中支持對任意狀態(tài)進(jìn)行操作；Apache Kafka 0.10 的 streaming 和 batch API支持讀和寫操作。除了 閱讀全文

摘要： 最近想來，大數(shù)據(jù)相關(guān)技術(shù)與傳統(tǒng)型數(shù)據(jù)庫技術(shù)很多都是相互融合、互相借鑒的。傳統(tǒng)型數(shù)據(jù)庫強(qiáng)勢在于其久經(jīng)考驗(yàn)的SQL優(yōu)化器經(jīng)驗(yàn)，弱勢在于分布式領(lǐng)域的高可用性、容錯(cuò)性、擴(kuò)展性等，假以時(shí)日，讓其經(jīng)過一定的改造，比如引入Paxos、raft等，強(qiáng)化自己在分布式領(lǐng)域的能力，相信一定會(huì)在大數(shù)據(jù)系統(tǒng)中占有一席之地。相 閱讀全文

摘要： Spark SQL是Spark最新和技術(shù)最為復(fù)雜的組件之一。它支持SQL查詢和新的DataFrame API。Spark SQL的核心是Catalyst優(yōu)化器，它以一種新穎的方式利用高級(jí)編程語言特性（例如Scala的模式匹配和quasiquotes）來構(gòu)建可擴(kuò)展查詢優(yōu)化器。 我們最近發(fā)布了一篇關(guān)于S 閱讀全文

摘要： Spark是時(shí)下非常熱門的大數(shù)據(jù)計(jì)算框架，以其卓越的性能優(yōu)勢、獨(dú)特的架構(gòu)、易用的用戶接口和豐富的分析計(jì)算庫，正在工業(yè)界獲得越來越廣泛的應(yīng)用。與Hadoop、HBase生態(tài)圈的眾多項(xiàng)目一樣，Spark的運(yùn)行離不開JVM的支持。由于Spark立足于內(nèi)存計(jì)算，常常需要在內(nèi)存中存放大量數(shù)據(jù)，因此也更依賴JV 閱讀全文

摘要： 在之前的博文中，我們回顧和總結(jié)了2014年Spark在性能提升上所做的努力。本篇博文中，我們將為你介紹性能提升的下一階段——Tungsten。在2014年，我們目睹了Spark締造大規(guī)模排序的新世界紀(jì)錄，同時(shí)也看到了Spark整個(gè)引擎的大幅度提升——從Python到SQL再到機(jī)器學(xué)習(xí)。 Tungst 閱讀全文

摘要： Spark SQL是Apache Spark最廣泛使用的一個(gè)組件，它提供了非常友好的接口來分布式處理結(jié)構(gòu)化數(shù)據(jù)，在很多應(yīng)用領(lǐng)域都有成功的生產(chǎn)實(shí)踐，但是在超大規(guī)模集群和數(shù)據(jù)集上，Spark SQL仍然遇到不少易用性和可擴(kuò)展性的挑戰(zhàn)。為了應(yīng)對這些挑戰(zhàn)，英特爾大數(shù)據(jù)技術(shù)團(tuán)隊(duì)和百度大數(shù)據(jù)基礎(chǔ)架構(gòu)部工程師在S 閱讀全文