石山園

摘要： 前言 繼基礎(chǔ)篇講解了每個(gè)Spark開(kāi)發(fā)人員都必須熟知的開(kāi)發(fā)調(diào)優(yōu)與資源調(diào)優(yōu)之后，本文作為《Spark性能優(yōu)化指南》的高級(jí)篇，將深入分析數(shù)據(jù)傾斜調(diào)優(yōu)與shuffle調(diào)優(yōu)，以解決更加棘手的性能問(wèn)題。 數(shù)據(jù)傾斜調(diào)優(yōu) 調(diào)優(yōu)概述 有的時(shí)候，我們可能會(huì)遇到大數(shù)據(jù)計(jì)算中一個(gè)最棘手的問(wèn)題——數(shù)據(jù)傾斜，此時(shí)Spark作 閱讀全文

摘要： 前言 在大數(shù)據(jù)計(jì)算領(lǐng)域，Spark已經(jīng)成為了越來(lái)越流行、越來(lái)越受歡迎的計(jì)算平臺(tái)之一。Spark的功能涵蓋了大數(shù)據(jù)領(lǐng)域的離線批處理、SQL類(lèi)處理、流式/實(shí)時(shí)計(jì)算、機(jī)器學(xué)習(xí)、圖計(jì)算等各種不同類(lèi)型的計(jì)算操作，應(yīng)用范圍與前景非常廣泛。在美團(tuán)?大眾點(diǎn)評(píng)，已經(jīng)有很多同學(xué)在各種項(xiàng)目中嘗試使用Spark。大多數(shù)同學(xué) 閱讀全文