日本高清一区免费中文视频,人妻中文字幕不卡精品,欧洲中文字幕一区二区

[置頂] 《圖解Spark：核心技術與案例實戰》介紹及書附資源

摘要：本書中所使用到的測試數據、代碼、安裝包及本書附錄放在百度盤提供下載，鏈接: https://pan.baidu.com/s/1LP6PKGzIWQzF8e-dTklxkg 提取碼: it28 為什么要寫這本書在過去的十幾年里，由于計算機普遍應用和互聯網的普及數據呈現了爆發式增長，在這個背景下Do 閱讀全文

posted @ 2016-12-18 22:06 shishanyuan 閱讀(16486) 評論(29) 推薦(2)

[置頂] 傾情大奉送--Spark入門實戰系列

摘要：這一兩年Spark技術很火，自己也湊熱鬧，反復的試驗、研究，有痛苦萬分也有欣喜若狂，抽空把這些整理成文章共享給大家。這個系列基本上圍繞了Spark生態圈進行介紹，從Spark的簡介、編譯、部署，再到編程模型、運行架構，最后介紹其組件SparkSQL、Spark Streaming、Spark MLi 閱讀全文

posted @ 2015-08-03 16:38 shishanyuan 閱讀(129560) 評論(67) 推薦(56)

2018年2月28日

Spark官方調優文檔翻譯（轉載）

摘要： Spark調優由于大部分Spark計算都是在內存中完成的，所以Spark程序的瓶頸可能由集群中任意一種資源導致，如：CPU、網絡帶寬、或者內存等。最常見的情況是，數據能裝進內存，而瓶頸是網絡帶寬；當然，有時候我們也需要做一些優化調整來減少內存占用，例如將RDD以序列化格式保存（storing RD 閱讀全文

posted @ 2018-02-28 09:10 shishanyuan 閱讀(1595) 評論(1) 推薦(2)

2018年2月23日

Spark性能優化指南——高級篇（轉載）

摘要：前言繼基礎篇講解了每個Spark開發人員都必須熟知的開發調優與資源調優之后，本文作為《Spark性能優化指南》的高級篇，將深入分析數據傾斜調優與shuffle調優，以解決更加棘手的性能問題。數據傾斜調優調優概述有的時候，我們可能會遇到大數據計算中一個最棘手的問題——數據傾斜，此時Spark作閱讀全文

posted @ 2018-02-23 11:32 shishanyuan 閱讀(6762) 評論(0) 推薦(0)

Spark性能優化指南——基礎篇（轉載）

摘要：前言在大數據計算領域，Spark已經成為了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、圖計算等各種不同類型的計算操作，應用范圍與前景非常廣泛。在美團?大眾點評，已經有很多同學在各種項目中嘗試使用Spark。大多數同學閱讀全文

posted @ 2018-02-23 08:56 shishanyuan 閱讀(2365) 評論(0) 推薦(1)

2018年2月22日

Apache Spark 內存管理詳解（轉載）

摘要： Spark 作為一個基于內存的分布式計算引擎，其內存管理模塊在整個系統中扮演著非常重要的角色。理解 Spark 內存管理的基本原理，有助于更好地開發 Spark 應用程序和進行性能調優。本文旨在梳理出 Spark 內存管理的脈絡，拋磚引玉，引出讀者對這個話題的深入探討。本文中闡述的原理基于 Spar 閱讀全文

posted @ 2018-02-22 14:35 shishanyuan 閱讀(1303) 評論(0) 推薦(0)

Apache Spark 2.2.0新特性介紹（轉載）

摘要：這個版本是 Structured Streaming 的一個重要里程碑，因為其終于可以正式在生產環境中使用，實驗標簽（experimental tag）已經被移除。在流系統中支持對任意狀態進行操作；Apache Kafka 0.10 的 streaming 和 batch API支持讀和寫操作。除了閱讀全文

posted @ 2018-02-22 10:29 shishanyuan 閱讀(1078) 評論(0) 推薦(0)

2018年2月21日

SparkSQL – 從0到1認識Catalyst（轉載）

摘要：最近想來，大數據相關技術與傳統型數據庫技術很多都是相互融合、互相借鑒的。傳統型數據庫強勢在于其久經考驗的SQL優化器經驗，弱勢在于分布式領域的高可用性、容錯性、擴展性等，假以時日，讓其經過一定的改造，比如引入Paxos、raft等，強化自己在分布式領域的能力，相信一定會在大數據系統中占有一席之地。相閱讀全文

posted @ 2018-02-21 10:11 shishanyuan 閱讀(1422) 評論(1) 推薦(0)

深入研究Spark SQL的Catalyst優化器（原創翻譯）

摘要： Spark SQL是Spark最新和技術最為復雜的組件之一。它支持SQL查詢和新的DataFrame API。Spark SQL的核心是Catalyst優化器，它以一種新穎的方式利用高級編程語言特性（例如Scala的模式匹配和quasiquotes）來構建可擴展查詢優化器。我們最近發布了一篇關于S 閱讀全文

posted @ 2018-02-21 09:03 shishanyuan 閱讀(10441) 評論(0) 推薦(0)

GC調優在Spark應用中的實踐（轉載）

摘要： Spark是時下非常熱門的大數據計算框架，以其卓越的性能優勢、獨特的架構、易用的用戶接口和豐富的分析計算庫，正在工業界獲得越來越廣泛的應用。與Hadoop、HBase生態圈的眾多項目一樣，Spark的運行離不開JVM的支持。由于Spark立足于內存計算，常常需要在內存中存放大量數據，因此也更依賴JV 閱讀全文

posted @ 2018-02-21 09:03 shishanyuan 閱讀(9901) 評論(0) 推薦(2)

2018年2月20日

Project Tungsten：讓Spark將硬件性能壓榨到極限（轉載）

摘要：在之前的博文中，我們回顧和總結了2014年Spark在性能提升上所做的努力。本篇博文中，我們將為你介紹性能提升的下一階段——Tungsten。在2014年，我們目睹了Spark締造大規模排序的新世界紀錄，同時也看到了Spark整個引擎的大幅度提升——從Python到SQL再到機器學習。 Tungst 閱讀全文

posted @ 2018-02-20 15:40 shishanyuan 閱讀(1380) 評論(0) 推薦(0)

Spark SQL在100TB上的自適應執行實踐（轉載）

摘要： Spark SQL是Apache Spark最廣泛使用的一個組件，它提供了非常友好的接口來分布式處理結構化數據，在很多應用領域都有成功的生產實踐，但是在超大規模集群和數據集上，Spark SQL仍然遇到不少易用性和可擴展性的挑戰。為了應對這些挑戰，英特爾大數據技術團隊和百度大數據基礎架構部工程師在S 閱讀全文

posted @ 2018-02-20 10:59 shishanyuan 閱讀(2441) 評論(0) 推薦(0)

石山園

公告