石山園

摘要： Apache Spark 2.2最近引入了高級的基于成本的優化器框架用于收集并均衡不同的列數據的統計工作 (例如., 基（cardinality）、唯一值的數量、空值、最大最小值、平均/最大長度，等等）來改進查詢類作業的執行計劃。均衡這些作業幫助Spark在選取最優查詢計劃時做出更好決定。這些優化的 閱讀全文

摘要： 我們興奮的宣布Databricks緩存的通用可用性，作為統一分析平臺一部分的 Databricks 運行時特性，它可以將Spark工作負載的掃描速度提升10倍，并且這種改變無需任何代碼修改。 1、在本博客中，我們將介紹這個新特性的兩個主要特點：易用性和性能。 2、不同于Spark顯示緩存，Datab 閱讀全文

摘要： 1 背景 前段時間京東公開了面向第二個十二年的戰略規劃，表示京東將全面走向技術化，大力發展人工智能和機器人自動化技術，將過去傳統方式構筑的優勢全面升級。京東Y事業部順勢成立，該事業部將以服務泛零售為核心，著重智能供應能力的打造，核心使命是利用人工智能技術來驅動零售革新。 1.1 京東的供應鏈 京東一 閱讀全文

摘要： 1，看您有維護博客，還利用業余時間著書，在技術輸出、自我提升以及本職工作的時間利用上您有沒有什么心得和大家分享？（也可以包含一些您寫書的小故事。）回答：在工作之余能夠寫博客、著書主要對技術的堅持和熱愛。自己平時除了工作時間回到家還得陪家人，用于自己學習的時間并不算多，自己每天在上下班的班車會看自己感 閱讀全文

摘要： 1 Storm介紹 Storm是由Twitter開源的分布式、高容錯的實時處理系統，它的出現令持續不斷的流計算變得容易，彌補了Hadoop批處理所不能滿足的實時要求。Storm常用于在實時分析、在線機器學習、持續計算、分布式遠程調用和ETL等領域。 在Storm的集群里面有兩種節點：控制節點(Mas 閱讀全文

摘要： Netty是由JBOSS開發的高性能、異步事件驅動的NIO框架，它提供了對TCP、UDP和文件傳輸等協議的支持，作為一個異步NIO框架，Netty的所有IO操作都是異步非阻塞的，通過Future-Listener機制，用戶可以方便的主動獲取或者通過通知機制獲得IO操作結果。作為當前最流行的NIO框架 閱讀全文

摘要： E.1 安裝Kafka E.1.1 下載Kafka Kafka是由LinkedIn設計的一個高吞吐量、分布式、基于發布訂閱模式的消息系統，使用Scala編寫，它以可水平擴展、可靠性、異步通信和高吞吐率等特性而被廣泛使用。目前越來越多的開源分布式處理系統都支持與Kafka集成，其中Spark Stre 閱讀全文

摘要： D.1 安裝ZooKeeper D.1.1 下載ZooKeeper ZooKeeper是Apache基金會的一個開源、分布式應用程序協調服務，是Google的Chubby一個開源的實現。它是一個為分布式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分布式同步、組服務等。它的目標就是封 閱讀全文

摘要： 如果需要直接安裝Hive，可以跳過編譯步驟，從Hive的官網下載編譯好的安裝包，下載地址為http://hive.apache.org/downloads.html 。 C.1 編譯Hive C.1.1 下載Hive源代碼包 在Hive的官網下載頁面上下載，為加快下載速度選擇中國境內的鏡像，并下載a 閱讀全文

摘要： B.1 卸載舊的MaySql程序 第一步 查找以前是否安裝有mysql 使用命令查看是否已經安裝過mysql： #rpm -qa | grep -i mysql 如果沒有結果，則可以進行mysql數據庫安裝 第二步 如果有，則先停止mysql服務并刪除之前安裝的mysql 如果之前安裝過MySql， 閱讀全文