新書出版：《分布式機(jī)器學(xué)習(xí)——系統(tǒng)、工程與實(shí)戰(zhàn)》

0x01 廣告

經(jīng)過一年多的努力，我的書 《分布式機(jī)器學(xué)習(xí)——系統(tǒng)、工程與實(shí)戰(zhàn)》終于上架了，在這里打個廣告。

詳細(xì)信息請參見：

https://item.jd.com/10079265638834.html

http://product.dangdang.com/29594628.html

接下來是一些碎碎念。

0x02 感謝

在此書（包括博客）的寫作過程之中，我參考了大量的論文，博客和視頻，在此，對這些作者再次表示深深的感謝。經(jīng)常閱讀我博客的朋友應(yīng)該知道，我在每篇文章之后都會列出大量參考鏈接。但是，出版社的規(guī)定是：書籍中不能出現(xiàn)任何的網(wǎng)址。因此我只能把這些參考鏈接提供給出版社，由出版社用網(wǎng)頁方式呈現(xiàn)。還請大家理解。

0x03 痛苦

寫書的難度和痛苦遠(yuǎn)遠(yuǎn)超過了我的預(yù)期。出版書是一個極其復(fù)雜的系統(tǒng)工程，沒有經(jīng)歷的人很難體會。比如，為了把文字從markdown遷移到word，并且依據(jù)編輯的要求進(jìn)行排版，我專門寫了一個程序進(jìn)行相關(guān)處理。又比如，技術(shù)人員和文字編輯可能對于同一段文字的理解會完全不同。技術(shù)人員會覺得這段文字很正常很通順，但是從文字編輯的角度看，則會有很大問題，而編輯的意見無疑是正確的。因此技術(shù)人員需要依據(jù)編輯的意見對文字進(jìn)行整改。本書就前后經(jīng)歷了很多次大修改，這對于作者和編輯（們）都是一項(xiàng)極其繁雜的工作，再次感謝我的責(zé)任編輯黃愛萍在本書出版過程中給我的幫助。

0x04 遺憾

關(guān)于本書，還有不少遺憾，比如：

本書沒能早點(diǎn)面世

因?yàn)槿ツ暌咔榈脑颍庉嫷墓ぷ魇艿胶艽笥绊懀瑢?dǎo)致本書起碼推遲幾個月才能面世。

很多內(nèi)容未能收錄

我一共寫了130多篇分布式機(jī)器學(xué)習(xí)方面的博客。我把這130多篇博客都進(jìn)行了整理，繪制了很多新圖，也添加了不少內(nèi)容，很多行文、邏輯都做了調(diào)整和修改，一共整理了將近兩千頁word文檔。然而最終在和編輯討論之后，只從中選擇了600頁放入書中。這導(dǎo)致很多博客內(nèi)容未能在書籍之中體現(xiàn)，比如數(shù)據(jù)加載，彈性訓(xùn)練，通信優(yōu)化，HugeCTR，Alink，深度學(xué)習(xí)和大數(shù)據(jù)結(jié)合等部分都沒有體現(xiàn)。

0x05 論文

我在書和博客之中會對一些論文進(jìn)行翻譯解讀，為什么要這樣做？這是因?yàn)槊鎸σ粋€新領(lǐng)域，個人的意見是按照“論文→文檔→用戶手冊→注釋→源碼”這個順序來學(xué)習(xí)。為什么按照這個順序？因?yàn)檫@個順序的優(yōu)勢是：

? 從抽象邏輯（或者說體系架構(gòu)）到具體細(xì)節(jié)。

• 論文是作者的思想被提煉并進(jìn)行邏輯化、體系化的結(jié)果，文檔次之，而且重讀經(jīng)典論文，收獲是多維度的。

• 文檔和手冊會從使用或者注意點(diǎn)方面幫你完成對這個框架整體的認(rèn)識。在深入理解框架功能的基礎(chǔ)上，再帶著實(shí)際問題在源碼中求解，才會深刻理解框架的設(shè)計思路和理念。

• 注釋和源碼則呈現(xiàn)了大量的細(xì)節(jié)。因?yàn)榧夹g(shù)文檔往往不全，所以只能從源碼來逆向反推設(shè)計。

? 從人的思想到機(jī)器的思想。

• 注釋是作者給閱讀者看的，代碼是作者給機(jī)器看的。

• 注釋會告訴你為什么這樣實(shí)現(xiàn)（Why），代碼告訴你怎么實(shí)現(xiàn)（How）。

對于我們來說，應(yīng)該首先尋求一種思維的改變（使用另外一種不同的方式來思考問題），和已有知識體系的更新與整理（打破原有條條框框來建立一個更大的框架），然后才是用代碼來分析驗(yàn)證（畢竟紙上得來終覺淺）。當(dāng)然，很多時候我們只有源碼，那么就只能從源碼中根據(jù)細(xì)節(jié)來探尋，重建論文作者的思路，提煉其精華，爭取和作者達(dá)到一個跨越空間和時間的震蕩和共鳴。共鳴越多，你就越接近論文作者。

0x06 方法

有的同學(xué)問我為什么可以研究這么多內(nèi)容，有什么好的研究方法。其實(shí)我也沒有很好的學(xué)習(xí)方法，可能因?yàn)槲冶容^喜歡鉆研技術(shù)，如果某一個技術(shù)點(diǎn)沒有想明白，我就會圍繞這個點(diǎn)進(jìn)行深入挖掘，而往往為了弄明白一個知識點(diǎn)，就會研究其他相關(guān)知識點(diǎn)，這樣從一個點(diǎn)很容易延申到一條線，進(jìn)而擴(kuò)展到一個面，最后形成一張網(wǎng)，就構(gòu)建了自己的一個小小的知識體系。

0x07 展望

過去的一年實(shí)在太忙了，換了新城市新公司，大家一起從無到有構(gòu)建一個新產(chǎn)品，幾乎沒有自己的時間，而僅有的閑暇時間都用來整理書籍。導(dǎo)致有幾篇一年前寫的文稿都沒有整理。希望在接下來的日子中，能夠有時間把這些文稿整理出來發(fā)布。也希望能夠有時間研究一些新東西，最重要的是，希望我們產(chǎn)品可以大賣。

好久沒有發(fā)布博客，突然發(fā)現(xiàn)，這幾個網(wǎng)站的后臺都不會使用了......