熬夜的蟲子

第一步、物理分離Web Server和數據庫

第二步、采用緩存機制來減少數據庫連接資源的競爭和對數據庫讀的壓力，這個時候首先也許會選擇采用squid 等類似的機制來將系統中相對靜態的頁面

第三步、在嘗 到了squid之類的動態緩存帶來的好處后，開始想能不能讓現在那些動態頁面里相對靜態的部分也緩存起來呢，因此考慮采用類似ESI之類的頁面片段緩存策略，OK，于是開始采用ESI來做動態頁面中相對靜態的片段部分的緩存。

第四步：數據緩存
在采用ESI之類的技術再次提高了系統的緩存效果后，系統的壓力確實進一步降低了，但同樣，隨著訪問量的增加，系統還是開始變慢，經過查找，可能會發現系 統中存在一些重復獲取數據信息的地方，像獲取用戶信息等，這個時候開始考慮是不是可以將這些數據信息也緩存起來呢，于是將這些數據緩存到本地內存，改變完畢后，完全符合預期，系統的響應速度又恢復了，數據庫的壓力也再度降低了不少。
第五步： 增加webserver
好景不長，發現隨著系統訪問量的再度增加，webserver機器的壓力在高峰期會上升到比較高，這個時候開始考慮增加一臺webserver，這也是為了同時解決可用性的問題，避免單臺的webserver down機的話就沒法使用了，在做了這些考慮后，決定增加一臺webserver，增加一臺webserver時，會碰到一些問題，典型的有： 1、如何讓訪問分配到這兩臺機器上，這個時候通常會考慮的方案是Apache自帶的負載均衡方案，或LVS這類的軟件負載均衡方案； 2、如何保持狀態信息的同步，例如用戶session等，這個時候會考慮的方案有寫入數據庫、寫入存儲、cookie或同步session信息等機制等； 3、如何保持數據緩存信息的同步，例如之前緩存的用戶數據等，這個時候通常會考慮的機制有緩存同步或分布式緩存； 4、如何讓上傳文件這些類似的功能繼續正常，這個時候通常會考慮的機制是使用共享文件系統或存儲等；

第六步：分庫
享受了一段時間的系統訪問量高速增長的幸福后，發現系統又開始變慢了，這次又是什么狀況呢，經過查找，發現數據庫寫入、更新的這些操作的部分數據庫連接的 資源競爭非常激烈，導致了系統變慢，這下怎么辦呢，此時可選的方案有數據庫集群和分庫策 略，集群方面像有些數據庫支持的并不是很好，因此分庫會成為比較普遍的策略，分庫也就意味著要對原有程序進行修改，一通修改實現分庫后，不錯，目標達到 了，系統恢復甚至速度比以前還快了。
這一步更多的是需要從業務上做合理的劃分，以實現分庫，具體技術細節上沒有其他的要求；
但同時隨著數據量的增大和分庫的進行，在數據庫的設計、調優以及維護上需要做的更好，因此對這些方面的技術還是提出了很高的要求的。
第七步：分表、DAL和分布式緩存 隨著系統的不斷運行，數據量開始大幅度增長，這個時候發現分庫后查詢仍然會有些慢，于是按照分庫的思想開始做分表的工作，當然，這不可避免的會需要對程序 進行一些修改，也許在這個時候就會發現應用自己要關心分庫分表的規則等，還是有些復雜的，于是萌生能否增加一個通用的框架來實現分庫分表的數據訪問，這個在ebay的架構中對應的就是DAL，這個演變的過程相對而言需要花費較長的時間，當然，也有可能這個通用的框架會等到分表做完后才開始做，同時，在這個階段可 能會發現之前的緩存同步方案出現問題，因為數據量太大，導致現在不太可能將緩存存在本地，然后同步的方式，需要采用分布式緩存方案了，于是，又是一通考察和折磨，終于是將大量的數據緩存轉移到分布式緩存上了。

第八步、增加更多的Web Server

第九步：數據讀寫分離和廉價存儲方案
突然有一天，發現這個完美的時代也要結束了，數據庫的噩夢又一次出現在眼前了，由于添加的webserver太多了，導致數據庫連接的資源還是不夠用，而這個時候又已經分庫分表了，開始分析數據庫的壓力狀況，可能會發現數據庫的讀寫比很高，這個時候通常會想到數據讀寫分離的方案，當然，這個方案要實現并不 容易，另外，可能會發現一些數據存儲在數據庫上有些浪費，或者說過于占用數據庫資源，因此在這個階段可能會形成的架構演變是實現數據讀寫分離，同時編寫一些更為廉價的存儲方案，例如BigTable這種。

第十步：進入大型分布式應用時代和廉價服務器群夢想時代
經過上面這個漫長而痛苦的過程，終于是再度迎來了完美的時代，不斷的增加webserver就可以支撐越來越高的訪問量了，對于大型網站而言，人氣的重要毋 庸置疑，隨著人氣的越來越高，各種各樣的功能需求也開始爆發性的增長，這個時候突然發現，原來部署在webserver上的那個web應用已經非常龐大 了，當多個團隊都開始對其進行改動時，可真是相當的不方便，復用性也相當糟糕，基本是每個團隊都做了或多或少重復的事情，而且部署和維護也是相當的麻煩， 因為龐大的應用包在N臺機器上復制、啟動都需要耗費不少的時間，出問題的時候也不是很好查，另外一個更糟糕的狀況是很有可能會出現某個應用上的bug就導 致了全站都不可用，還有其他的像調優不好操作（因為機器上部署的應用什么都要做，根本就無法進行針對性的調優）等因素，根據這樣的分析，開始痛下決心，將 系統根據職責進行拆分，于是一個大型的分布式應用就誕生了，通常，這個步驟需要耗費相當長的時間，因為會碰到很多的挑戰： 1、拆成分布式后需要提供一個高性能、穩定的通信框架，并且需要支持多種不同的通信和遠程調用方式； 2、將一個龐大的應用拆分需要耗費很長的時間，需要進行業務的整理和系統依賴關系的控制等； 3、如何運維（依賴管理、運行狀況管理、錯誤追蹤、調優、監控和報警等）好這個龐大的分布式應用。 經過這一步，差不多系統的架構進入相對穩定的階段，同時也能開始采用大量的廉價機器來支撐著巨大的訪問量和數據量，結合這套架構以及這么多次演變過程吸取的經驗來采用其他各種各樣的方法來支撐著越來越高的訪問量。