1. 水平擴展

1.1. 增加服務器來增加容量

1.1.1. 這些服務器集群被稱為“農場”

1.2. 負載均衡的服務器集群

1.2.1. 不易遭遇單點系統失效

1.2.2. 高負載比低負載更易導致競態條件的并發缺陷

1.3. 如果雙節點集群出現失效，那么幸存服務器的工作負載將增加一倍

1.4. 承擔其原始負載（占總負載的一半），也要承擔失效節點的負載（另一半）

2. 垂直擴展

2.1. 構建越來越大的服務器

2.1.1. 為主機添加CPU核數、內存和存儲空間

3. 部分交互式工作負載通過垂直擴展實現，大多數交互式工作負載則依賴水平擴展

4. 同層連累反應

4.1. 由于一臺服務器停機，其他服務器必須負擔其工作負載，這樣就會發生同層連累反應

4.2. 如果應用程序存在缺陷（通常是資源泄漏或與負載相關的崩潰），就會發生

4.2.1. 如果應用程序發生內存泄漏，便會發生同層連累反應

4.2.2. 同構層的每臺服務器都會有同樣的缺陷

4.2.3. 當一臺服務器耗盡內存并停機時，其他服務器不得不負擔它的工作負載，但所增加的流量會加快內存泄漏

4.3. 尋找難以捕捉的時序缺陷

4.3.1. 流量狀況也可能引發難以捕捉的競態條件

4.3.2. 同構層的每臺服務器都會有同樣的缺陷

4.3.3. 如果一臺服務器陷入死鎖，其他服務器所增加的負載也極易使它們陷入死鎖

4.4. 修復潛在的軟件缺陷成了避免同層連累反應的唯一方法

4.5. 某一層上同層連累反應的系統失效容易導致其調用層上的層疊失效

4.6. 艙壁模式

4.6.1. 分隔服務器，可以防止同層連累反應毀掉整個系統服務

4.7. 將一層細分成多個池

4.7.1. 將單個同層連累反應分成速率不同的同層連累反應

4.8. 采用自動擴展

4.8.1. 將關閉未通過健康狀況檢查的服務器實例，并啟動新的實例

4.8.2. 只要自動擴展機制的響應速度比同層連累反應的蔓延速度快，那么系統服務就依然可用

5. 層疊失效

5.1. 有一個將系統失效從一個層級傳到另一個層級的機制

5.2. 當服務提供方的系統失效狀態觸發調用層的不良反應時，系統失效就會“跳過層級之間的間隙”，蔓延開來

5.3. 推測性重試也會讓系統失效“跳過層級之間的間隙”而蔓延

5.4. 通常源于枯竭的資源池

5.4.1. 資源池枯竭的原因往往是較低層級所發生的系統失效

5.5. 下層提供的細節不足以區分是瞬態錯誤還是更嚴重的錯誤

5.5.1. 一旦下層開始出現一些真正的問題

5.5.2. 調用層就開始越來越頻繁地訪問下層

5.5.3. 下層越難以響應，調用層訪問越頻繁

5.5.4. 調用層會傾盡全部CPU資源調用下層，并把調用失敗記錄到日志中

5.6. 沒有設置超時時間的集成點，必定會導致層疊失效

5.6.1. 集成點是裂紋的頭號來源

5.6.2. 層疊失效是裂紋的頭號加速器

5.7. 防止發生層疊失效，是保障系統韌性的關鍵

5.7.1. 斷路器和超時是克服層疊失效最有效的模式

5.7.2. 斷路器模式通過避免向已經陷入困境的集成點發出調用請求，進而保護系統

5.7.3. 使用超時模式，可以確保對有問題的集成點的調用能及時返回