2022年12月18日上午，阿里云發布《阿里云香港可用區C某機房設備異常》公告。“阿里云監控發現香港地域某機房設備異常，影響香港地域可用區C的云服務器ECS、云數據庫PolarDB等云產品使用，阿里云工程師已在緊急處理中。”

在這個寒冷的冬天，一個炸雷給業界驚起了一個大波浪。很多人不解的是說好的高可用呢。說好的N個9呢？SLA 就是個笑話，服務該掛不還是掛了。雖然經過十幾個小時，阿里云香港節點服務恢復了，數據也恢復了，終于可以讓各位老板松了口氣，估計很多運維的小伙伴已經開始遷移服務或者開始做備份了。

但是并不是每個公司都這么幸運，不知道還有誰記得「前沿數控」這個公司，當初因為所有數據都在云硬盤上，結果因為云硬盤故障，導致公司的所有數據全部丟失，一夜回到解放前，也不知道官司現在結果如何了。

經過阿里云這次大故障，估計很多老板都會考慮可靠性的問題了，尤其是服務和數據的安全。再心大的老板估計也得讓人做個服務和數據的冷備份，稍微懂點的得用混合云搞搞，估計再也沒人嘲笑那些自建小容器云、自建機房的公司了。

公有云故障和公司內部服務處理方式區別很大

之前一個老板問我說公司內部要不要搞一個StatusPage？我說可以搞，但是優先級不高，等以后有精力有時間了可以搞。公司內部的很多服務會不會出問題，哪里出問題，怎么解，其實很多時候都是有固定答案的，你一回想就能知道哪里可能有問題。很多時候我們并不是缺少一個和用戶溝通的渠道，而是我們故障預案都沒有，也從來沒有演練過。出故障是肯定的，只是不確定什么時候發生而已。先把重要的事，不做就得死的事做了、做好了再考慮其它的。

StatusPage，一句話描述就是：當你的在線業務宕機時，StatusPage 允許你和你的客戶進行溝通，告知他們當前服務的狀態和問題處理進展。業務正常服務狀態下，客戶也可以查看當前服務狀態是否正常。同時，客戶也可以查看這一業務所有歷史上的問題發生和處理記錄。

公司內部我們有很多的渠道與用戶溝通。在公司內部，一般都有系統的用戶群，當服務掛了，各種監控告警就會發出來，系統相關人都會注意到，第一時間在群內周知。這個和公有云的服務還是有很大不同的。

再好的預案沒演練過也只是預案

就像平時，很多公司都會聲稱我們的系統有備份能還原。實際上很多時候也只是一個備份、還原「預案」。結果最后真的需要還原的時候發現，要么備份沒成功，要么備份成功了但是數據陳舊，要么找到數據了但是無法還原。。。。總之結論就是沒法還原。做這行久了，八卦也就有了，我身邊血淋淋的案例太多了，此處我想 at 下我全大哥 :)

線上服務故障演練

我們真的需要對線上服務進行故障演練。針對各種故障場景下服務的容錯能力、配置合理性、服務健壯性、監控告警實效性、定位與解決問題應急能力等進行演練。發現線上服務的薄弱環節，提升服務的容錯性和可恢復性。

別有僥幸心理，踏實干事，一步一個腳印才能讓掉坑里的次數少點。

相關閱讀

中國云服務走向全球？先把 Status Page 搞定

我們可以信任阿里云的故障處理嗎?

阿里云香港節點全面故障給我們的啟示