摘要：
日常問題排查-Younggc突然變長 前言 研發突然反饋一個版本上線后線上系統younggc時間變長，而這個版本修改的代碼就是非常普通的CRUD，但是younggc時間就硬生生暴漲了100%。導致天天告警，雖然問題不大，但非常想知道原因，于是向我求助。 問題現場 如下圖所示,younggc一個版本后 閱讀全文
posted @ 2025-10-20 09:20
無毀的湖光-Al
閱讀(196)
評論(0)
推薦(1)
摘要：
Prometheus時序數據庫-磁盤中的存儲結構 前言 之前的文章里，筆者詳細描述了監控數據在Prometheus內存中的結構。而其在磁盤中的存儲結構，也是非常有意思的,關于這部分內容，將在本篇文章進行闡述。 磁盤目錄結構 首先我們來看Prometheus運行后，所形成的文件目錄結構 在筆者自己的機 閱讀全文
posted @ 2021-03-01 09:59
無毀的湖光-Al
閱讀(1477)
評論(3)
推薦(2)
摘要：
Prometheus時序數據庫-內存中的存儲結構 前言 筆者最近擔起了公司監控的重任，而當前監控最流行的數據庫即是Prometheus。按照筆者打破砂鍋問到底的精神，自然要把這個開源組件源碼搞明白才行。在經過一系列源碼/資料的閱讀以及各種Debug之后，對其內部機制有了一定的認識。今天，筆者就來介紹 閱讀全文
posted @ 2021-02-22 10:42
無毀的湖光-Al
閱讀(2847)
評論(6)
推薦(2)
摘要：
從Linux源碼看Socket(TCP)的accept 前言 筆者一直覺得如果能知道從應用到框架再到操作系統的每一處代碼，是一件Exciting的事情。 今天筆者就從Linux源碼的角度看下Server端的Socket在進行Accept的時候到底做了哪些事情(基于Linux 3.10內核)。 一個最 閱讀全文
posted @ 2020-12-07 12:18
無毀的湖光-Al
閱讀(1883)
評論(7)
推薦(4)
摘要：
從Linux源碼看TIME_WAIT狀態的持續時間 前言 筆者一直以為在Linux下TIME_WAIT狀態的Socket持續狀態是60s左右。線上實際卻存在TIME_WAIT超過100s的Socket。由于這牽涉到最近出現的一個復雜Bug的分析。所以，筆者就去Linux源碼里面，一探究竟。 首先介紹 閱讀全文
posted @ 2020-10-27 11:27
無毀的湖光-Al
閱讀(2765)
評論(2)
推薦(3)
摘要：
自己動手寫SQL執行引擎 前言 在閱讀了大量關于數據庫的資料后，筆者情不自禁產生了一個造數據庫輪子的想法。來驗證一下自己對于數據庫底層原理的掌握是否牢靠。在筆者的github中給這個database起名為Freedom。 整體結構 既然造輪子，那當然得從前端的網絡協議交互到后端的文件存儲全部給擼一遍 閱讀全文
posted @ 2020-09-25 10:17
無毀的湖光-Al
閱讀(6147)
評論(41)
推薦(60)
摘要：
解Bug之路-記一次對端機器宕機后的tcp行為 前言 機器一般過質保之后，就會因為各種各樣的問題而宕機。而這一次的宕機，讓筆者觀察到了平常觀察不到的tcp在對端宕機情況下的行為。經過詳細跟蹤分析原因之后，發現可以通過調整內核tcp參數來減少宕機造成的影響。 Bug現場 筆者所在的公司用某個中間件的古 閱讀全文
posted @ 2020-09-21 10:16
無毀的湖光-Al
閱讀(2903)
評論(6)
推薦(10)
摘要：
其實這個問題筆者一直遇到，而且解決方案也一直有，但從沒有真正的仔細思考過。但最近讀《tcpip路由技術》卷二突然靈光一閃，將書中的一些闡述和這個問題莫名的關聯想通了其中的關竅 閱讀全文
posted @ 2025-05-06 09:20
無毀的湖光-Al
閱讀(3758)
評論(12)
推薦(25)
摘要：
前言 日常Bug排查系列都是一些簡單Bug的排查。筆者將在這里介紹一些排查Bug的簡單技巧，同時順便積累素材。 Bug現場 線上連續兩天出現NP異常，而且都是凌晨低峰期才出現，在凌晨的流量遠沒有白天高峰期大。而出問題的接口又是通常的業務請求。于是，很自然的，我們就想凌晨有什么特殊的運維動作，翻了下時 閱讀全文
posted @ 2024-06-26 09:00
無毀的湖光-Al
閱讀(1642)
評論(0)
推薦(4)
摘要：
日常Bug排查-MVCC和for update混用導致讀數據不一致 前言 日常Bug排查系列都是一些簡單Bug的排查。筆者將在這里介紹一些排查Bug的簡單技巧，同時順便積累素材。 Bug現場 又是喜聞樂見的讀數據不一致的問題。這次的問題是這樣，業務在一個事務中更新A和B兩個表的兩個數據。但是在另一個 閱讀全文
posted @ 2024-06-03 09:00
無毀的湖光-Al
閱讀(377)
評論(0)
推薦(1)
摘要：
日常Bug排查-偶發性讀數據不一致 前言 日常Bug排查系列都是一些簡單Bug的排查。筆者將在這里介紹一些排查Bug的簡單技巧，同時順便積累素材。 Bug現場 業務場景 先描述這個問題出現的業務場景。這是一個支付的場景，如果支付成功了，我們就把支付狀態置為success(主單據更新)同時寫入支付成功 閱讀全文
posted @ 2024-05-20 09:00
無毀的湖光-Al
閱讀(1825)
評論(11)
推薦(7)
摘要：
日常Bug排查-連接突然全部關閉 前言 日常Bug排查系列都是一些簡單Bug的排查。筆者將在這里介紹一些排查Bug的簡單技巧，同時順便積累素材。 Bug現場 最近碰到一個問題，一臺機器上的連接數在達到一定連接數(大概4.5W)連接數之后會突然急速下降到幾百。在應用上的表現就是大量的連接報錯，系統失去 閱讀全文
posted @ 2024-05-13 09:00
無毀的湖光-Al
閱讀(3024)
評論(15)
推薦(19)
摘要：
前言 日常Bug排查系列都是一些簡單Bug排查。筆者將在這里介紹一些排查Bug的簡單技巧，同時順便積累素材_ Bug現場 最近碰到一個產線問題，表現為某個應用集群所有的節點全部下線了。導致上游調用全部報錯。而且從時間線分析來看。這個應用的節點是逐步失去響應的。因為請求量較小，直到最后一臺也失去響應后 閱讀全文
posted @ 2024-01-15 09:00
無毀的湖光-Al
閱讀(1920)
評論(7)
推薦(7)
摘要：
日常Bug排查系列都是一些簡單Bug排查。問題雖小，但經常遇到，了解這些問題，會讓我們少走點彎路，提升效率。說不定有些問題你遇到過哦:) Bug現場 業務開發同學突然問了筆者一個問題，從庫讀會不會沒有原子性？我下意識的反應怎么可能，只要是遵守MySQL主從Replication協議的原子性至少是能夠 閱讀全文
posted @ 2023-09-27 16:39
無毀的湖光-Al
閱讀(1098)
評論(5)
推薦(6)
摘要：
前言 監控指標誠然是發現問題于微末之時的極佳手段，但指標往往有其表達的極限。在很多情況下，單獨看一個黃金指標并不能表征系統的健康程度，反而有可能被其迷惑，進而忽略相關問題。(本文所提及的Linux Kernel源碼版本為4.18.10) Bug現場 某天中午，某應用的999線突然升高。由于是個QPS 閱讀全文
posted @ 2023-04-11 10:10
無毀的湖光-Al
閱讀(2160)
評論(3)
推薦(13)
摘要：
解Bug之路-ZooKeeper集群拒絕服務 前言 ZooKeeper作為dubbo的注冊中心，可謂是重中之重，線上ZK的任何風吹草動都會牽動心弦。最近筆者就碰到線上ZK Leader宕機后，選主無法成功導致ZK集群拒絕服務的現象，于是把這個case寫出來分享給大家(基于ZooKeeper 3.4. 閱讀全文
posted @ 2021-06-22 09:50
無毀的湖光-Al
閱讀(4285)
評論(9)
推薦(17)
浙公網安備 33010602011771號