HBase解決Region Server Compact過程占用大量網絡出口帶寬的問題

HBase集群（版本為0.94.0）運行過程中，發現5臺Region Server的網絡出口帶寬經常維持在100MB/s以上，接近到網卡的極限；同時Region Server的機器load負載也很高，高峰時候能夠達到30~50。本文將詳細描述該問題的發現及排查解決過程。

作者: 大圓那些事 | 文章可以轉載，請以超鏈接形式標明文章原始出處和作者信息

網址: http://www.rzrgm.cn/panfeng412/archive/2012/10/17/how-to-resolve-hbase-region-server-compaction-taking-up-too-much-network-bandwidth.html

1. 發現問題

HBase集群（版本為0.94.0）運行過程中，發現5臺Region Server的網絡出口帶寬經常維持在100MB/s以上，接近到網卡的極限；同時Region Server的機器load負載也很高，高峰時候能夠達到30~50。

2. 排查問題

1、集群實際運行過程中，觀察到Region Server服務端的網卡，平均每臺寫入流量大概60MB/s（此時寫入量已經很大了）；讀出流量90MB/s，有時甚至突破100MB/s（注：每臺機器都是千兆網卡）；

2、觀察實際的寫入數據量在每秒5w tps左右，單條記錄平均大小為1KB，大概會占用50MB/s左右的網卡入口帶寬請求量，和觀察到的現象一致；

3、觀察查詢量在每秒6w qps左右，單條記錄平均大小為1KB，大概會占用60MB/s左右的網卡出口帶寬請求量，奇怪的是實際觀察到有接近甚至超過100MB/s的網絡出口帶寬請求量，多出了40MB/s左右的網絡出口帶寬；

4、經分析排查確定導致上述過程的原因，可能是HBase服務端由于寫入量過大頻繁觸發compaction過程，而compaction是需要讀HBase數據的，因此占據了相當部分的網絡出口帶寬；

5、結合對相關源碼org/apache/hadoop/hbase/regionserver/CompactSplitThread.java的分析，決定對HBase集群配置做出變更（具體見下一小節），主要目的是減少compaction的發生；

6、接下來，觀察到Region Server的網絡利用率明顯降低，一般進出口帶寬能維持在70MB/s以下。

3. 解決問題

HBase 0.92版本之后增加了關于compact的配置選項，compact分為small compaction和large compaction兩個線程池執行（默認都是各有1個線程，具體源代碼見：org/apache/hadoop/hbase/regionserver/CompactSplitThread.java），由于compact過程需要從HBase集群讀取數據，因此實際運行中導致了compact占用大量網絡出口流量，解決方案為選擇性地關閉small compaction或large compaction。有以下兩種變更方式均可解決：

1）方案一

（1）修改hbase.regionserver.thread.compaction.throttle為一個很大的值（如50GB），強制讓所有compact都變為small compaction，減少compact的壓力；

（2）將small compaction和large compaction線程數均設置為1，減少compact的壓力（可不配置，系統默認也會將其初始化為1）。

操作步驟：

準備hbase-site.xml文件，添加或修改如下選項：

<property>
    <name>hbase.regionserver.thread.compaction.throttle</name>
    <value>53687091200</value>
</property>
<property>
    <name>hbase.regionserver.thread.compaction.small</name>
    <value>1</value>
</property>
<property>
    <name>hbase.regionserver.thread.compaction.large</name>
    <value>1</value>
</property>

重啟集群使配置生效。

2）方案二

將small compaction線程數均設置為0，從而關閉small compaction，只剩下large compaction，也可減少compact的壓力。