學而不思則罔，思而不學則殆

背景： 本文FGC排查方法包含 Metastore 和 HiveServer2服務，Metastore是一個相對成熟的服務，通常情況下不會發生特殊的異常，Hive FGC 通常是由兩種情況導致： 一是因為任務量得到增長導致現有服務示例不能滿足當前任務的請求量，這類情況通過查看對應服務的連接數，任務數 Read More

#問題背景 在開啟了Hive表 ORC+SNAPPY后，生產問題收到如下異常 Caused by: java.io.EOFException: Read past end of RLE integer from compressed stream Stream for column 1 kind S Read More

一、 問題現象 查看yarn 日志確認是在 shuffle 階段 發生了異常 二、 初步分析 MR 流程總覽 從異常棧來看，發生了shuffle的OOM，在shuffle階段，會將map的output數據給取下來，然后根據相關參數值確認昂前shuffle可使用內存，決定是放進內存中，還是存儲到磁盤里 Read More

一、 問題現象 生產環境開啟默認壓縮后，Hive任務在觸發MapJoin優化時會偶發OOM，如下圖 二、 初步分析 從報錯日志上面可以明顯看出，maplocaltask 總共的分配內存2092433408處理行數：200000 哈希表大小：199999 內存使用量：1089164624 比例：0.5 Read More

最近預研一個新項目，需要裝一個mysql，因為以前裝過，原本以為很簡單，大概半小時搞定，但是沒想到搞了一晚上，記錄一下完整步驟和遇到的問題。 1、軟件版本和安裝包準備 centos7 mysql5.7 官網下載地址：https://dev.mysql.com/downloads/mysql/5.7. Read More

1、首先打開 hive DEBUG日志，執行以下命令，直接將日志輸出到控制臺 2、我們知道HIVE啟動過程中，首先會先連接hive metastore，然后在連接HDFS namenode，我們可以根據日志時間點來判斷和排查哪一步執行時間過長導致。 3、如果是hive metastore 連接過慢， Read More

背景： 一次線上問題的綜合排查排查，兩個相同的系統的某個模塊，數據量更少的系統查詢更慢。 先說下整體思路： 1. 查看系統整理負載，網絡有100左右毫秒的延遲，看起來影響不大 1. 查看正序運行整體情況，一次查詢會經歷3次FGC，有問題，解決后雖然會快一些但是還是有點慢 1. 跟蹤調用棧，發現有點在 Read More

若在Hive中執行INSERT OVERWRITE重寫同一個表的數據時，有可能會造成數據丟失。 如 INSERT OVERWRITE TABLE table_name SELECT FROM table_name 一、新建一張分區表 二、插入一條記錄 三、確認表數據及結構 四、在表中間新增字段 五、 Read More

問題1:namenode進程故障 Namenode掛掉，Namenode gc日志里面YGC報錯promotion failed 現象描述 NameNode進程掛掉，Namenode gc日志里面YGC報錯promotion failed。 可能原因 Young gc的時候，需要復制eden區和fr Read More

數據丟失是一件非常嚴重的事情事，針對數據丟失的問題我們需要有明確的思路來確定問題所在，針對這段時間的總結，我個人面對kafka 數據丟失問題的解決思路如下： 是否真正的存在數據丟失問題，比如有很多時候可能是其他同事操作了測試環境，所以首先確保數據沒有第三方干擾。 理清你的業務流程，數據流向，數據到底 Read More