Dava Blog

數據團隊運維值班主要有以下幾類工作：

一、跑批任務運維

一般來說，大部分非實時數據系統的數據時效為T-1，每日上班前要能展示昨日的數據。一般會在夜間進行對昨日的數據進行批處理。若批處理程序出現錯誤，則需要人工進行介入處理。

錯誤一般分為兩種，平臺工具問題與批處理程序問題。

平臺工具類問題，典型案列有：

　　1、ETL工具ODI中存在中間組件取名重復問題，當多個組件同時運行時，會存在命名沖突

　　2、大數據平臺中任務節點內存分配不夠，采集并發度太高導致異常。

　　3、Mysql中審計日志空間不夠

　　4、ETL工具服務器（如ODI、Kettle等）出錯，導致批處理程序沒有啟動

批處理程序問題典型案例有：

　　1，Oracle中視圖語法錯誤導致編譯失敗

　　2，數據格式錯誤，典型如數字列中存入了字符串

　　3，數據長度錯誤，由于某些序號列是自增長列，當使用到一定時間后，會超出原來設計的長度或者超出系統默認的最大長度

　　4，外部供應商數據供數延遲（如每日通過郵件發送數據）

二、數據問題核查

　　1，少量數據少了：此時往往是前一天數據同步錯誤

　　2，數據錯了：數據系統中某些數據指標和源系統無法匹配，此時可能是指標的邏輯口徑不一致造成，需要排查數據系統中的計算邏輯

　　3，大批量的數據缺失：此時往往是業務源系統做了批量數據遷移而沒有通知下游數據系統

三、數據平臺或工具類使用答疑

1、報表工具類

　　部分報表（如：網易BI、FineBI、OBIEE）支持業務自助分析，此時一些新手業務人員在自行設計報表或者報告時由于不熟悉其功能，會導致制作出來的報表數據明顯異常或者無法制作其想要的報表。

四、權限類問題處理

最常見的就是看不到某個報表或者報表中看不到某些數據。權限問題一般比較復雜，可能會涉及到盤綜復雜的歷史原因。