長期從第三方獲取數據及回寫(兩個局域網之間)
因為項目業務需要,需要設計一套從第三方獲取數據并回寫的程序模型;
經過一段一段時間的查閱相關前輩博文及論壇相關文章,確定了一套模型,考慮到這套模型具有普遍適用性,所以記錄下來;
實際場景是:需要在互聯網與一個局域網之間進行數據交互;
方案如下:
1.數據是以文件的形式,通過網閘進行數據傳輸,可采用ftp進行文件上傳下載;
2.有4個模型節點:
模型節點1:get互聯網端的數據,通過網閘寫入局域網;
模型節點2:局域網內,consum掉節點1產生并傳輸到局域網的數據;
模型節點3:get局域網內產生的數據,通過網閘寫入外網;
模型節點4:互聯網中,consum掉節點3產生并傳輸到互聯網的數據;
核心點:
1.get數據;經過考量,決定以數據修改的changeTime為節點,每次獲取上一次changeTime節點后的數據,并更新changeTime;
2.文件大小;需要根據實際情況,限制每次查產生的數據文件的大小,避免內存溢出的情況發生,可在get數據時,簡單的通過“limit記錄數”來進行限制,也可以通過每次產生多個數據文件來解決這個問題;
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
ps:由于網絡波動及其它意外情況隨時可能發生,所以需要完善的“日志系統”及“應對數據文件異常或丟失情況的預處理方案”;

浙公網安備 33010602011771號