lixinliang

摘要： 需求 滿足產(chǎn)品數(shù)據(jù)團(tuán)隊(duì)計(jì)算相關(guān)需求，搭建spark集群，本集群為一主兩從(兩臺(tái)設(shè)備) 部署環(huán)境 服務(wù)器資源 docker-compose 安裝 curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-comp 閱讀全文

摘要： 需求 DTS傳輸同步數(shù)據(jù)的需求，需要將mongodb里的數(shù)據(jù)更新、數(shù)據(jù)增加操作同步給FC函數(shù) MongoDB中的Oplog（操作日志）是一個(gè)特殊的集合，用于記錄數(shù)據(jù)庫的所有操作。Oplog是MongoDB復(fù)制集中的一個(gè)重要組成部分，它允許從節(jié)點(diǎn)通過讀取Oplog來實(shí)現(xiàn)與主節(jié)點(diǎn)的數(shù)據(jù)同步。所以要把單實(shí) 閱讀全文