smiecj

摘要： 背景 有個比較大的技術(shù)側(cè)需求: 將數(shù)據(jù)從 HDFS 遷移到 s3。當(dāng)然在真正遷移之前，還需要驗證遷移到 s3 的數(shù)據(jù)，和上層查詢器（hive、presto 之間的兼容性） 這里我們對一張業(yè)務(wù)表的數(shù)據(jù)做個簡單的遷移測試 驗證 數(shù)據(jù)遷移 為了讓 hdfs 指令能直接操作 s3 的數(shù)據(jù)，參考 Using 閱讀全文

摘要： 背景 用戶需求: 需要將 mongodb 的數(shù)據(jù)同步到 hive 表，共 2 億+條數(shù)據(jù)，總數(shù)據(jù)量約 30G 查閱一些博客后，大致同步方法有以下幾種 手動+離線 對于比較小的數(shù)據(jù)，可以先通過 mongoexport 將數(shù)據(jù)導(dǎo)出到本地 json 文件，再將 json 直接上傳到 hdfs，創(chuàng)建 hiv 閱讀全文