datax開啟hana支持以及dolphinscheduler開啟datax任務(wù)

前面(@,@)

前段時間因為要做異構(gòu)數(shù)據(jù)導(dǎo)入導(dǎo)出，所以搜了下，發(fā)現(xiàn)這類工具收費的居多，使用起來未必趁手~
于是我找了下相關(guān)開源工具,目前，對于非開源的，我找到的大概有三種方式:

1.springboot+mybatis寫代碼做導(dǎo)入導(dǎo)出->固定表可以這樣做，換張表結(jié)構(gòu)不一樣又要重新開發(fā)
2.使用kattle...一開始同事用的這款工具，不過它太重了，啟動卡半天、操作個字段也卡半天，換個表還要重新建任務(wù)，屎一樣的操作體驗...
3.使用datax,需要配置環(huán)境（java、python) ，以及寫任務(wù)文件(json) 似乎也不是很高效快捷，真難為我了

直到最近我發(fā)現(xiàn)了一款工具可以配合著dolphinscheduler使用，那體驗簡直了..：爽歪歪??,這次我就講講如何操作~

一.準(zhǔn)備

1.java環(huán)境(默認(rèn)您已經(jīng)安裝)
2.python環(huán)境(默認(rèn)您已經(jīng)安裝),我這邊使用linux自帶的2.7版本
3.dolphinschedule (默認(rèn)您已經(jīng)安裝)
4.下載并解壓datax安裝版(我使用的是2022年3月份左右的版本)https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/20220530/datax.tar.gz
5.測試表及數(shù)據(jù)：


-- postgresql(pg)
CREATE  TABLE TMPP ( 
 ID int8 primary key, 
 NUM int4, 
 NAME VARCHAR(20) , 
 EXT1 date , 
 EXT2 timestamp ,
 EXT3 timestamp , 
 EXT4 DECIMAL(20, 4) , 
 EXT5 text    , 
 EXT6 CHAR(1) , 
 EXT7 float4  
);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (-3,33,'這是名稱',NULL,NULL,NULL,830.9123,NULL,NULL,NULL);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (-2,22,'n_22','2021-10-28','2021-10-27 11:46:25.000','2021-10-29 11:46:33.000',999.1230,'hello youth!','2',19.8799991607666);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (-1,11,'n_11',NULL,NULL,NULL,NULL,NULL,NULL,NULL);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (0,1000,'NAME_1000',NULL,'2021-10-28 16:23:30.000',NULL,NULL,NULL,NULL,NULL);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (1,1001,'NAME_1001','2021-10-28',NULL,'2021-10-28 16:22:41.000',177.3330,'你好啊~','0',NULL);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (-99,99,'hello hana','2021-11-02','2021-11-02 14:56:45.758','2021-11-02 14:56:45.758',99.9900,'HELLO TEXT','9',22.329999923706055);
  
-- hana(sap db)
CREATE ROW TABLE "TMPP" ( "ID" INT CS_INT NOT NULL, "NUM" INT CS_INT, "NAME" NVARCHAR(20) CS_STRING, "EXT1" DAYDATE CS_DAYDATE, "EXT2" LONGDATE CS_LONGDATE, "EXT3" LONGDATE CS_LONGDATE, "EXT4" DECIMAL(20, 4) CS_FIXED, "EXT5" CLOB MEMORY THRESHOLD 1000 , "EXT6" CHAR(1) CS_FIXEDSTRING, "EXT7" DOUBLE CS_DOUBLE );
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (-3,33,'這是名稱',NULL,NULL,NULL,830.9123,NULL,NULL,NULL);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (-2,22,'n_22','2021-10-28','2021-10-27 11:46:25.000','2021-10-29 11:46:33.000',999.1230,NULL,'2',19.8799991607666);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (-1,11,'n_11',NULL,NULL,NULL,NULL,NULL,NULL,NULL);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (0,1000,'NAME_1000',NULL,'2021-10-28 16:23:30.000',NULL,NULL,NULL,NULL,NULL);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (1,1001,'NAME_1001','2021-10-28',NULL,'2021-10-28 16:22:41.000',177.3330,NULL,'0',NULL);
INSERT INTO TMPP (ID,NUM,NAME,EXT1,EXT2,EXT3,EXT4,EXT5,EXT6,EXT7) VALUES (-99,99,'hello postgres','2021-11-02','2021-11-02 14:56:45.758','2021-11-02 14:56:45.758',99.9900,NULL,'9',22.329999923706055);

二.`datax`(通用`rdbms`方式)開啟`hana`支持

首先，要說明的是一般datax支持hana有兩種方式：

1.二次開發(fā)，寫hana專屬的writer以及reader插件->配置jdbc->編譯上線
2.直接使用datax提供的rdbmswriter以及rdbmsreader插件->添加jdbc->配置對應(yīng)的plugin.json中的driver路徑即可
這里我使用的是第二種方式，當(dāng)然下面也會講到這中間碰到的坑哈??

2.1 `datax`的基本結(jié)構(gòu)

上圖為datax解壓后的主目錄.

bin:啟動腳本，主要是python腳本，啟動一個任務(wù)實例時會用到
conf: 一些基本的配置文件，很少用到
job: 任務(wù)配置文件(json格式),這個目錄是可選的，一般手寫任務(wù)配置文件會放到這個目錄
lib: 通用及基本的jar包依賴
log: 任務(wù)日志目錄，這個目錄也是可選的，一般是啟動任務(wù)時指定
log_perf: 也是任務(wù)執(zhí)行統(tǒng)計日志文件，一般是空的
plugin: 里面包含具體的writer以及reader插件及插件配置
script: 腳本目錄，這也是可選的，一般腳本文件是統(tǒng)一采用git等版本管理
tmp: 臨時目錄，個人建的哈????

2.2 添加`jdbc`驅(qū)動文件(jar)

一般這個jdbc需要到包管理網(wǎng)站或者對應(yīng)數(shù)據(jù)庫廠商官網(wǎng)下載，這里下hana的driver：https://mvnrepository.com/artifact/com.sap.cloud.db.jdbc/ngdbc
這里的主要操作是將下載好的jar包放到lib目錄內(nèi)，這里需要特別說明的是:網(wǎng)上有博客寫的是放入的plugin目錄，可能我的版本較新或者和他們的集成方式不同吧，對我來說這個jar放入到plugin目錄肯定是不行的！！！
以下是我的lib目錄：

2.3 給通用`rdbms`添加`hana`支持

這個操作在plugin目錄下，對應(yīng)其中的plugin/writer/rdbmswriter 以及 plugin/reader/rdbmsreader目錄下的plugin.json文件 ,修改drivers這一項，這個一定不能錯！！！
下圖為我添加的 hana driver :

到這里，datax的hana配置已經(jīng)ok了，下面是dolphinscheduler內(nèi)的datax相關(guān)配置~

三.`dolphinscheduler`中配置`datax`環(huán)境變量

其實這一步很簡單，主要是在dolphinscheduler的->安全中心->環(huán)境管理 菜單下配置datax的位置，這步操作一定要在管理員賬號 (admin)下操作，一般普通用戶是沒有權(quán)限的，這個很重要!!!
如果您是多機集群部署，建議將datax放在相同的目錄位置，不然統(tǒng)一的環(huán)境變量找不到，同時JAVA_HOME這個環(huán)境變量也建議配置下，不然會有些莫名其妙的問題發(fā)生就不好了????

以下是我的配置：

oh，我忘記了，dolphinscheduler默認(rèn)是沒有hana的數(shù)據(jù)源支持的，需要的可以找我哦(后面會有博客聊到的，關(guān)注喲~)??

四.小測一下??

我的測試的是postgresql內(nèi)的數(shù)據(jù)抽取到hana 以及 hana的數(shù)據(jù)抽取到postgresql 兩個任務(wù)，由于dolphinscheduler的基本使用上一篇博客已經(jīng)講過了(具體看這個:http://www.rzrgm.cn/funnyzpc/p/16395094.html )，這里我只給出具體的任務(wù)節(jié)點配置哈??

(dolphinscheduler任務(wù)具體配置,表sql腳本上文有)

postgresql to hana
hana to postgresql
執(zhí)行結(jié)果:

還有幾個小的注意事項是：

dolphinscheduler的datax任務(wù)下查詢sql需要將字段顯式的寫出，不可以用*號代替
查詢的字段要注意不同的數(shù)據(jù)庫下會有大小寫區(qū)分,比如否用 ` 以及 " 裝飾字段別名
dolphinscheduler下配置datax任務(wù)時 環(huán)境名稱 (配置的datax環(huán)境變量) 這一項為必選，不然任務(wù)拋錯我不負(fù)責(zé)喲??

posted @ 2022-07-10 00:51 funnyZpC 閱讀(2805) 評論(0) 收藏舉報

刷新頁面返回頂部

funnyZpC

datax開啟hana支持以及dolphinscheduler開啟datax任務(wù)