• ETL第一篇(Kettle Spoon) 初遇
• ETL第二篇 調(diào)用webservice

簡介

Kettle 是一款國外開源的 ETL 工具，純 Java 編寫，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定(數(shù)據(jù)遷移工具)。Kettle 中有兩種腳本文件，transformation 和 job，transformation 完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job 則完成整個(gè)工作流的控制。

Kettle 中文名稱叫水壺，該項(xiàng)目的主程序員MATT 希望把各種數(shù)據(jù)放到一個(gè)壺里，然后以一種指定的格式流出。

Kettle這個(gè)ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個(gè)圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。

安裝

這里用的是client-tools v8.1

• 下載: v8.1 ：https://excellmedia.dl.sourceforge.net/project/pentaho/Pentaho%208.1/client-tools/pdi-ce-8.1.0.0-365.zip
  (建議在瀏覽器打開, 再使用迅雷, 如果直接復(fù)制鏈接使用迅雷, 可能無法激活下載)

• 下載首頁: https://sourceforge.net/projects/pentaho/files/

• 配置好JAVA_HOME( 或者JRE_HOME), 運(yùn)行 spoon.bat 即可,
  建議右鍵打開power shell,或cmd, 然后輸入spoon.bat啟動, 這樣便于查看錯(cuò)誤

• JDBC驅(qū)動 [MySQL+SQL Server + Oracle] 鏈接: https://pan.baidu.com/s/1D-DxMMqxPM67Jxm4f49jzA 密碼: mj8b
  將需要用到的jar包提前放到data-integration/lib 或 data-integration/libswt/對應(yīng)的目錄下
  我這里是win64, 為了方便, 將需要的包發(fā)到了data-integration/libswt/win64/下

問題

• 如果提示javaw.exe文件找不到, 檢查JAVA_HOME (或者JRE_HOME)配置

• 如果提示JVM內(nèi)存過大之類的問題, 可修改spoon.bat中內(nèi)存配置
  (在117行左右)

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms512m" "-Xmx1024m" "-XX:MaxPermSize=256m"

使用技巧

1. 共享已連接的數(shù)據(jù)庫

配好了數(shù)據(jù)庫, 寫完第一個(gè)轉(zhuǎn)換, 準(zhǔn)備寫第二個(gè)轉(zhuǎn)換時(shí)發(fā)現(xiàn)數(shù)據(jù)又需要重新連接, 這里只需要右鍵已連接的數(shù)據(jù), 選擇[共享]即可;

參考文檔

• 開源中國項(xiàng)目頁
• 文檔