現(xiàn)在是一個(gè)Google的時(shí)代，而對(duì)于開(kāi)發(fā)者，開(kāi)源已成為最重要的參考書(shū)。對(duì)于某課題，不管你是深入研究還是初窺門(mén)徑。估且google一把，勾一勾同行的成就，你必會(huì)獲益良多。

    說(shuō)到ETL開(kāi)源項(xiàng)目，Kettle當(dāng)屬翹首，因此，偶決定花點(diǎn)時(shí)間了解一下。
    項(xiàng)目名稱很有意思，水壺。按項(xiàng)目負(fù)責(zé)人Matt的說(shuō)法：把各種數(shù)據(jù)放到一個(gè)壺里，然后呢，以一種你希望的格式流出。呵呵，外國(guó)人都很有聯(lián)想力。
    看了提供的文檔，然后對(duì)發(fā)布程序的簡(jiǎn)單試用后，可以很清楚得看到Kettle的四大塊：
    Chef——工作(job)設(shè)計(jì)工具 (GUI方式)
    Kitchen——工作(job)執(zhí)行器 (命令行方式)
    Spoon——轉(zhuǎn)換(transform)設(shè)計(jì)工具 (GUI方式)
    Span——轉(zhuǎn)換(trasform)執(zhí)行器 (命令行方式)

    嗯，廚師已經(jīng)在廚房里，勺子和盤(pán)子一應(yīng)俱全，且看能做出如何的大餐？

    一：Chef——工作(job)設(shè)計(jì)器
    這是一個(gè)GUI工具，操作方式主要通過(guò)拖拖拉拉，勿庸多言，一看就會(huì)。
    何謂工作？ 多個(gè)作業(yè)項(xiàng)，按特定的工作流串聯(lián)起來(lái)，開(kāi)成一項(xiàng)工作。正如：我的工作是軟件開(kāi)發(fā)。我的作業(yè)項(xiàng)是：設(shè)計(jì)、編碼、測(cè)試！先設(shè)計(jì)，如果成功，則編碼，否則繼續(xù)設(shè)計(jì)，編碼完成則開(kāi)始設(shè)計(jì)，周而復(fù)始，作業(yè)完成。
    來(lái)，看看Chef中的作業(yè)項(xiàng)：
    1.1： 轉(zhuǎn)換：指定更細(xì)的轉(zhuǎn)換任務(wù)，通過(guò)Spoon生成。通過(guò)Field來(lái)輸入?yún)?shù)。
    1.2： SQL：sql語(yǔ)句執(zhí)行，
    1.3： FTP：下載ftp文件。
    1.4： 郵件：發(fā)送郵件。
    1.5： 檢查表是否存在，
    1.6： 檢查文件是否存在，
    1.7： 執(zhí)行shell腳本。如：dos命令。
    1.8： 批處理。(注意：windows批處理不能有輸出到控制臺(tái))。
    1.9： Job包。作為嵌套作業(yè)使用。
    1.10：JavaScript執(zhí)行。這個(gè)比較有意思，我看了一下源碼，如果你有自已的Script引擎，可以很方便的替換成自定義Script，來(lái)擴(kuò)充其功能。
    1.11：SFTP：安全的Ftp協(xié)議傳輸。
    1.12：HTTP方式的上/下傳。

    好了，看看工作流：
    如上文所述，工作流是作業(yè)項(xiàng)的連接方式。分為三種：無(wú)條件，成功，失敗。這個(gè)沒(méi)啥好說(shuō)的，從名字就能知道它的意圖。
   嗯，為了方便工作流使用，提供了幾個(gè)輔助結(jié)點(diǎn)單元(你也可將其作為簡(jiǎn)單的作業(yè)項(xiàng))：
    1：Start單元，任務(wù)必須由此開(kāi)始。設(shè)計(jì)作業(yè)時(shí)，以此為起點(diǎn)。
    2：OK單元：可以編制做為中間任務(wù)單元，且進(jìn)行腳本編制，用來(lái)控制流程。
    3：ERROR單元：用途同上。
    4：DUMMY單元：啥都不做，主要是用來(lái)支持多分支的情況。文檔中有例子，不再多說(shuō)。

    存儲(chǔ)方式：
    支持XML存儲(chǔ)，或存儲(chǔ)到指定數(shù)據(jù)庫(kù)中。
    一些默認(rèn)的配置(如數(shù)據(jù)庫(kù)存儲(chǔ)位置……)，在系統(tǒng)的用戶目錄下，單獨(dú)建立了一個(gè).Kettle目錄，用來(lái)保存用戶的這些設(shè)置。 
    LogView：可查看執(zhí)行日志。

    二：Kitchen——作業(yè)執(zhí)行器
    是一個(gè)作業(yè)執(zhí)行引擎，用來(lái)執(zhí)行作業(yè)。這是一個(gè)命令行執(zhí)行工具，沒(méi)啥可講的，就把它的參數(shù)說(shuō)明列一下。
    -rep      : Repository name   任務(wù)包所在存儲(chǔ)名
    -user     : Repository username   執(zhí)行人
    -pass     : Repository password   執(zhí)行人密碼
    -job      : The name of the job to launch 任務(wù)包名稱
    -dir      : The directory (don't forget the leading / or \)
    -file     : The filename (Job XML) to launch
    -level    : The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing) 指定日志級(jí)別
    -log      : The logging file to write to  指定日志文件
    -listdir  : List the directories in the repository 列出指定存儲(chǔ)中的目錄結(jié)構(gòu)。
    -listjobs : List the jobs in the specified directory 列出指定目錄下的所有任務(wù)
    -listrep  : List the defined repositories 列出所有的存儲(chǔ)
    -norep    : Don't log into the repository  不寫(xiě)日志
    嗯，居然不支持調(diào)度?？戳艘幌挛臋n，建議使用操作系統(tǒng)提供的調(diào)度器來(lái)實(shí)現(xiàn)調(diào)度，比如：Windows可以使用它的任務(wù)計(jì)劃工具。

    三：Spoon——轉(zhuǎn)換過(guò)程設(shè)計(jì)器
    GUI工作，用來(lái)設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)換過(guò)程，創(chuàng)建的轉(zhuǎn)換可以由Pan來(lái)執(zhí)行，也可以被Chef所包含，作為作業(yè)中的一個(gè)作業(yè)項(xiàng)。
    下面簡(jiǎn)單列舉一下所有的轉(zhuǎn)換過(guò)程。(簡(jiǎn)單描述，詳細(xì)的可見(jiàn)Spoon文檔)

    3.1：Input-Steps：輸入步驟
    3.1.1：Text file input：文本文件輸入，
           可以支持多文件合并，有不少參數(shù)，基本一看參數(shù)名就能明白其意圖。
    3.1.2：Table input：數(shù)據(jù)表輸入
           實(shí)際上是視圖方式輸入，因?yàn)檩斎氲氖莝ql語(yǔ)句。當(dāng)然，需要指定數(shù)據(jù)源(數(shù)據(jù)源的定制方式在后面講一下)
    3.1.3：Get system info：取系統(tǒng)信息
           就是取一些固定的系統(tǒng)環(huán)境值，如本月最后一天的時(shí)間，本機(jī)的IP地址之類。
    3.1.4：Generate Rows：生成多行。
           這個(gè)需要匹配使用，主要用于生成多行的數(shù)據(jù)輸入，比如配合Add sequence可以生成一個(gè)指定序號(hào)的數(shù)據(jù)列。
    3.1.5：XBase Input：
    3.1.6：Excel Input：
    3.1.7：XML Input：
           這三個(gè)沒(méi)啥可講的，看看參數(shù)就明了。

    3.2：Output-Steps： 輸出步聚
    3.2.1：Text file output：文本文件輸出。
         這個(gè)用來(lái)作測(cè)試蠻好，呵呵。很方便的看到轉(zhuǎn)換的輸出。
    3.2.2：Table output：輸出到目的表。
    3.2.3：Insert/Update：目的表和輸入數(shù)據(jù)行進(jìn)行比較，然后有選擇的執(zhí)行增加，更新操作。
    3.2.4：Update：同上，只是不支持增加操作。
    3.2.5：XML Output：

    3.3：Look-up：查找操作
    DataBase:
    Stream：
    Procedure：
    Database join：
    很簡(jiǎn)單，看看參數(shù)就明白了。

    3.4：Transform  轉(zhuǎn)換 (嗯，重點(diǎn))
    3.4.1：Select values： 對(duì)輸入的行記錄數(shù)據(jù) 的字段進(jìn)行更改 (更改數(shù)據(jù)類型，更改字段名或刪除)
   數(shù)據(jù)類型變更時(shí)，數(shù)據(jù)的轉(zhuǎn)換有固定規(guī)則，可簡(jiǎn)單定制參數(shù)?？捎脕?lái)進(jìn)行數(shù)據(jù)表的改裝。
    3.4.2： Filter rows： 對(duì)輸入的行記錄進(jìn)行 指定復(fù)雜條件 的過(guò)濾。
          用途可擴(kuò)充sql語(yǔ)句現(xiàn)有的過(guò)濾功能。但現(xiàn)有提供邏輯功能超出標(biāo)準(zhǔn)sql的不多。
    3.4.3：Sort rows：對(duì)指定的列以升序或降序排序，當(dāng)排序的行數(shù)超過(guò)5000時(shí)需要臨時(shí)表。
    3.4.4：Add sequence：為數(shù)據(jù)流增加一個(gè)序列，
          這個(gè)配合其它Step(Generate rows, rows join)，可以生成序列表，如日期維度表(年、月、日)。
    3.4.5：Dummy：不做任何處理，主要用來(lái)作為分支節(jié)點(diǎn)。
    3.4.6：Join Rows：對(duì)所有輸入流做笛卡兒乘積。
    3.4.7：Aggregate：聚合，分組處理
    3.4.8：Group by：分組
   用途可擴(kuò)充sql語(yǔ)句現(xiàn)有的分組，聚合函數(shù)。但我想可能會(huì)有其它方式的sql語(yǔ)句能實(shí)現(xiàn)。
    3.4.9：Java Script value：使用mozilla的rhino作為腳本語(yǔ)言，并提供了很多函數(shù)，用戶可以在腳本中使用這些函數(shù)。
    3.4.10. Row Normaliser：該步驟可以從透視表中還原數(shù)據(jù)到事實(shí)表，
          通過(guò)指定維度字段及其分類值，度量字段，最終還原出事實(shí)表數(shù)據(jù)。
    3.4.11. Unique rows：去掉輸入流中的重復(fù)行
   在使用該節(jié)點(diǎn)前要先排序，否則只能刪除連續(xù)的重復(fù)行。 
    3.4.12. Calculator：提供了一組函數(shù)對(duì)列值進(jìn)行運(yùn)算，
          所介紹，使用該方式比用戶自定義JAVA SCRIPT腳本速度更快。
    3.4.13. Merge Rows：用于比較兩組輸入數(shù)據(jù)，一般用于更新后的數(shù)據(jù)重新導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)中。
    3.4.14. Add constants：增加常量值。
         這個(gè)我沒(méi)弄明白它的用法？？？
    3.4.15. Row denormaliser：同Normaliser過(guò)程相反。
    3.4.16. Row flattener：表扁平化處理
  指定需處理的字段和扃平化后的新字段，將其它字段做為組合Key進(jìn)行扃平化處理。

    3.5：Extra：除了上述基本節(jié)點(diǎn)類型外還定義了擴(kuò)展節(jié)點(diǎn)類型 
    3.5.1：SPLIT FIELDS， 按指定分隔符拆分字段
    3.5.2：EXECUTE SQL SCRIPT，執(zhí)行SQL語(yǔ)句
    3.5.3：CUBE INPUT，
    3.5.4：CUBE OUTPUT等。
    這兩個(gè)沒(méi)明白是啥意思。
   
    3.6：其它
    存儲(chǔ)方式： 與Chef相同。
    數(shù)據(jù)源(Connection)；見(jiàn)后。
    Hops：setp連接起來(lái)，形成Hops。
    Plugin step types等節(jié)點(diǎn)：這個(gè)沒(méi)仔細(xì)看，不知如何制作Plugin step。
    LogView：可查看執(zhí)行日志。

    四：Pan——轉(zhuǎn)換的執(zhí)行工具
    命令行執(zhí)行方式，可以執(zhí)行由Spoon生成的轉(zhuǎn)換任務(wù)。
    同樣，不支持調(diào)度。
    參數(shù)與Kitchen類似，可參見(jiàn)Pan的文檔。

    五：其它
    Connection：
    可以配置多個(gè)數(shù)據(jù)源，在Job或是Trans中使用，這意味著可以實(shí)現(xiàn)跨數(shù)據(jù)庫(kù)的任務(wù)。
    支持大多數(shù)市面上流行的數(shù)據(jù)庫(kù)。

    個(gè)人感覺(jué)：(本人不成熟的看法)
    1：轉(zhuǎn)換功能全，使用簡(jiǎn)潔。作業(yè)項(xiàng)豐富，流程合理。但缺少調(diào)度。
    2：java代碼，支持的數(shù)據(jù)源范圍廣，所以，跨平臺(tái)性較好。
    3：從實(shí)際項(xiàng)目的角度看，和其它開(kāi)源項(xiàng)目類似，主要還是程序員的思維，缺少與實(shí)際應(yīng)用項(xiàng)目(專業(yè)領(lǐng)域)的更多接軌，當(dāng)然，項(xiàng)目實(shí)施者的專注點(diǎn)可能在于一個(gè)平臺(tái)框架，而非實(shí)際應(yīng)用(實(shí)際應(yīng)用需要二次開(kāi)發(fā))。
    4：看過(guò)了大多數(shù)源碼，發(fā)現(xiàn)源碼的可重用性不是太好(缺少大粒度封裝)，有些關(guān)鍵部分好象有Bug。
          比如：個(gè)別class過(guò)于臃腫，線程實(shí)現(xiàn)的同步有問(wèn)題。
    5：提供的工具有些小錯(cuò)，如參數(shù)的容錯(cuò)處理。

    好，對(duì)Kettle有了淺淺的了解，其它的容后再說(shuō)。