發(fā)電企業(yè)信息化建設(shè)過程中，由于受各個(gè)業(yè)務(wù)系統(tǒng)需求限制，以及實(shí)施本業(yè)務(wù)管理系統(tǒng)的階段性、技術(shù)性或其他經(jīng)濟(jì)和人為等因素影響，積累了大量業(yè)務(wù)數(shù)據(jù)，采用不同存儲(chǔ)方式和數(shù)據(jù)管理系統(tǒng)。企業(yè)的異構(gòu)數(shù)據(jù)源從簡單的文件數(shù)據(jù)庫到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫，在集成時(shí)，主要會(huì)面對異構(gòu)性、數(shù)據(jù)的完整性、語義沖突、數(shù)據(jù)冗余、數(shù)據(jù)的安全性等問題，但這些問題是相互聯(lián)系、相互制約的，不應(yīng)該簡單地孤立對待，應(yīng)該綜合考慮。

數(shù)據(jù)集成是把不同來源、格式、特點(diǎn)性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，從而為企業(yè)提供全面的數(shù)據(jù)共享。在企業(yè)數(shù)據(jù)集成領(lǐng)域，已經(jīng)有了很多成熟的框架可以利用。通常采用聯(lián)邦式、基于中間件模型和數(shù)據(jù)倉庫等方法來構(gòu)造集成的系統(tǒng)，這些技術(shù)在不同的著重點(diǎn)和應(yīng)用上解決數(shù)據(jù)共享和為企業(yè)提供決策支持。

作為數(shù)據(jù)平臺(tái)分區(qū)的一部分，業(yè)務(wù)共享交換數(shù)據(jù)區(qū)按業(yè)務(wù)分類組織并統(tǒng)一存儲(chǔ)，是業(yè)務(wù)系統(tǒng)與數(shù)據(jù)資源進(jìn)行數(shù)據(jù)集成后數(shù)據(jù)保存的地方。其中結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫中，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在統(tǒng)一內(nèi)容管理(UCM)中。

業(yè)務(wù)共享交換數(shù)據(jù)區(qū)是整個(gè)系統(tǒng)正常運(yùn)行的數(shù)據(jù)保障，沒有完善、穩(wěn)定的業(yè)務(wù)共享交換數(shù)據(jù)區(qū)，各應(yīng)用程序就不能正常的展示。

業(yè)務(wù)共享交換數(shù)據(jù)區(qū)包括如下內(nèi)容：生產(chǎn)管理系統(tǒng)（經(jīng)營管理系統(tǒng)）數(shù)據(jù)庫、映射關(guān)系、ODI、數(shù)據(jù)倉庫、PI實(shí)時(shí)數(shù)據(jù)庫、數(shù)據(jù)管理、調(diào)度控制、資產(chǎn)管理和統(tǒng)計(jì)報(bào)表等。其架構(gòu)如圖1所示。

圖1 數(shù)據(jù)集成架構(gòu)

根據(jù)電廠所涉及的具體業(yè)務(wù)和系統(tǒng)，一體化平臺(tái)的數(shù)據(jù)集成方案主要使用共享中間庫和web service技術(shù)進(jìn)行數(shù)據(jù)集成。對于不同系統(tǒng)間的數(shù)據(jù)互換操作，主要通過應(yīng)用軟件進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、裝載等操作，使數(shù)據(jù)在相關(guān)的業(yè)務(wù)展示界面上展示。對于實(shí)時(shí)性要求較高的數(shù)據(jù)則采用Web Service服務(wù)的方式直接獲取，例如PI實(shí)時(shí)系統(tǒng)的數(shù)據(jù)獲取。

共享交換數(shù)據(jù)區(qū)數(shù)據(jù)集的范圍應(yīng)該包括所有正在使用的系統(tǒng)中相關(guān)的數(shù)據(jù)。比如：BFS++，ERP，PI，HIIAP，X3等系統(tǒng)涉及到的數(shù)據(jù)。每一個(gè)業(yè)務(wù)系統(tǒng)在共享交換數(shù)據(jù)區(qū)的數(shù)據(jù)庫上建立自己的數(shù)據(jù)對象模式（根據(jù)業(yè)務(wù)可以建立多個(gè)）。當(dāng)有新的業(yè)務(wù)加入一體化平臺(tái)時(shí)，可以根據(jù)自身數(shù)據(jù)的特點(diǎn)，選擇加入已存在的數(shù)據(jù)對象或創(chuàng)建新的數(shù)據(jù)對象模式，實(shí)現(xiàn)共享交換數(shù)據(jù)區(qū)的平滑擴(kuò)展，而無需做出較大的修改，使共享交換數(shù)據(jù)區(qū)具有良好的擴(kuò)展性和彈性。

數(shù)據(jù)更新策略根據(jù)業(yè)務(wù)系統(tǒng)環(huán)境與共享交換數(shù)據(jù)區(qū)環(huán)境之間的異構(gòu)性、用戶對于集成度、使用周期等要求不同，按照連慣性、及時(shí)性、周期性、是否增量制定更新策略。

定期更新策略的特點(diǎn)是：數(shù)據(jù)量比較大，數(shù)據(jù)更新周期固定，一般以天為周期定期更新；也有2小時(shí)、15分鐘周期的定期更新。根據(jù)業(yè)務(wù)系統(tǒng)的需求制定更新周期，同時(shí)原始數(shù)據(jù)不會(huì)在更新后又被修改，保證數(shù)據(jù)在所有的系統(tǒng)中保持一致。

實(shí)時(shí)更新策略的特點(diǎn)是：數(shù)據(jù)量比較小，數(shù)據(jù)更新周期短且敏感，要求具有良好的實(shí)時(shí)性。數(shù)據(jù)結(jié)構(gòu)簡單，沒有比較復(fù)雜的業(yè)務(wù)處理邏輯，只是純數(shù)據(jù)的變動(dòng)（增加、刪除、修改）。對于這樣的數(shù)據(jù)一般采用增量更新的方式進(jìn)行數(shù)據(jù)更新。

業(yè)務(wù)數(shù)據(jù)與共享數(shù)據(jù)庫不可見情況下的數(shù)據(jù)更新，存在兩種情況：一種情況是業(yè)務(wù)系統(tǒng)數(shù)據(jù)存儲(chǔ)的形式不能使用工具進(jìn)行抽?。ɡ鏟I實(shí)時(shí)系統(tǒng)），另外一種情況是業(yè)務(wù)系統(tǒng)使用數(shù)據(jù)庫存儲(chǔ)數(shù)據(jù)，但出于安全方面考慮物理上沒有部署在一個(gè)網(wǎng)絡(luò)內(nèi)，即兩者間不能互相訪問。每種情況下，均需利用業(yè)務(wù)系統(tǒng)提供的對外接口開發(fā)數(shù)據(jù)采集軟件，把數(shù)據(jù)轉(zhuǎn)儲(chǔ)到共享交換數(shù)據(jù)區(qū)中共享數(shù)據(jù)庫的相關(guān)數(shù)據(jù)對象模式下。例如通過PI自己提供的Web Service技術(shù)獲取PI實(shí)時(shí)系統(tǒng)的數(shù)據(jù)，并轉(zhuǎn)儲(chǔ)到共享交換數(shù)據(jù)區(qū)中共享數(shù)據(jù)庫的PI數(shù)據(jù)對象模式下。

時(shí)間戳方式更新策略的主要過程是在數(shù)據(jù)抽取時(shí)，抽取進(jìn)程通過比較指定時(shí)間與抽取源表的時(shí)間戳字段的值來決定抽取哪些數(shù)據(jù)。這種方式需要在源表上增加一個(gè)時(shí)間戳字段，系統(tǒng)中更新修改表數(shù)據(jù)的時(shí)候，同時(shí)修改時(shí)間戳字段的值。這樣就能把最新和修改的數(shù)據(jù)及時(shí)抽取到共享交換數(shù)據(jù)區(qū)的共享中間庫中。

系統(tǒng)日志分析方式進(jìn)行數(shù)據(jù)的實(shí)時(shí)更新，通過分析數(shù)據(jù)庫自身的日志來判斷變化的數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫系統(tǒng)都會(huì)將所有的DML操作存儲(chǔ)在日志文件中，以實(shí)現(xiàn)數(shù)據(jù)庫的備份和還原功能。ETL增暈抽取進(jìn)程通過對數(shù)據(jù)庫的日志進(jìn)行分析，提取對相關(guān)源表在特定時(shí)間后發(fā)生的DML操作信息，就可以得知自上次抽取時(shí)刻以來該表的數(shù)據(jù)變化情況，從而指導(dǎo)增量抽取動(dòng)作。

基于ETL的定期數(shù)據(jù)更新策略是指在數(shù)據(jù)集成的過程中，ETL(Extraction、Transformation、Loading）可以從各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)源中（關(guān)系型數(shù)據(jù)庫、桌面文本文件、XML文件等）抽取原始數(shù)據(jù)，然后經(jīng)過過濾、轉(zhuǎn)換、集成、裝載等一系列處理，最后將產(chǎn)生可靠的高質(zhì)量數(shù)據(jù)，保存在共享交換數(shù)據(jù)區(qū)以供一體化平臺(tái)使用。基于ETL的數(shù)據(jù)更新解決方案如圖2所示。

圖2 基于ETL的數(shù)據(jù)更新解決方案

數(shù)據(jù)集成為數(shù)據(jù)訪問提供了統(tǒng)一的解決接口，促進(jìn)各級(jí)數(shù)據(jù)的流程化和標(biāo)準(zhǔn)化，將不同存儲(chǔ)平臺(tái)的數(shù)據(jù)經(jīng)過過濾、轉(zhuǎn)換和裝載，以同一形式和內(nèi)容呈現(xiàn)出來，解決了多個(gè)應(yīng)用系統(tǒng)或同一系統(tǒng)的不同數(shù)據(jù)存儲(chǔ)共享數(shù)據(jù)的要求，解決了原有系統(tǒng)各自獨(dú)立、數(shù)據(jù)分散的問題，為企業(yè)領(lǐng)導(dǎo)及業(yè)務(wù)人員提供信息資源的完整數(shù)據(jù)（不必再分別登錄不同的業(yè)務(wù)系統(tǒng)去查看）；同時(shí)通過映射解決了數(shù)據(jù)不一致的問題，從而使數(shù)據(jù)的質(zhì)量獲得提升，提高了業(yè)務(wù)系統(tǒng)的使用效率；通過對集成數(shù)據(jù)的分析利用、挖掘提煉，提高企業(yè)對運(yùn)行和市場的洞察力，加強(qiáng)發(fā)電企業(yè)的決策與監(jiān)管力度，提高決策的科學(xué)性和準(zhǔn)確度。數(shù)據(jù)集成方案具有良好的可擴(kuò)展性、升級(jí)能力；可將各類新建應(yīng)用系統(tǒng)、原有系統(tǒng)的新增數(shù)據(jù)等，方便、實(shí)時(shí)地加入到共享交換數(shù)據(jù)區(qū)，滿足今后的擴(kuò)展需要。

系統(tǒng)間數(shù)據(jù)遷移更方便。在一體化平臺(tái)組織內(nèi)部，當(dāng)增加一個(gè)應(yīng)用時(shí)，如需要其他系統(tǒng)中的數(shù)據(jù)，只要提供指定的映射文件就可以很輕松地將其他系統(tǒng)的數(shù)據(jù)遷移到該系統(tǒng)內(nèi)。

從各個(gè)系統(tǒng)進(jìn)行數(shù)據(jù)抽取最終保存在共享交換數(shù)據(jù)區(qū)，而其中共享數(shù)據(jù)區(qū)是按電廠進(jìn)行區(qū)分的。因此，適當(dāng)?shù)卦O(shè)置訪問權(quán)限就能使用多個(gè)電廠的數(shù)據(jù)進(jìn)行對比，從而使決策層更方便地進(jìn)行數(shù)據(jù)查詢和使用，為今后發(fā)展進(jìn)行決策。也可以設(shè)置權(quán)限使新建電廠和規(guī)范電廠的數(shù)據(jù)進(jìn)行對比，從而對新建電廠運(yùn)行起到借鑒的作用。

將存儲(chǔ)在文檔、電子郵件、網(wǎng)站、社會(huì)化媒體、音頻以及視頻文件中的數(shù)據(jù)，通過工具軟件分析、過濾、轉(zhuǎn)換、加載最終轉(zhuǎn)化為系統(tǒng)需要的數(shù)據(jù)，并與數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)集成，成為今后一體化平臺(tái)數(shù)據(jù)發(fā)展的重點(diǎn)。