《數(shù)據(jù)產(chǎn)品規(guī)格說明書.doc》由會員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)產(chǎn)品規(guī)格說明書.doc（25頁珍藏版）》請在裝配圖網(wǎng)上搜索。

數(shù)據(jù)管控產(chǎn)品規(guī)格說明書 第一章 引言 1.1 編寫目的 本文檔作為數(shù)據(jù)管控產(chǎn)品體系(元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理)的產(chǎn)品方案說明書，介紹元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的解決方案。 1.2 項目背景 經(jīng)過多年建設(shè)，企業(yè)一般已經(jīng)初步建成了各類管理信息系統(tǒng)，雖然在運用和分析數(shù)據(jù)支持經(jīng)營決策方面已初見成效，但是對比戰(zhàn)略發(fā)展要求和國內(nèi)外最佳實踐經(jīng)驗，還是存在數(shù)據(jù)管控水平不高，以及配套體系建設(shè)相對滯后的問題。為解決這些問題，企業(yè)會做種種努力，但由于未采用系統(tǒng)性的管控治理，數(shù)據(jù)問題并未能從根本上解決，阻礙了企業(yè)管理精細化的進程。 參考國內(nèi)外同業(yè)先進理念、做法，一般會從數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、數(shù)據(jù)分布、數(shù)據(jù)安全、數(shù)據(jù)生命周期管理等6個方面，采用全面規(guī)劃、分步實施的策略，分階段有序推進數(shù)據(jù)管控項目建設(shè)， 包括構(gòu)建統(tǒng)一的數(shù)據(jù)管控制度體系、優(yōu)化數(shù)據(jù)管控流程、實施有針對性的數(shù)據(jù)管控配套系統(tǒng)建設(shè) ，實現(xiàn)對數(shù)據(jù)資產(chǎn)的全面管理和深度利用，進而提升數(shù)據(jù)資產(chǎn)管理水平和信息服務(wù)水平，形成差異化的競爭優(yōu)勢和核心競爭力。 第二章 方案概述 2.1 方案目標(biāo) 本方案主要完成以下工作： ① 完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的引進、集成部署和客戶化定制； ② 完成風(fēng)險相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)在元數(shù)據(jù)管理系統(tǒng)的落地； ③ 完成風(fēng)險相關(guān)數(shù)據(jù)質(zhì)量的評估及數(shù)據(jù)質(zhì)量評估分析模型的開發(fā)。 ④ 完成其他業(yè)務(wù)需求中明確的試點系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布和質(zhì)量評估落地工作。 2.2 項目范圍 2.2.1 實施內(nèi)容 1) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)相關(guān)基礎(chǔ)性工作 根據(jù)業(yè)務(wù)需求，結(jié)合企業(yè)現(xiàn)有系統(tǒng)的情況，制定具體項目實施方案，確保能完成相關(guān)咨詢成果在系統(tǒng)內(nèi)的部署和設(shè)置。完成系統(tǒng)接口設(shè)計、系統(tǒng)架構(gòu)設(shè)計和形成實施所需的需求規(guī)格化文檔等工作。完成產(chǎn)品的集成安裝和初步調(diào)試工作。若提供的軟硬件配置建議書不能完全滿足企業(yè)軟硬件選型需要的，需要協(xié)助事先完成必要的產(chǎn)品測試工作，確定最終的系統(tǒng)軟硬件配置清單。 2) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的客制化開發(fā)實施 根據(jù)企業(yè)的業(yè)務(wù)需求，對產(chǎn)品或應(yīng)用進行客制化實施。根據(jù)對業(yè)務(wù)、技術(shù)元數(shù)據(jù)進行抽取和加載，在系統(tǒng)中建立元數(shù)據(jù)之間的映射關(guān)系。根據(jù)評分模型對評分卡進行客制化開發(fā)，并能將評分結(jié)果數(shù)據(jù)在第三方報表平臺上展現(xiàn)。本階段需要完成系統(tǒng)的概要設(shè)計、詳細設(shè)計；完成數(shù)據(jù)接口設(shè)計和數(shù)據(jù)ETL工作；完成產(chǎn)品的配置，應(yīng)用和報表的客制化開發(fā)等。產(chǎn)品客戶化過程中，出現(xiàn)在場人員無法解決的技術(shù)或產(chǎn)品問題時，投標(biāo)人應(yīng)及時組織國內(nèi)國外資源，快速解決問題，不能因此對項目進度造成影響。 3) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的測試 完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的各類測試工作，包括：單元測試、集成測試、壓力測試和協(xié)助用戶測試，測試工作需要符合企業(yè)測試規(guī)范要求。單元測試和集成測試的主要工作是：制定測試策略和計劃、準(zhǔn)備測試案例和數(shù)據(jù)、執(zhí)行各類測試案例(含功能測試、接口測試、報表測試、系統(tǒng)管理和非功能性需求測試等)、分析測試結(jié)果、針對測試問題進行回歸測試。壓力測試的主要工作是：制定測試策略和計劃、準(zhǔn)備測試案例和數(shù)據(jù)、執(zhí)行性能測試案例、分析測試結(jié)果、針對測試問題進行回歸測試，完成系統(tǒng)調(diào)優(yōu)工作。用戶測試的主要內(nèi)容是：做好測試數(shù)據(jù)準(zhǔn)備工作，并協(xié)助完成測試。 4) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的上線和試運行 完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的上線和試運行工作。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)上線的相關(guān)事宜，主要包括：確定系統(tǒng)軟硬件、完成系統(tǒng)整體部署(含集成部署)、調(diào)試和調(diào)優(yōu)、完成系統(tǒng)的初始化工作。完成符合企業(yè)規(guī)范的上線和移交文檔。編寫用戶操作手冊、業(yè)務(wù)手冊、系統(tǒng)操作手冊等。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)試運行相關(guān)工作，主要包括：試運行實施規(guī)劃、試運行過程中的問題整理和處理、試運行結(jié)果分析等。維護系統(tǒng)、明確系統(tǒng)應(yīng)急處理機制并演練等。 2.3 方案概述 數(shù)據(jù)管控系統(tǒng)建設(shè)方案元數(shù)據(jù)產(chǎn)品MetaOne系統(tǒng)和數(shù)據(jù)質(zhì)量系統(tǒng)QualityOne，并結(jié)合專業(yè)的業(yè)務(wù)和技術(shù)團隊，旨在建立一套符合企業(yè)數(shù)據(jù)管控體系建設(shè)需求的數(shù)據(jù)管控體系系統(tǒng)。 數(shù)據(jù)管控體系建設(shè)項目依托元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理體系，旨在建立一套符合企業(yè)特色的數(shù)據(jù)管控體系系統(tǒng)，本項目實施主要完成數(shù)據(jù)管控系統(tǒng)咨詢成果落地工作，通過數(shù)據(jù)標(biāo)準(zhǔn)配置；指標(biāo)標(biāo)準(zhǔn)管理及分析預(yù)警；元數(shù)據(jù)獲取和調(diào)度；數(shù)據(jù)質(zhì)量分析和預(yù)警展示和數(shù)據(jù)探查分析和預(yù)警等模塊，全方位全角度展示企業(yè)系統(tǒng)平臺技術(shù)和業(yè)務(wù)元數(shù)據(jù)分析，最終，實現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控預(yù)警。 第三章 總體方案 3.1 系統(tǒng)架構(gòu) 3.1.1 總體系統(tǒng)架構(gòu) 數(shù)據(jù)管控體系建設(shè)平臺實施方案采用雙模式進行調(diào)度配置，為保證第一時間有效監(jiān)控業(yè)務(wù)風(fēng)險相關(guān)業(yè)務(wù)指標(biāo)監(jiān)控情況，因此，總體方案中，首先采用企業(yè)數(shù)據(jù)倉庫平臺調(diào)度平臺優(yōu)先監(jiān)控風(fēng)險相關(guān)業(yè)務(wù)指標(biāo)信息,其次元數(shù)據(jù)管理產(chǎn)品內(nèi)部調(diào)度機制，加載相關(guān)平臺，關(guān)系數(shù)據(jù)庫(應(yīng)用業(yè)務(wù)數(shù)據(jù)和技術(shù)業(yè)務(wù)數(shù)據(jù))和數(shù)據(jù)模型等元數(shù)據(jù)信息。 信息交付層：主要展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量成果信息，展示方式主要通過都必須通過AD域驗證(統(tǒng)一認(rèn)證平臺)，信息訪問通過報表平臺BIEE和元數(shù)據(jù)系統(tǒng)內(nèi)部展示平臺展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量分析預(yù)警信息。 應(yīng)用層：主要提供企業(yè)BIEE報表系統(tǒng)展示的數(shù)據(jù)接口，展示業(yè)務(wù)客戶需要的業(yè)務(wù)元數(shù)據(jù)信息。 系統(tǒng)管理層：主要描述MetaOne和QualityOne為用戶提供基本功能完善的元數(shù)據(jù)倉儲管理平臺，并支持基于平臺的應(yīng)用服務(wù)定制。豐富的調(diào)用接口和強大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲層、基本功能層、接口層、應(yīng)用層。 數(shù)據(jù)獲取層：主要描述系統(tǒng)獲取元數(shù)據(jù)方式有兩種觸發(fā)方式，為實現(xiàn)監(jiān)控風(fēng)險相關(guān)業(yè)務(wù)指標(biāo)，系統(tǒng)將采用部分任務(wù)配置在調(diào)度平臺調(diào)度；其他數(shù)據(jù)獲取方式將采用MetaOne定時觸發(fā)和依賴滿足觸發(fā)任務(wù)，將所需的業(yè)務(wù)指標(biāo)數(shù)據(jù)和平臺技術(shù)數(shù)據(jù)安裝規(guī)范加載至平臺內(nèi)部。 源數(shù)據(jù)層：主要描述數(shù)據(jù)管控體系的數(shù)據(jù)源信息，包括標(biāo)準(zhǔn)格的業(yè)務(wù)元數(shù)據(jù)；鏡像業(yè)務(wù)系統(tǒng)關(guān)系數(shù)據(jù)庫；ETL系統(tǒng)標(biāo)準(zhǔn)元數(shù)據(jù)信息；平臺相關(guān)技術(shù)元數(shù)據(jù)信息；模型設(shè)計文件元數(shù)據(jù)和咨詢涉及的其他標(biāo)準(zhǔn)元數(shù)據(jù)文件成果。 3.1.2 物理系統(tǒng)架構(gòu) 數(shù)據(jù)管控體系系統(tǒng)物理架構(gòu)采用應(yīng)用服務(wù)和數(shù)據(jù)庫服務(wù)器獨立方式設(shè)計，同時，兩臺服務(wù)器具體內(nèi)部互補自動切換功能，有效防止由其他因素導(dǎo)致的系統(tǒng)癱瘓。 3.2 系統(tǒng)數(shù)據(jù)流程 下面展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量系統(tǒng)數(shù)據(jù)流程圖示如下： 3.3 網(wǎng)絡(luò)和安全 MetaOne元數(shù)據(jù)系統(tǒng)部署于企業(yè)的業(yè)務(wù)網(wǎng)段，通過代理將應(yīng)用服務(wù)器地址反向映射辦公網(wǎng)段，僅開通WEB服務(wù)端口，向位于辦公網(wǎng)段的業(yè)務(wù)管理用戶提供服務(wù)；其他業(yè)務(wù)系統(tǒng)的接入均在企業(yè)的業(yè)務(wù)網(wǎng)段內(nèi)，與外部環(huán)境隔離。 3.3.1 開放的Internet標(biāo)準(zhǔn) 系統(tǒng)建立在開放的Internet標(biāo)準(zhǔn)之上，例如：SSL，HTTP，XML，TCP/IP，SOAP，支持多層次的客戶機/服務(wù)器體系結(jié)構(gòu)，其通過TCI組件支持多種報文的傳輸、組包、解包；利用web service實現(xiàn)與異構(gòu)系統(tǒng)之間的數(shù)據(jù)交換?？梢猿晒\行在支持Java虛擬機的各種操作系統(tǒng)及相應(yīng)的各種硬件平臺上，符合信息技術(shù)的發(fā)展方向，具備廣泛的應(yīng)用前景。 3.3.2 系統(tǒng)層安全 系統(tǒng)層安全主要針對系統(tǒng)的操作系統(tǒng)和數(shù)據(jù)庫等軟件平臺進行安全防護，其主要采用的措施如下： 安裝系統(tǒng)的安全補?。≒atch）。 關(guān)閉不需要的進程服務(wù)和端口。 使用漏洞掃描產(chǎn)品，定期進行安全掃描及時發(fā)現(xiàn)問題并采取補救措施。 定期審核系統(tǒng)配置，避免因配置不當(dāng)造成的權(quán)限管理混亂。 3.3.3 業(yè)務(wù)安全控制 通過安全代理前置設(shè)備、防火墻等系統(tǒng)來保證系統(tǒng)的安全性，以及通過負(fù)載均衡來保證系統(tǒng)的高可用性，這只是從網(wǎng)絡(luò)環(huán)境和系統(tǒng)結(jié)構(gòu)的角度保證系統(tǒng)的安全，整個系統(tǒng)的安全性應(yīng)該是一個多層次的概念。 主要考慮一下幾個方面： 關(guān)鍵操作有詳細的操作記錄可查。 登錄系統(tǒng)日志的安全審計 多維的交易權(quán)限管理機制，關(guān)鍵操作提供多重授權(quán)功能。對于管理端的關(guān)鍵數(shù)據(jù)設(shè)置提供嚴(yán)格的復(fù)核機制，以保證數(shù)據(jù)的正確性、合法性。 會話管理（Session）：與應(yīng)用服務(wù)器的會話管理結(jié)合，實現(xiàn)多種會話的建立和管理，讓不同的會話采用統(tǒng)一的管理機制。同時實現(xiàn)會話的超時管理，有效防范避免操作人員使用已經(jīng)失效的會話進行誤操作，同時防止垃圾會話數(shù)據(jù)占用內(nèi)存，影響系統(tǒng)性能甚至使系統(tǒng)無法工作。 3.3.4 統(tǒng)一身份認(rèn)證 針對統(tǒng)一身份認(rèn)證系統(tǒng)的要求，系統(tǒng)采取一種適用（針對）于WebLogic Server的、簡潔的、有效可行的統(tǒng)一認(rèn)證即單點登陸(SSO)解決方案。這個方案以集中統(tǒng)一的用戶信息為基礎(chǔ)，但不包括上節(jié)說明的權(quán)限管理，而僅僅提供一個身份驗證的服務(wù)。實現(xiàn)SSO的本義。 在SSO幫助用戶完成身份驗證后，由系統(tǒng)本身的權(quán)限管理進行用戶行為的進一步控制。這樣不僅完成了用戶帳號的集中管理，又不失原有系統(tǒng)靈活的權(quán)限控制。而且方案簡單可行，不需要對原有應(yīng)用做較大更改，適合快速解決Single Sign-On問題，符合行內(nèi)系統(tǒng)的要求。其主要采用SAML Browser Post Profile方案，通過推模式獲取SAML Token，由Identity Provider推Assertion到Service Provider.而后驗證Assertion將用戶重新定向到目標(biāo)URL。 3.4 系統(tǒng)災(zāi)備 為了保障對數(shù)據(jù)處理的高可靠性和高可用性，系統(tǒng)需要具有較好的實時備份和災(zāi)難恢復(fù)能力。系統(tǒng)采用SQL SERVER 2008數(shù)據(jù)庫服務(wù)器支持的雙機熱備容錯方案來實現(xiàn)系統(tǒng)的備份策略，由兩臺機器共享一個磁盤陣列（共享磁盤組），當(dāng)其中一臺機器發(fā)生故障時，另外一臺機器接管整個磁盤陣列，從而實現(xiàn)雙機容錯。如下圖： 第四章 方案細化 4.1 產(chǎn)品功能 4.1.1 元數(shù)據(jù) 元數(shù)據(jù)產(chǎn)品MetaOne采用高內(nèi)聚、低耦合的組件式產(chǎn)品架構(gòu)，豐富功能組件，為客戶搭建功能強大的元數(shù)據(jù)管理平臺。向用戶全面開放元數(shù)據(jù)功能調(diào)用接口，并提供整套實施方法論。使用戶在完成元數(shù)據(jù)管理、維護等基礎(chǔ)功能的同時，方便實現(xiàn)二次開發(fā)，滿足行業(yè)應(yīng)用的針對性需求。 l 基本管理平臺（MetaOne Platform） 由元數(shù)據(jù)倉儲、Web應(yīng)用程序、元數(shù)據(jù)接口層、統(tǒng)一數(shù)據(jù)源管理客戶端、元模型操控臺以及元數(shù)據(jù)基本維護管理功能組成的組件集合，是MetaOne產(chǎn)品的基本功能集。 l 元數(shù)據(jù)存儲庫（MetaData Repository） 基于關(guān)系數(shù)據(jù)庫的元數(shù)據(jù)存儲庫，用于實現(xiàn)元數(shù)據(jù)的物理存儲。 l 元數(shù)據(jù)基本維護界面（MetaOne WebAPP） B/S結(jié)構(gòu)的Web管理程序，實現(xiàn)用戶對元數(shù)據(jù)的一般管理、維護操作。 l 對外服務(wù)接口（MetaOne Interface（MOI）） 一組基于Java RMI的API集合，內(nèi)容包括對元數(shù)據(jù)、元模型的所有基本操作，配套提供使用方法論，使用戶方便調(diào)用，實現(xiàn)二次應(yīng)用開發(fā)。 l 元數(shù)據(jù)獲取器（MetaData Integration Bridge（MIB）） 數(shù)據(jù)源管理平臺，對所有連接系統(tǒng)的數(shù)據(jù)源進行統(tǒng)一管理，實現(xiàn)數(shù)據(jù)源元數(shù)據(jù)的抽取和元數(shù)據(jù)向MetaData Repository的導(dǎo)入。 l 元模型管理控制操作臺（MetaOne Console） 元模型操控臺，用戶通過操控臺實現(xiàn)元模型建模。 l 基礎(chǔ)應(yīng)用分析 元數(shù)據(jù)的基本維護管理功能 l 高級應(yīng)用分析 通過元數(shù)據(jù)接口，調(diào)用元數(shù)據(jù)及相應(yīng)功能，針對行業(yè)需求開發(fā)的應(yīng)用。 4.1.1.1 功能特性 MetaOne的產(chǎn)品理念，是為用戶提供基本功能完善的元數(shù)據(jù)倉儲管理平臺，并支持基于平臺的應(yīng)用服務(wù)定制。豐富的調(diào)用接口和強大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲層、基本功能層、接口層、應(yīng)用層。 l 元數(shù)據(jù)存儲層 包含元數(shù)據(jù)存儲庫，負(fù)責(zé)承載不同領(lǐng)域的元模型以及相關(guān)的元數(shù)據(jù)。 l 元數(shù)據(jù)基本功能層 實現(xiàn)系統(tǒng)對元數(shù)據(jù)的基本功能，針對元數(shù)據(jù)自身的維護和管理。包括元數(shù)據(jù)的維護管理、元模型維護管理，影響分析、血統(tǒng)分析、差異分析等圖形展現(xiàn)功能，元數(shù)據(jù)版本管理、權(quán)限管理、日志管理、質(zhì)量管理等。 l 接口層 MOI為MetaOne提供的元數(shù)據(jù)接口集合，供二次開發(fā)對系統(tǒng)各類數(shù)據(jù)、功能的調(diào)用。 l 應(yīng)用層 通過MOI接口層與元數(shù)據(jù)存儲層實現(xiàn)連接的部分屬于應(yīng)用層。包含兩個方面，Metaone提供的功能組件MO Console和MIB，以及針對不用同的具體需求開發(fā)的應(yīng)用功能。 4.1.1.2 數(shù)據(jù)流程 MetaOne元數(shù)據(jù)管理系統(tǒng)將涵蓋系統(tǒng)數(shù)據(jù)處理流程各個環(huán)節(jié)的數(shù)據(jù)結(jié)構(gòu)等信息讀取進來，包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)模型、業(yè)務(wù)應(yīng)用、前端展示和門戶管理等，并加入業(yè)務(wù)規(guī)則的描述和業(yè)務(wù)量值的內(nèi)涵，下面圖示詳細介紹數(shù)據(jù)獲取流程信息： 4.1.1.3 數(shù)據(jù)獲取 MetaOne元數(shù)據(jù)管理系統(tǒng)的元數(shù)據(jù)管理范圍，涵蓋系統(tǒng)數(shù)據(jù)處理流程各個環(huán)節(jié)，各個環(huán)節(jié)中數(shù)據(jù)源所能提供的數(shù)據(jù)類型、結(jié)構(gòu)都需要相對應(yīng)的元數(shù)據(jù)獲取方法。MetaOne元數(shù)據(jù)管理系統(tǒng)提供統(tǒng)一的數(shù)據(jù)源管理平臺，平臺中集成了針對不同數(shù)據(jù)類型的元數(shù)據(jù)獲取功能插件，可以將包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)模型、業(yè)務(wù)應(yīng)用、前端展示和門戶管理等數(shù)據(jù)源進行統(tǒng)一管理，實現(xiàn)元數(shù)據(jù)的自動獲取。 MetaOne提供元數(shù)據(jù)整合獲取平臺元數(shù)據(jù)集成橋（Metadata Integration Bridge，元數(shù)據(jù)集成橋），提供自動獲取、手工獲取兩種元數(shù)據(jù)獲取功能，自動獲取主流BI工具的元數(shù)據(jù)或手工獲取XMI/Excel文件中的元數(shù)據(jù)。 MIB具備強大的管理能力和可擴展性，能夠?qū)ψ詣荧@取的數(shù)據(jù)源進行管理，能夠提供自動獲取的框架，在此框架可以擴展自動獲取的適配器；對元數(shù)據(jù)的自動獲取提供持續(xù)穩(wěn)定的調(diào)度支持，能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動獲取過程，同時支持對自動獲取過程的日志記錄。MIB體系架構(gòu)如下圖所示： l MIB數(shù)據(jù)接口 元數(shù)據(jù)集成橋能夠自動獲取主流BI工具的元數(shù)據(jù)，并支持通過對SQL腳本、TCL腳本 的詞法、語法和語義分析，生成滿足CWM規(guī)范要求的數(shù)據(jù)處理元數(shù)據(jù)，存儲到MetaOne中進行統(tǒng)一管理。通過MIB，MetaOne可自動獲取系統(tǒng)項目的相關(guān)工具所涉及的元數(shù)據(jù)，確保元數(shù)據(jù)及時更新與業(yè)務(wù)系統(tǒng)同步，減少人為的手工梳理過程。 l MIB技術(shù)特點 元數(shù)據(jù)集成橋通過把不同數(shù)據(jù)源的元數(shù)據(jù)抽取、轉(zhuǎn)換到統(tǒng)一的元數(shù)據(jù)系統(tǒng)中，能夠?qū)崿F(xiàn)企業(yè)級的元數(shù)據(jù)整合、集中和統(tǒng)一，提升系統(tǒng)的元數(shù)據(jù)管理水平，其技術(shù)特點如下： 1. 跨平臺：服務(wù)器支持Windows、Unix、Linux(Windows 2000\2003\，Linux，IBM AIX，SUN Solaris)，RCP Client支持Windows、Linux、Mac OS X系統(tǒng)； 2. 兼容性：數(shù)據(jù)存儲于主流關(guān)系型數(shù)據(jù)庫系統(tǒng)，支持Oracle，DB2，SQL Server等； 3. 靈活及易用性：元數(shù)據(jù)集成橋提供了友好的圖形界面，用戶只需要配置相應(yīng)的參數(shù)就可以完成本次導(dǎo)入。用戶可以選擇需要導(dǎo)入的對象列表，設(shè)置過濾規(guī)則，選擇元數(shù)據(jù)的根節(jié)點，無需要編程就能夠完成各省的特性化需要。 4. 主流開放性：100%JAVA、按J2EE模式構(gòu)建、基于RCP Client的客戶端架構(gòu)，采用XML RPC 和 JSON RPC通信方式，支持各類編程語言開發(fā)的分布式應(yīng)用程序間的通信，如C、JAVA、Perl、PHP、.N等； 5. 全中文化和國際化：界面操作全部顯示中文?？梢愿鶕?jù)需要按照區(qū)域化的配置顯示客戶熟悉的語言。 6. 后臺自動調(diào)度： 通過后臺調(diào)度自動定期執(zhí)行導(dǎo)入作業(yè)。 7. 支持增量導(dǎo)入和自動關(guān)系維護：同一個數(shù)據(jù)源多次導(dǎo)入時，可以支持以增量方式進行導(dǎo)入。減少數(shù)據(jù)處理量，提高效率。 8. 自動關(guān)系維護：通過元數(shù)據(jù)的屬性或者解析SQL的方式，能夠自動的建立元數(shù)據(jù)之間的關(guān)系。 9. 支持大數(shù)據(jù)量： 為了能夠支持超大數(shù)據(jù)量（>200M）的元數(shù)據(jù)導(dǎo)入，系統(tǒng)優(yōu)化了XML解析和數(shù)據(jù)比較，并且支持多個Java虛擬機（JVM）的數(shù)據(jù)導(dǎo)入，最大限度的利用了硬件系統(tǒng)的資源。 4.1.1.4 數(shù)據(jù)模型 元數(shù)據(jù)管理系統(tǒng)具有獨立的元模型管理控制平臺，實現(xiàn)元模型的建立、關(guān)系的維護等功能。元模型架構(gòu)支持國際CWM規(guī)范、提供行業(yè)預(yù)定義元模型、支持用戶按需完全定制，從而保障用戶隨著時間推移對更多種類元數(shù)據(jù)的管理需要，以及完善現(xiàn)有元數(shù)據(jù)定義的需要，能滿足企業(yè)中長期發(fā)展的需求，提高投資回報率。 元模型管理功能包括： ? 提供圖形化元模型管理控制臺（Console） ? 支持元模型的增加、刪除、修改等基本操作 ? 支持標(biāo)準(zhǔn)的CWM元模型 ? 支持元模型擴展和自定義 ? 支持繼承、關(guān)聯(lián)、依賴等基本關(guān)系類型 ? 支持關(guān)系類型擴展 ? 支持多業(yè)務(wù)領(lǐng)域（Domain） ? 支持跨業(yè)務(wù)領(lǐng)域的元模型差異分析 ? 以XML格式對元模型進行導(dǎo)入導(dǎo)出 4.1.2 數(shù)據(jù)質(zhì)量 4.1.2.1 數(shù)據(jù)質(zhì)量評估體系 數(shù)據(jù)質(zhì)量評估體系主要由兩部分組成：數(shù)據(jù)質(zhì)量評估維度和數(shù)據(jù)質(zhì)量加權(quán)計分卡： l 數(shù)據(jù)質(zhì)量基礎(chǔ)評估維度是指對數(shù)據(jù)質(zhì)量進行定量或定性評估時所采用的描述數(shù)據(jù)質(zhì)量不同方面特性的評價標(biāo)準(zhǔn)。 l 數(shù)據(jù)質(zhì)量加權(quán)計分卡是在數(shù)據(jù)質(zhì)量評估維度的基礎(chǔ)上，根據(jù)業(yè)務(wù)關(guān)鍵性對各類維度進行權(quán)重設(shè)定并計算形成數(shù)據(jù)質(zhì)量評分。 數(shù)據(jù)質(zhì)量基礎(chǔ)評估維度 根據(jù)數(shù)據(jù)用戶對數(shù)據(jù)質(zhì)量的關(guān)注點不同，數(shù)據(jù)質(zhì)量特征可分為兩類：數(shù)據(jù)內(nèi)容質(zhì)量和數(shù)據(jù)展示質(zhì)量。兩類數(shù)據(jù)質(zhì)量特征分別具有一套數(shù)據(jù)質(zhì)量的基礎(chǔ)評估維度。 1. 數(shù)據(jù)內(nèi)容質(zhì)量評估維度： 2. 數(shù)據(jù)展示質(zhì)量評估維度： 數(shù)據(jù)質(zhì)量加權(quán)計分卡 數(shù)據(jù)質(zhì)量加權(quán)評估計分是根據(jù)數(shù)據(jù)質(zhì)量評估維度、被評估數(shù)據(jù)的技術(shù)特性和業(yè)務(wù)特性等等要素對數(shù)據(jù)進行分類，對不同類型進行權(quán)重值設(shè)置，對根據(jù)各類數(shù)據(jù)質(zhì)量評估維度得出的基礎(chǔ)評估量化值進行加權(quán)計算并最終得到數(shù)據(jù)質(zhì)量綜合水平計分的過程。具體分類方式如下： l 數(shù)據(jù)質(zhì)量評估維度分類：將上述的基礎(chǔ)評估維度進行進一步分類，可得到數(shù)據(jù)質(zhì)量六個方面的特性，即：合理性、一致性、及時性、完整性、唯一性和準(zhǔn)確性。 l 數(shù)據(jù)技術(shù)特性分類：根據(jù)數(shù)據(jù)的來源不同，可以分為基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)倉庫匯總數(shù)據(jù)、應(yīng)用層數(shù)據(jù)等。 l 數(shù)據(jù)業(yè)務(wù)特性分類：可以根據(jù)業(yè)務(wù)條線對數(shù)據(jù)進行分類，如市場風(fēng)險數(shù)據(jù)、信貸風(fēng)險數(shù)據(jù)、操作風(fēng)險數(shù)據(jù)等。 對不同分類設(shè)置權(quán)值后，即可進行數(shù)據(jù)質(zhì)量水平的加權(quán)計算。數(shù)據(jù)質(zhì)量加權(quán)計分卡的總體設(shè)計思路示意圖如下所示： 數(shù)據(jù)質(zhì)量加權(quán)計分卡 4.1.2.2 功能框架 數(shù)據(jù)質(zhì)量組件包含兩塊內(nèi)容：規(guī)則制定，質(zhì)量評估。規(guī)則制定是基于咨詢數(shù)據(jù)標(biāo)準(zhǔn)的導(dǎo)入，也包含企業(yè)后續(xù)對數(shù)據(jù)質(zhì)量規(guī)則的制定（數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)接口，元數(shù)據(jù)規(guī)則等）；質(zhì)量評估則是對規(guī)則結(jié)果的調(diào)整，通過數(shù)據(jù)評估，制定一整套數(shù)據(jù)質(zhì)量管理流程，便于對數(shù)據(jù)進行修正，對業(yè)務(wù)規(guī)則進行合并，清理，更好得服務(wù)決策和分析。 4.1.2.3 質(zhì)量管理 數(shù)據(jù)質(zhì)量管理系統(tǒng)通過對KPI指標(biāo)信息進行采集，對監(jiān)控規(guī)則進行設(shè)置，對異常信息進行告警，出具數(shù)據(jù)質(zhì)量報告等功能，可以滿足企業(yè)對高管系統(tǒng)KPI指標(biāo)進行監(jiān)控的需求。 對于數(shù)據(jù)質(zhì)量管理來說，對規(guī)則的靈活設(shè)置，對任務(wù)的及時反饋，對結(jié)果的評估，以及和第三方工具緊密集合是一個產(chǎn)品成敗的關(guān)鍵。對于數(shù)據(jù)質(zhì)量流程，一般框架如下： l 存儲管理 數(shù)據(jù)質(zhì)量管理系統(tǒng)定義了支撐數(shù)據(jù)質(zhì)量監(jiān)控功能并符合CWM標(biāo)準(zhǔn)的元模型結(jié)構(gòu)，包括監(jiān)控對象、采集項、采集規(guī)則以及監(jiān)控規(guī)則等。其中所涉及的元數(shù)據(jù)信息如監(jiān)控對象信息，需要從元數(shù)據(jù)管理系統(tǒng)獲取。質(zhì)量管理人員也可以創(chuàng)建新的元數(shù)據(jù)，來滿足質(zhì)量監(jiān)控的需要。相關(guān)的質(zhì)量信息存儲在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中。 l 采集管理 數(shù)據(jù)質(zhì)量采集模塊由采集服務(wù)器和采集代理組成，采集代理支持分布式部署，采集服務(wù)器對采集代理進行集中管理，支持的功能如下所示： 代理啟動時向服務(wù)器注冊請求，注冊信息包含代理的IP地址、通訊端口、進程ID，啟動時間； 代理每個一段時間要向服務(wù)器發(fā)送心跳檢測信號，心跳間隔時間可配置； 代理在允許結(jié)束時向服務(wù)器發(fā)送注銷請求； 代理可以支持服務(wù)器對代理運行狀態(tài)的查詢； 代理在與服務(wù)器中斷連接后可以保留已運行完畢檢查報告和未運行完的任務(wù)狀態(tài)； 代理負(fù)責(zé)采集數(shù)據(jù)，將采集的格式化成質(zhì)量平臺的數(shù)據(jù)格式，關(guān)聯(lián)相應(yīng)的監(jiān)控對象； 服務(wù)器集中保管所有的采集配置數(shù)據(jù)，代理自動從服務(wù)器獲取相關(guān)的采集信息。 l 規(guī)則監(jiān)控管理 數(shù)據(jù)質(zhì)量管理系統(tǒng)的規(guī)則包括數(shù)據(jù)采集規(guī)則、監(jiān)控規(guī)則以及告警規(guī)則等，因采集規(guī)則和告警規(guī)則相對較簡單。 監(jiān)控規(guī)則存儲在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中，包括規(guī)則當(dāng)前信息、歷史信息以及變更信息等， 具體規(guī)則可以通過Quality One選擇，也可以通過前端二次開發(fā)，獲取更多的詳細分析。 為了實現(xiàn)監(jiān)控規(guī)則的靈活調(diào)度及與業(yè)務(wù)分析過程相結(jié)合，規(guī)則調(diào)度部分支持時間觸發(fā)調(diào)度和規(guī)則依賴調(diào)度兩種方式，具體說明如下。 時間觸發(fā)方式，即按照定時觸發(fā)、循環(huán)觸發(fā)及間隔觸發(fā)的方式對規(guī)則進行調(diào)度。如下圖所示。 規(guī)則依賴調(diào)度，即某規(guī)則是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足，或某規(guī)則執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來決定另一個節(jié)點是否執(zhí)行。此調(diào)度方式可支持?jǐn)?shù)據(jù)質(zhì)量問題的逐步探查式分析。 l 告警管理 數(shù)據(jù)質(zhì)量采集和檢查過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時，系統(tǒng)會提示某些數(shù)據(jù)或者規(guī)則超過了指定閥值，系統(tǒng)就對這些數(shù)據(jù)做告警處理。告警流程，可以通過數(shù)據(jù)接口的方式，嵌入到數(shù)據(jù)質(zhì)量管理流程中，便于后續(xù)做進一步的處理。 在告警時，客戶需分析查明告警原因，需要具體的明細數(shù)據(jù)，系統(tǒng)提供界面查詢的接口，也提供后端文件的接口，便于后續(xù)的檢查，也可以用于外部前端接口更深入的分析，或者檢查歷史趨勢。 l 質(zhì)量報告 數(shù)據(jù)管理系統(tǒng)提供數(shù)據(jù)質(zhì)量日常管理各種報告，包括數(shù)據(jù)質(zhì)量問題相關(guān)的各種明細及匯總報告。質(zhì)量報告模塊集成了內(nèi)置的圖形引擎，支持多種圖形的動態(tài)展示，如柱狀圖、餅圖、折線圖等，可輸出數(shù)據(jù)表格與圖形動態(tài)聯(lián)動的各種數(shù)據(jù)質(zhì)量式樣， 也可通過提供外部數(shù)據(jù)接口的方式，輸出復(fù)雜的質(zhì)量報告。 4.1.2.4 質(zhì)量評估 數(shù)據(jù)質(zhì)量評估是指依據(jù)數(shù)據(jù)質(zhì)量評估任務(wù)要求，結(jié)合數(shù)據(jù)質(zhì)量探查的結(jié)果，按照一定規(guī)則，對探查結(jié)果進行統(tǒng)計分析，并形成綜合評估分析結(jié)果的活動，該活動需求包括任務(wù)管理、評估規(guī)則設(shè)置、評估結(jié)果分析等。 數(shù)據(jù)質(zhì)量評估師對指定規(guī)則設(shè)置后的處理流程，如下圖所示（一圖為審計流程，二圖為評估處理流程） 圖一 圖二 4.1.2.5 質(zhì)量探查 數(shù)據(jù)剖析功能 l 內(nèi)置豐富的分析評估模型 內(nèi)置針對指標(biāo)日常和節(jié)假日波動的閾值分析和優(yōu)化模型、針對指標(biāo)業(yè)務(wù)相關(guān)性的關(guān)聯(lián)波動分析模型、針對問題分布的監(jiān)控覆蓋和規(guī)則優(yōu)化分析模型等常用分析評估模型，并且可以根據(jù)業(yè)務(wù)需要進行擴充。 1. 列分析，對數(shù)據(jù)源表中的字段的值進行統(tǒng)計。比如：最大值，最小值，唯一值個數(shù)，NULL 值的比例，字段類型，長度，字段格式以及數(shù)值分布比例等； 2. 連接分析，對兩個表之間的連接列和匹配程度進行分析； 3. 鍵值分析，分析和檢查表的中某1列或多列是否符合唯一性約束 高級分析功能 規(guī)則管理：支持對數(shù)據(jù)源表中的字段設(shè)置評分權(quán)重，以及配置校驗規(guī)則； 規(guī)則分類：質(zhì)量監(jiān)控信息進行規(guī)則校驗、觸發(fā)質(zhì)量告警的計算準(zhǔn)則，是判斷是否為數(shù)據(jù)質(zhì)量問題的標(biāo)準(zhǔn)，主要包括如下幾類： l 均差探查 l 一致性校驗規(guī)則 l 自定義檢查規(guī)則 l 關(guān)聯(lián)性分析檢查 4.1.2.6 支持度分析 數(shù)據(jù)質(zhì)量產(chǎn)品功能需求　 MetaOne支持度 說明 系統(tǒng)操作功能 　 　 100% 　 系統(tǒng)服務(wù)功能 　 　 100% 　 變更和升級 　 　 100% 　 基本功能要求 數(shù)據(jù)探查 列分析 100% 　 連接分析 100% 　 　 鍵值分析 100% 　 　 復(fù)雜規(guī)則分析 100% 　 　 數(shù)據(jù)準(zhǔn)確性分析 100% 　 　 數(shù)據(jù)一致性分析 100% 　 數(shù)據(jù)完整性分析 100% 數(shù)據(jù)規(guī)范性分析 100% 數(shù)據(jù)參照完整性分析 100% 其他分析 100% 質(zhì)量評估 定義評估任務(wù) 100% 跟蹤評估結(jié)果 100% 評估規(guī)則設(shè)定 100% 權(quán)重設(shè)置 100% 評估計算 手工或者自動 100% 支持第三方 100% 通過接口方式，需要ETL工作 統(tǒng)計報表需求 　 　 100% 　 用戶權(quán)限管理需求 　 　 100% 　 安全審計需求 　 　 100% 　 性能說明 　 　 100% 　 其他要求 　 　 100% 　視情況而定，可以客制化 4.2 系統(tǒng)調(diào)度 數(shù)據(jù)管控體系內(nèi)部任務(wù)調(diào)度機制采用雙模型進行，整體系統(tǒng)調(diào)度集合企業(yè)數(shù)據(jù)倉庫的統(tǒng)一調(diào)度平臺觸發(fā)平臺內(nèi)部調(diào)度機制。 系統(tǒng)調(diào)度設(shè)計遵循企業(yè)Automation調(diào)度機制，主要是幫助有效監(jiān)控數(shù)據(jù)管控體系項目中的關(guān)注風(fēng)險系統(tǒng)指標(biāo)規(guī)則。 4.3 系統(tǒng)集成 MetaOne系統(tǒng)根據(jù)需要靈活地為其他系統(tǒng)、應(yīng)用或平臺所嵌套集成，以滿足業(yè)務(wù)用戶能夠就近訪問操作的需要；MetaOne系統(tǒng)具備該能力，是由于MetaOne采用平臺架構(gòu)，提供強大的API接口，MOI（MetaOne Interface）是MetaOne根據(jù)多年元數(shù)據(jù)建設(shè)經(jīng)驗，結(jié)合國內(nèi)元數(shù)據(jù)應(yīng)用的實際情況，推出的一套元數(shù)據(jù)調(diào)用接口（API）集?；贛OI層，用戶可直接調(diào)用元數(shù)據(jù)或是元數(shù)據(jù)功能，使系統(tǒng)與MetaOne的數(shù)據(jù)通過數(shù)據(jù)集成、頁面集成、功能集成等形式實現(xiàn)整合。MOI提供整套的應(yīng)用開發(fā)指南，供客戶根據(jù)需求基于系統(tǒng)進行二次開發(fā)。 企業(yè)數(shù)據(jù)管控體系系統(tǒng)的源數(shù)據(jù)包括業(yè)務(wù)源系統(tǒng)信息，匯聚平臺調(diào)度腳本及其DS等信息，倉庫平臺及其數(shù)據(jù)集市包括PCRM集市,CCRM集市和高管集市系統(tǒng)及其他集市系統(tǒng)，同時，元數(shù)據(jù)平臺也包括企業(yè)報表平臺技術(shù)元數(shù)據(jù)。 MetaOne元數(shù)據(jù)管理平臺與源數(shù)據(jù)平臺，匯聚平臺和倉庫平臺及其報表平臺等元數(shù)據(jù)采集方式都通過MetaOne的MIB橋接器接口連接，同時，遵守系統(tǒng)建設(shè)要不能直接訪問生產(chǎn)環(huán)境操作機，沒鏡像環(huán)境的系統(tǒng)，將采用固定格式的數(shù)據(jù)標(biāo)準(zhǔn)接口進行元數(shù)據(jù)信息維護。 第五章 軟硬件配置環(huán)境 5.1 硬件環(huán)境 硬件配置 主服務(wù)器 CPU Intel 至強處理器 主頻2 GHz或同等級別CPU x 4-8 內(nèi)存 8GB 存儲 0.5T 網(wǎng)絡(luò)環(huán)境 高速光纖互連網(wǎng)絡(luò)，或1000M以上網(wǎng)卡 備份服務(wù)器 CPU Intel 至強處理器 主頻2 GHz或同等級別CPU x 4-8 內(nèi)存 8GB 存儲 0.5T 網(wǎng)絡(luò)環(huán)境 高速光纖互連網(wǎng)絡(luò)，或1000M以上網(wǎng)卡 客戶端硬件 CPU Intel Pentium4 主頻2 GHz或同等級別CPU x 1 內(nèi)存 1G 存儲 80G 網(wǎng)絡(luò)環(huán)境 高速光纖互連網(wǎng)絡(luò)，或1000M以上網(wǎng)卡 5.2 軟件環(huán)境 5.2.1 應(yīng)用服務(wù)器 n 操作系統(tǒng) 本系統(tǒng)具備良好的跨平臺部署能力，支持大多數(shù)主流操作系統(tǒng)。通過測試的操作系統(tǒng)有Windows NT4、Windows 2000 Server以上、Windows Server 2008，Linux Redhat AS 4，AIX 5或以上，HP-UX 10或以上 n Java虛擬機 應(yīng)用服務(wù)器端 Java SDK 1.6.0 以上版本 客戶機端 Java SDK 1.6.0 以上版本 n Web服務(wù)器 Tomcat 6 或以上；系統(tǒng)要求使用包含標(biāo)準(zhǔn)Servlet容器的Web服務(wù)器，與相應(yīng)的操作系統(tǒng)相匹配。 5.2.2 數(shù)據(jù)庫服務(wù)器 n 關(guān)系數(shù)據(jù)庫軟件 MetaOne支持在主流關(guān)系型數(shù)據(jù)庫上部署，支持的數(shù)據(jù)庫包括Oracle的oracle系列產(chǎn)品、IBM的DB2以及MicroSoft的SQL server 2008。 n Oracle Oracle 10g 以上版本，要求數(shù)據(jù)庫實例的字符集和國家字符集都使用UTF8 NLS_CHARACTERSET AL32UTF8 NLS_NCHAR_CHARACTERSET UTF8 n DB2 DB2 UDB V8 以上 字符集要求 UTF8 MicroSoft SQL Server 2005