- 相關(guān)推薦
淺談數(shù)據(jù)集市技術(shù)在高校信息管理中的應(yīng)用
論文關(guān)鍵詞：數(shù)據(jù)倉(cāng)庫(kù)：數(shù)據(jù)集市；AnlaysisServices(分析服務(wù)工具)；OLd(聯(lián)機(jī)分析處理)
論文摘要：高校各類(lèi)信息系統(tǒng)積累了大量的數(shù)據(jù)，亟待一種方法對(duì)其進(jìn)行整合以更大限度的發(fā)揮其作用，文章針對(duì)高校特點(diǎn)提出了自底向上先建立數(shù)據(jù)集市，再集成為數(shù)據(jù)倉(cāng)庫(kù)的解決方案，并針對(duì)西華師范大學(xué)學(xué)院利用SQLcSver2000建立了數(shù)據(jù)集市。
1引言
計(jì)算機(jī)技術(shù)已經(jīng)在高校教學(xué)管理工作中廣泛應(yīng)用，各種類(lèi)型的信息管理系統(tǒng)在高校各部門(mén)都已建立，如學(xué)生管理系統(tǒng)、教務(wù)管理系統(tǒng)、教師信息系統(tǒng)等等，它們的開(kāi)發(fā)和應(yīng)用大大提高了工作效率。但是，各類(lèi)信息資源分散在各個(gè)不同的部門(mén)，缺乏統(tǒng)一的管理和組織，雖然積累了大量的數(shù)據(jù)信息，可是功能只是局限于查詢等初級(jí)的應(yīng)用，不能實(shí)現(xiàn)一些高級(jí)應(yīng)用如:OLAP分析、數(shù)據(jù)挖掘等。對(duì)這些數(shù)據(jù)信息，巫待一種方法對(duì)其進(jìn)行整合以更大限度的發(fā)揮其作用，這種方法就是建立數(shù)據(jù)倉(cāng)庫(kù)。
自頂向下開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)能最大限度地減少集成問(wèn)題，是很好的開(kāi)發(fā)方案。然而，數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目龐大、結(jié)構(gòu)復(fù)雜、物力投人大、開(kāi)發(fā)周期長(zhǎng)，并且很難使整個(gè)組織的共同數(shù)據(jù)模型達(dá)到一致，從而缺乏靈活性。所以，高校數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)應(yīng)該采取漸進(jìn)式、分階段、分步驟的策略一自底向上首先設(shè)計(jì)、開(kāi)發(fā)獨(dú)立的面向一個(gè)院、系、部門(mén)數(shù)據(jù)集市，待成功后再建立所有院、系、部門(mén)的數(shù)據(jù)集市，最后集成為數(shù)據(jù)倉(cāng)庫(kù)。這種方式靈活性大、花費(fèi)又低，并且能快速見(jiàn)效，更適合高校的實(shí)際情況。
2數(shù)據(jù)倉(cāng)庫(kù)的建立
對(duì)高校數(shù)據(jù)倉(cāng)庫(kù)建立我們?cè)O(shè)計(jì)如下實(shí)現(xiàn)步驟(圖1):
(1)定義一個(gè)高層次的整體數(shù)據(jù)模型，在不同的主題和可能的應(yīng)用之間，提供全局范圍的、一致的、集成的數(shù)據(jù)視圖。無(wú)論數(shù)據(jù)集市提供何種功能，都是數(shù)據(jù)倉(cāng)庫(kù)的組件，要保證數(shù)據(jù)的組織、格式和架構(gòu)在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)保持一致。表的設(shè)計(jì)、更新機(jī)制或維度的層次結(jié)構(gòu)如果不一致，可能會(huì)使數(shù)據(jù)無(wú)法在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)重新使用，并可能導(dǎo)致由相同的數(shù)據(jù)生成不一致的報(bào)表。
(2)基于上述相同的整體數(shù)據(jù)模型，并行地實(shí)現(xiàn)獨(dú)立的院、系、部門(mén)數(shù)據(jù)集市和校級(jí)部門(mén)數(shù)據(jù)集市。
(3)構(gòu)造分布式數(shù)據(jù)集市，通過(guò)網(wǎng)絡(luò)中心服務(wù)器集成不同的數(shù)據(jù)集市。
(4)集成為一個(gè)多層數(shù)據(jù)倉(cāng)庫(kù)，這里，多層數(shù)據(jù)倉(cāng)庫(kù)是所有倉(cāng)庫(kù)數(shù)據(jù)的唯一管理者，數(shù)據(jù)則分布在一些依賴的各院、系、部門(mén)數(shù)據(jù)集市中。
(5)建立C/S模式通過(guò)網(wǎng)絡(luò)中心服務(wù)器為廣大的教學(xué)管理人員、教師、學(xué)生提供服務(wù)。開(kāi)發(fā)OLAP分析和數(shù)據(jù)挖掘等高級(jí)的應(yīng)用，為高校教學(xué)管理提供決策支持。
3數(shù)據(jù)集市實(shí)例設(shè)計(jì)
本文以西華師范大學(xué)計(jì)算機(jī)學(xué)院為研究對(duì)象，利用SQL Server 2000及Analysis Services構(gòu)造了一個(gè)面向院、系、部門(mén)的數(shù)據(jù)集市。
3.1數(shù)據(jù)集市模型的設(shè)計(jì)
在決策分析時(shí)，需要從多個(gè)方面來(lái)分析一個(gè)主題，這就要求數(shù)據(jù)集市以多維數(shù)據(jù)集的方式來(lái)組織數(shù)據(jù)，以簡(jiǎn)化OLAP分析，提高查詢性能。本文采用了雪花模型一將星型模型的維表進(jìn)行分解，分解成多個(gè)具有層次關(guān)系的維表，建立多維數(shù)據(jù)集。分解維表的過(guò)程也就是對(duì)維表進(jìn)一步標(biāo)準(zhǔn)化的過(guò)程。雪花模型是標(biāo)準(zhǔn)化的維表，粒度較低，增加了應(yīng)用程序的靈活性，易于實(shí)現(xiàn)動(dòng)態(tài)SQL生成，便于以后進(jìn)行數(shù)據(jù)挖掘等高級(jí)應(yīng)用(圖2)。
3.2建立數(shù)據(jù)準(zhǔn)備區(qū)
數(shù)據(jù)準(zhǔn)備區(qū)是數(shù)據(jù)中間存儲(chǔ)區(qū)，在這里從數(shù)據(jù)源中析取數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)換為常用格式，檢查一致性和引用完整性，并裝人數(shù)據(jù)集市數(shù)據(jù)庫(kù)。使用獨(dú)立于數(shù)據(jù)源的數(shù)據(jù)準(zhǔn)備區(qū)將原始數(shù)據(jù)同數(shù)據(jù)集市數(shù)據(jù)隔離開(kāi)，可以提高數(shù)據(jù)集市的效率，保護(hù)數(shù)據(jù)集市的完整性，并且不影響數(shù)據(jù)集市執(zhí)行支持客戶端訪問(wèn)等主要功能。本文為數(shù)據(jù)準(zhǔn)備區(qū)創(chuàng)建單獨(dú)的數(shù)據(jù)庫(kù)，包含創(chuàng)建數(shù)據(jù)表、視圖、索引，還包含從源數(shù)據(jù)系統(tǒng)中析取數(shù)據(jù)的進(jìn)程，如數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS)包，以及關(guān)系數(shù)據(jù)庫(kù)中常用的其它元素。
3.3清理和轉(zhuǎn)換數(shù)據(jù)
對(duì)于構(gòu)建數(shù)據(jù)集市或OLAP分析、數(shù)據(jù)挖掘等高級(jí)應(yīng)用，都需要數(shù)據(jù)的正確性、一致性、完整性。而現(xiàn)有數(shù)據(jù)存在很多的問(wèn)題，如:濫用縮寫(xiě)詞、慣用語(yǔ)、數(shù)據(jù)輸入錯(cuò)誤、重復(fù)記錄、丟失值等等。所以數(shù)據(jù)必須進(jìn)行清理及格式化，并轉(zhuǎn)換為數(shù)據(jù)集市架構(gòu)。本文把數(shù)據(jù)駐留在數(shù)據(jù)準(zhǔn)備區(qū)完成清理和轉(zhuǎn)換，并且驗(yàn)證數(shù)據(jù)的一致性，將數(shù)據(jù)轉(zhuǎn)換成常用格式以及合并代理鍵。在實(shí)際轉(zhuǎn)換中很多的數(shù)據(jù)需要執(zhí)行手工操作協(xié)調(diào)數(shù)據(jù)的不一致或解決二義性文本字段輸人項(xiàng)。每次需要手工操作時(shí)，要試著確定一種方法來(lái)消除在以后的數(shù)據(jù)轉(zhuǎn)換操作中的手工步驟。這樣能夠修改源數(shù)據(jù)系統(tǒng)以消除起因，或者能建立自動(dòng)化進(jìn)程將未解決的數(shù)據(jù)留待以后手工異常處理，從而，大批的數(shù)據(jù)就可以裝人數(shù)據(jù)集市而不會(huì)因手工干預(yù)而耽擱。典型的數(shù)據(jù)轉(zhuǎn)換如:將多個(gè)名稱字段組合成一個(gè)字段;將日期字段劃分成單獨(dú)的年、月、日字段;將數(shù)據(jù)從一個(gè)表示法映射到另一個(gè)，如從TRUE到1和F人LSE到0;創(chuàng)建并應(yīng)用維度表記錄的代理鍵。SQL Server 2000中提供Transact一 SQL查詢、DTS包、ActiveX腳本等工具可以有效地協(xié)助轉(zhuǎn)換數(shù)據(jù)。
3.4 OLAP(聯(lián)機(jī)分析處理)
OLAP是實(shí)現(xiàn)對(duì)數(shù)據(jù)高效率訪問(wèn)分析的一種技術(shù)。它有很多優(yōu)點(diǎn)，如:直觀的多維數(shù)據(jù)模型使用戶很容易就能選擇、瀏覽和研究數(shù)據(jù);分析查詢?yōu)檠芯繌?fù)雜的業(yè)務(wù)數(shù)據(jù)關(guān)系提供了強(qiáng)大功能;對(duì)頻繁查詢的數(shù)據(jù)預(yù)先進(jìn)行計(jì)算，可以非�？斓仨憫�(yīng)特殊查詢。數(shù)據(jù)集市基于多維數(shù)據(jù)模型，該模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式，進(jìn)行OLAP分析。數(shù)據(jù)立方體由維和事實(shí)定義，允許以多維的形式對(duì)數(shù)據(jù)建模和觀察。但是數(shù)據(jù)立方體由于可視化技術(shù)的限制，大多在理論上研究，很少有軟件能較好的實(shí)現(xiàn)。在Analysis Services使用了多維數(shù)據(jù)集的概念，代替數(shù)據(jù)立方體，在表現(xiàn)的形式上采用了嵌套表的形式以利于編程實(shí)現(xiàn)。多維數(shù)據(jù)集仍是把數(shù)據(jù)組織成多維，每維包含由概念分層定義的多個(gè)抽象層，緯度指分析的角度，度量值指分析的對(duì)象。利用Analysis Services的多維數(shù)據(jù)集瀏覽器，我們可以很方便的實(shí)現(xiàn)上卷、下鉆、切片和切塊、旋轉(zhuǎn)等OLAP操作(圖3)。
3.5多維數(shù)據(jù)集角色定義和權(quán)限分配
角色是Analysis Service。保護(hù)多維數(shù)據(jù)集內(nèi)對(duì)象和數(shù)據(jù)安全的主要方法，它可以在多維數(shù)據(jù)集的不同粒度級(jí)別上定義安全性。基于需要，管理員可以在維度成員級(jí)別或數(shù)據(jù)單元級(jí)別上保護(hù)數(shù)據(jù)的安全，利用多維數(shù)據(jù)集角色定義哪些用戶或用戶組可以訪問(wèn)和查詢多維數(shù)據(jù)集內(nèi)的數(shù)據(jù)，如限制學(xué)生只能查閱自己的成績(jī)，不能查閱其他同學(xué)的成績(jī)。
3.6元數(shù)據(jù)的管理
元數(shù)據(jù)是關(guān)于數(shù)據(jù)屬性和數(shù)據(jù)結(jié)構(gòu)的信息，也指用以界定對(duì)象(如多維數(shù)據(jù)集或維度)設(shè)計(jì)的信息。有了元數(shù)據(jù)，用戶就可以很快找到所需要數(shù)據(jù)或確認(rèn)這些數(shù)據(jù)是否在數(shù)據(jù)集市中，從而更有效的利用數(shù)據(jù)集市。Analysis Services可以自動(dòng)生成元數(shù)據(jù)，并通過(guò)SQL Server2000 Meta Data Services對(duì)其進(jìn)行管理。
3.7在web上建立OLAP數(shù)據(jù)透視
向用戶提供數(shù)據(jù)訪問(wèn)能力的Web應(yīng)用程序，客戶端可以使用Web瀏覽器，而不必安裝、配置和維護(hù)特殊的應(yīng)用程序。我們通過(guò)FrontPage組件建立直接在web上的應(yīng)用�！安迦�/組件/office數(shù)據(jù)透視表”，通過(guò)Microsoft OLE DB Provider for OLAP Services 8 .0可以創(chuàng)建對(duì)應(yīng)于任何ODBC兼容數(shù)據(jù)源的。LAP數(shù)據(jù)透視表視圖，通過(guò)“MS FrontPage:業(yè)務(wù)分析模式”結(jié)合“數(shù)據(jù)透視表屬性工具箱”建立分析模式，用戶可以在Web瀏覽器上，調(diào)整字段列表、數(shù)據(jù)屬性、顯示格式，以便以最合適分析角度的方式進(jìn)行分析[’]。
3.8數(shù)據(jù)的更新
一些數(shù)據(jù)會(huì)不定時(shí)的更新，如經(jīng)費(fèi)開(kāi)支，但是這些日常性的變化不需要存人數(shù)據(jù)集市，我們可以把數(shù)據(jù)更新的部分存人數(shù)據(jù)準(zhǔn)備區(qū)。對(duì)于新生人校、學(xué)生畢業(yè)、的、教師的晉級(jí)等，一般每學(xué)期末才會(huì)，所以，我們的數(shù)據(jù)集市只需要在每學(xué)期末更新和整理一次。
4結(jié)論與展望
本文利用SQL Server 2000及Analysis Service建立了面向?qū)W院級(jí)的數(shù)據(jù)集市。通過(guò)運(yùn)行，系統(tǒng)較好的解決了學(xué)院管理中的許多問(wèn)題，充分顯示出數(shù)據(jù)倉(cāng)庫(kù)管理的靈活、便捷和穩(wěn)定等特點(diǎn)。這種結(jié)合高校特點(diǎn)，通過(guò)數(shù)據(jù)集市集成為數(shù)據(jù)倉(cāng)庫(kù)的方法，最終可以發(fā)展成為高校管理決策支持的有力工具。
【淺談數(shù)據(jù)集市技術(shù)在高校信息管理中的應(yīng)用】相關(guān)文章：
數(shù)據(jù)挖掘技術(shù)在ＣＲＭ中的應(yīng)用03-22
數(shù)據(jù)挖掘技術(shù)在企業(yè)知識(shí)管理中的應(yīng)用03-19
研究數(shù)據(jù)融合技術(shù)及其在林業(yè)中的應(yīng)用03-18
探析數(shù)據(jù)融合技術(shù)及其在林業(yè)中的應(yīng)用03-18
淺析數(shù)據(jù)融合技術(shù)及其在林業(yè)中的應(yīng)用03-19
淺談ＲＴＫ技術(shù)在公路測(cè)量中應(yīng)用問(wèn)題03-19
淺談CAD技術(shù)在工程設(shè)計(jì)中的應(yīng)用03-18