人類社會三大要素(能源 材料和信息)中，信息愈來愈顯示出其重要性和支配力，它將人類社會由工業(yè)化時代推向信息化時代，使現代社會所有大的機構都卷入到以數據及其處理(數據搜集 存儲 檢索 傳送 分析和表示）的浪潮中。而隨著人類活動范圍擴展，節(jié)奏加快，以及技術的進步，人們能以更快速較易而廉價的方式獲取和存儲數據，這就使得數據和信息量以指數形式向上增長。早在八十年代，人們粗略地估算到全球信息量，每隔20個月就增加班一倍。進入九十年代，各類機構所有數據庫數據量增長更快。一個不大的企業(yè)每天要產生100MB以上來自各方面的營業(yè)數據。美國政府部門的一個典型的大數據庫每天要接收約5TP數據量，在15秒到1分鐘時間里，要維持的數據量達到300TB，存檔數據達15-100PB。在科研方面，以美國宇航局的數據庫為例，每天從衛(wèi)星下載的數據量就達3-4TB之多，而為了研究的需要，這些數據要保存七年之久。九十年代因特網（Internet）的出現和發(fā)展，以及隨之而來的企業(yè)內部網（Intranet）和企業(yè)外部網（Extranet）以及虛擬私有網（VPN--Virtual Private network）的產生和應用，將整個世界聯成一個小小的地球村，人們可以跨越時空地在網上交換信息和協同工作。這樣，展現在人們面前的已不是局限于本部門，本單位和本行業(yè)的龐大數據庫，而是浩瀚無垠的信息海洋。據估計，1993年面全球數據存貯容量約為二千TP，到達2000年會增加到三百萬TB，對這極度膨脹的數據信息量，人們受到“信息爆炸”“混沌信息空間”（Information Chaotic Spact）和“數據過�！保―ata glut)的巨大壓力。

然而，人類的各項活動基于人類的智慧和知識，即對外部世界的觀察和了解，正確的判斷和決策以及采取正確的行動，而數據僅僅是人們用各種工具和手段觀察外部世界所得到的原始材料，它本身沒有任何意義。從數據到智慧，要經過分析加工處理精煉的過程。如圖1所示：數據是原材料，它只是描述發(fā)生了什么事情，它不提供判斷或解釋，和行動的可靠基礎。人們對數據進行分析找出其中關系，賦予數據以某種意義和關聯，這就形成所謂信息。信息雖給出了數據中一些有一定意義的東西，但它往往和人們手上的任務沒有什么關聯，還不能做為判斷 決策和行動的依據。對信息進行再加工，進行深入洞察，才能獲得更有用可資利用的信息，即知識.所謂知識，可以定義為“信息塊中的一組邏輯聯系，其關系是通過上下文或過程的貼近度發(fā)現的�！睆男畔⒅欣斫馄淠Ｊ剑�即形成知識。在大量知識積累基礎上，總結成原理和法則，就形成所謂智慧(Wisdom）.其實，一部分人類文明發(fā)展史，就是在各種活動中 知識的創(chuàng)造 交流 再創(chuàng)造不斷積累的螺旋式上升的歷史。另一方面，計算機與信息技術的發(fā)展，加速了這種過程，據德國世界報的資料分析，如果說19世紀時科學定律（包括新的化學分子式，新的物理關系和新的醫(yī)學認識）的認識數量一百年增長一倍，到本世紀60年代中期以后，每五年就增加一倍。這其中知識起著關鍵的作用。當數據量極度增長時,如果沒有有效的方法,由計算機及信息技術來提取有用信息和知識，也感到像大海撈針一樣束手無策。據估計，一個大型企業(yè)數據庫中數據，只有百分之七得到很好應用.這樣，相對于“數據過�！� 和“信息爆炸”,人們又感到“信息貧乏”（Information poor)"數據關在牢籠中”(data in jail).

早在八十年代，人們從“物競天擇 適者生存”的大原則下，認識到“誰最先從外部世界獲得有用信息并加以利用誰就是優(yōu)勝者”。現時當市場經濟面向全球性劇烈競爭的環(huán)境下，一家廠商的優(yōu)勢不在于像產品 服務 地區(qū)等方面因素，而在于創(chuàng)新。用知識來作為創(chuàng)新的原動力，就能使公司長期持續(xù)保持競爭優(yōu)勢。因此要能及時迅速從日積月累的龐大的數據庫及網絡上獲取有關經營決策有關知識，這是應付客戶需求易變性及市場快速變化引起競爭激烈局面的唯一武器。

從數據中獲取有用信息或知識，是一個完整的對數據進行加工 處理的過程。如圖3所示，其中DM是關鍵的一步。[1]挑選：按一定的標準從數據源中挑選或切取一組數據，形成目標數據。[2]凈化和預處理：將不必要或影響分析進程的部分數據刪去。[3]轉換：將預處理后的數據進行某些轉換使之成為可用和可導引的數據。[4]數據發(fā)掘：這是關鍵的階段，從數據中抽取出信息的模式。所謂模式，可以作如下定義：給定一組事實（數據）F，一種語言L，和某種可信度測量C，模式就是一種用L的描述方式S，它以可信度C對F的一個子集Fs各事實間的關系進行描述，這種描述在某種意義上比枚舉Fs中所有事實上要簡單得多。[5]解釋賦義或可視化：將模式解釋為可以支持決策的知識，例如預測 分類 匯總數據內容和解釋所觀察到的現象等。上述階段之間也許還需要某種迭代分析.(見圖3)從上述過程可以看出,從數據中獲取知識是涉及多個領域內技術融合的綜合應用（見圖4）

圖4 DM(KDD)與相關技術

三 KDD（DM）的任務 技術和應用

利用DM（KDD）技術可以完成多項決策所需任務，但大致可分為下述幾方面：[1]預測：從事例中求得模式，構造模型以預測目標度量。[2]分類：找出一函數能使每事例映射到某種離散類別之一。[3]查出關系：搜索到對某選定目標變量最有影響的其它獨立變量。[4]顯式模型：找出描述不同變量間依賴關系的顯式公式。[5]聚類：認定出描述數據的類別的有限分組。[6]偏離檢測：從數據已有或期望值中找出某些關鍵測度顯著的變化。

由于上述任務的不同，就需要采用不同的技術方法和手段，因而在市面也出現種類繁多的商品工具和軟件。大致可以歸納為下列主要類型：

[1]傳統(tǒng)主觀導向系統(tǒng)：這是針對專業(yè)領域應用的系統(tǒng)。如基于技術分析方法對金融市場進行分析。采用的方法從簡單的走向分析直到基于高深數學基礎的分形理論和譜分析。這種技術需要有經驗模型為前提.屬于這類商品有美國的Metastak,SuperCharts,Candlestick Forecaster 和Wall Street Money等

[2]傳統(tǒng)統(tǒng)計分析：這類技術包括相關分析 回歸分析及因子分析等。一般先由用戶提供假設,再由系統(tǒng)利用數據進行驗證。缺點是需經培訓后才能使用，同時在數據探索過程中，用戶需要重復進行一系列操作。屬于這類商品有美國的SAS,SPSS和Stargraphis等。由于近年來更先進的DM方法的出現和使用，這些廠商在原有系統(tǒng)中綜合一些DM部件，以獲得更完善的功能。

以上兩種技術主要基于傳統(tǒng)的數理統(tǒng)計等數學的基礎上，一般早已開始用于數據分析方面。

[3]神經元網絡（NN）技術：神經元網絡技術是屬于軟計算（Soft Computing)領域內一種重要方法，它是多年來科研人員進行人腦神經學習機能模擬的成果，已成功地應用于各工業(yè)部門。在DM（KDD）的應用方面,當需要復雜或不精確數據中導出概念和確定走向比較困難時，利用神經網絡技術特別有效。經過訓練后的NN可以想像具有某種專門知識的“專家”，因此可以像人一樣從經驗中學習。NN有多種結構，但最常用的是多層BP（back propagation）模型。它已廣泛地應用于各種DM（KDD）工具和軟件中。有些是以NN為主導技術，例如俄羅斯的PolyAnalyst,美國的BrainMaker,Neurosell和OWL等。NN技術也已廣泛地做為一種方法嵌入各種DM成套軟件中。其缺點是用它來分析復雜的系統(tǒng)諸如金融市場，NN就需要復雜的結構為數眾多神經元以及連接數，從而使現有的事例數（不同的紀錄數）無法滿足訓練的需要。另外由受訓后的NN所代表的預測模型的非透明性也是其缺點，盡管如此，它還是廣泛而成功地為各種金融應用分析系統(tǒng)所采用。

[4]決策樹：在知識工程領域，決策樹是一種簡單的知識表示方法，它將事例逐步分類成代表不同的類別。由于分類規(guī)則是比較直觀的，因而比較易于理解，雖然在機器獲取領域內，多年來已研制出不少實施決策樹的有效算法（如ID3及其改進算法等）。但這種方法限于分類任務。在系統(tǒng)中采用這種方法的有美國的IDIS，法國的SIPINA。英國的Clementinc和澳大利亞的C5.0。

[5]進化式程序設計（Evolutionary programming）：這種方法的獨特思路是：系統(tǒng)自動生成有關目標變量對其他多種變量依賴關系的務種假設，并形成以內部編程語言表示的程序。內部程序（假設）的產生過程是進化式的，類似于遺傳算法過程。當系統(tǒng)找到較好地描述依賴關系的一個假設時，就對這程序進行各種不同的微小修正，生成子程序組，再在其中選擇能更好地改進預測精度的子程序，如此依次進行，最后獲得達到所需精度的最好程序時，由系統(tǒng)的專有模塊將所找到的依賴關系由內部語言形式轉換成易于為人們理解的顯式形式，如數學公式，預測表等。由于采用通用編程語言，這種主法在原則上能保證任何一種依賴關系和算法都能用這種語言來描述。這種方法也許是目前最年青的和

最有前途的DN方法之一。這種是方法的商用產品還只見諸俄羅斯的Poly Analyst,據報導，它用于金融到醫(yī)療方面軍的各種應用于，能獲得者很好的結果。

[6]基于事例的推理方法（CBR棗Case based reasoning)這種方法的思路非常簡單，當預測未來情況或進行正確決策時，系統(tǒng)尋找與現有情況相類似的事例，并選擇最佳的相同的解決方案，這種方法能用于很多問題求解，并獲得好的結果，其缺點是系統(tǒng)不能生成匯總過去經驗的模塊或規(guī)則。采用這種方法的系統(tǒng)有美國的Pattern Recognition Workbench和法國的KATE tools.

[7]遺傳算法（GA棗Genetic Algorithms）：嚴格說來，DA不是GA應用的主要領域，它是解決各種組合或優(yōu)化問題的強有力的手段，但它在現代標準儀器表中也用來完成DA任務。這種方法的不足之處是：這種問題的生成方式使估計所得解答的統(tǒng)計意義的任何一種機會不再存在。另外一方面，只有專業(yè)人員才能提出染色體選擇的準則和有效地進行問題描述與生成。在系統(tǒng)中包含遺傳算法的有美國的GeneHunter.

[8]非線性回歸方法：這種方法的基礎是，在預定的函數的基礎上，尋找目標度量對其它多種變量的依賴關系。這種方法在金融市場或醫(yī)療診斷的應用場合，比較好的提供可信賴的結果。在俄羅斯的Paly Analyst以及美國的Neuroshell系統(tǒng)中包括了這種技術。

上面所列DM技術不可能是詳盡的囊括，因為多年來數理統(tǒng)計分析以及AI與KE的研究提供了種類繁多特點各異的手段，DM開發(fā)人員完全可以根據不同任務加以選擇使用，另外近年來在軟計算（Soft Comp-uting）和不確定信息處理（dealing with Uncertainty of information）方法的研究，促使DM（KDD）技術向更深層次發(fā)展。

另外需要說明的，上面所說的DM中的數據是指數據庫中表格形式中的記錄和條目,這種數據稱作結構型數據（Structured data）。在一個企業(yè)中，還有一類像文本和網頁形式的數據，稱作非結構型數據(unstructured data)。它來自不同的信息源，如文本 圖像 影視和音響等，當然文本是最主要的一種非結構數據.對一個企事業(yè)單位來說，非結構型數據往往占數據總量的80%，而結構型數據只占20%。1995年分析家已預言，像文本這樣非結構型數據將是在線存貯方面占支配地位的數據形式。到1998年初，在Internet上的信息網頁數，已超過5億，到2000年，預計網頁數將達到15億。隨著Internet的擴展和大量在線文本的出現，將標志這巨大的非結構型數據海洋中，蘊藏著極其豐富的有用信息即知識。人們從書本中獲取知識方法是閱讀和理解。開發(fā)一種工具能不需要閱讀而能協助用戶從非結構數據中抽取關鍵概念以及快速而有效地檢索到關心的信息，這將是一個非常引人入勝的研究領域。目前，基于圖書 索引 檢索以及超文本技術的各類搜索引擎，能協助用戶尋找所需信息，但要深入發(fā)掘這類數據中的有用用信息，尚需要更高層次的技術支持，人工智能領域有關知識表示及獲取的方法（如語義網絡 概念映射等），和自然語言理解的研究成果，可望被采用。還可能要涉及到語言學 心理學等領域。最近已出現針對文本的DM工具的報導。如IBM公司的TexMiner,NetQuestion,WedCawler和megaputer公司的TextAnalyst等。

DM（KDD）工具和軟件已在各個部門得到很好的應用，并收到明顯的效益。[1]在對客戶進行分析方面:銀行信用卡和保險行業(yè)，用DM將市場分成有意義的群組和部門，從而協助市場經理和業(yè)務執(zhí)行人員更好地集中于有促進作用的活動和設計新的市場運動。[2]在客戶關系管理方面:DM能找出產

品使用模式或協助了解客戶行為，從而可以改進通道管理（如銀行分支和ATM等）。又如正確時間銷

售（Right Time MarKeting)就是基于顧客生活周期模型來實施的。[3]在零售業(yè)方面:DM用于顧客購貨籃的分析可以協助貨架布置，促銷活動時間，促銷商品組合以及了解滯銷和暢銷商品狀況等商業(yè)活動。[4]通過對一種廠家商品在各連鎖店的市場共享分析,客戶統(tǒng)計以及歷史狀況的分析，可以確定銷售和廣告業(yè)務的有效性。[5]在產品質量保證方面:DM協助管理大數量變量之間的相互作用，DM能自動發(fā)現出某些不正常的數據分布，暴露制造和裝配操作過程中變化情況和各種因素，從而協助質量工程師很快地注意到問題發(fā)生范圍和采取改正措施。[6]在遠程通訊部門:基于DM的分析協助組織策略變更以適應外部世界的變化，確定市場變化模式以指導銷售計劃.在網絡容量利用方面，DM能提供對客戶組類服務使用的結構和模式的了解，從而指導容量計劃人員對網絡設施作出最佳投資決策。[7]在各個企事業(yè)部門，DM在假偽檢測 及險評估 失誤回避 資源分配 市場銷售預測廣告投資等很多方面，起著很重要作用。例如在化學及制藥行業(yè)，將DM用于巨量生物信息可以發(fā)現新的有用化學成分.在遙感領域針對每天從衛(wèi)星上及其它方面來的巨額數據，對氣象預報，臭氧層監(jiān)測等能起很大作用�？傊�，在國外，DM已廣泛應用于銀行金融，零售與批發(fā) 制造 保險 公共設施 政府 教育 遠程通訊 軟件開發(fā) 運輸等各個企事業(yè)單位。據報導，DM的投資回報率有達400%甚至10倍的事例。

四 DM（KDD）產品狀況

九十年代開始出現DM商用產品以來，據不完全統(tǒng)計，到1998年底1999年初，已達50多個廠商從事DM的開發(fā)工作，在美國DM產品市場在1994年約為5千萬美元，1997年達到3億美元。預計2000年將達到8億美元。從產品的類型來分有下列產品：[1]提供廣泛的DM能力，典型產品有IBM的Intelligent Miner,SAS的Enterprise Miner.[2]為某個部門旨在求解問題，典型的有Unica公司的Response Modeler Segnentor,IBM公司的Busiess Application等。[3]與提供服務一起,典型的有NeoVista,Hyperparallel,HNC Marksman.[4]黑匣工具，典型的有GroupModell,ModelMax,NewralWare的Predict.[5]解決客戶問題有Marketier Paregram,Exchemge Application等。

圖6 DM Suite 結構圖

DM（KDD）的目的原本是為企事業(yè)單位提供決策的正確依據，從分析數據發(fā)現問題作出決策采取行動這一系列操作是一個單位的動作行為，利用計算機及信息技術完成這整體行動，是發(fā)揮機構活力和贏得競爭優(yōu)勢的唯一手段。所以前幾年一位分析學家將這種機構行為和手段稱這為“事務智能”（BI棗Business Intelligent).他認為BI能極大地改進決策的質量和及時性，從而改進機構的生產率或發(fā)揮競爭優(yōu)勢。所以近年來，一些大公司將數據分析和DM（KDD）工具和有關技術組合起來形成所謂BIS（Business Intelligent Softwave）。其中SAS公司的作法是將數據源 ,數據預處理 ,數據存貯 ,數據分析與發(fā)掘 ,信息表示與應用等方面技術有機地綜合成一體，如圖 7所示

IBM公司更全面地考慮BI系統(tǒng)的結構和功能，與其它公司共同合作來開發(fā)BI各類軟件和工具。并從多方面來加以考慮：首先必須有一良好的數據庫和數據倉庫，并能使企業(yè)過渡到下一個世紀，所以提出了一個統(tǒng)一的數據庫系統(tǒng)DB2和一個可視化數據倉庫VDW（Visual Data Warehouse）,可以將各種應用和各部門的信息融為一體，加上Visual Warehouse OLAP工具可以生成實時報告。在信息發(fā)現和數據發(fā)掘工具方面，提出能對結構型和非結構型數據進行發(fā)掘的一整套智能工具（Intelligent Miner Family）。BI手段只有在好的數據基礎才能見效，因此提出數據重組工具。向用戶提供聯合統(tǒng)一觀點的企業(yè)數據是作出聰明決策的前提，提出能支持異形數據庫的DataJointer（數據接合）

五 結束語

本文從一個方面討論從數據到知識的過程，以及計算機及信息技術在過程中的發(fā)展。新的世紀將是一個高度化信息化的時代，也就是知識時代，以知識為題的許多問題，諸如知識經濟 知識產業(yè) 知識工人 知識管理 知識工程 知識網絡等，將成為研究的對象。也勢必推動以網絡為環(huán)境的計算機與信息技術向更高層次發(fā)展。