- 相關(guān)推薦
數(shù)字圖書館的評估研究
【內(nèi)容提要】文章總結(jié)了過去10年來的許多研究成果，從數(shù)字圖書館評估的基本問題、一般方法、主要內(nèi)容和數(shù)據(jù)收集等方面進行了探討。【摘 要 題】實踐研究
【關(guān) 鍵 詞】數(shù)字圖書館/評估/系統(tǒng)評估/用戶評估/評估內(nèi)容/評估方法/數(shù)據(jù)收集
【 正 文】
數(shù)字圖書館建設(shè)是一個龐大的系統(tǒng)工程，建立和發(fā)展數(shù)字圖書館必須首先進行先進、可靠的工程設(shè)計。當(dāng)數(shù)字圖書館建設(shè)進入實質(zhì)性的設(shè)計方案選定和具體實施、執(zhí)行階段后，為了確保工程質(zhì)量，必須進行及時、可信的中前期系統(tǒng)評估和用戶評估。當(dāng)數(shù)字圖書館建成或基本建成以后，仍然需要進行全面的后期評估。只有在數(shù)字圖書館建設(shè)的每個階段都進行了有效的評估，才能最終保證工程建設(shè)的質(zhì)量和水平。國內(nèi)外的實踐與研究表明，數(shù)字知識管理系統(tǒng)的工程設(shè)計和評估研究同樣重要[1-2]。本文著重對數(shù)字圖書館評估研究的基本問題、一般方法、主要內(nèi)容和數(shù)據(jù)收集等方面進行了探討。
1 數(shù)字圖書館評估的基本問題
傳統(tǒng)圖書館和現(xiàn)代信息檢索系統(tǒng)、人-機交互系統(tǒng)、知識管理系統(tǒng)、知識倉庫相比，數(shù)字圖書館的組成要素和結(jié)構(gòu)與后一類的相同性更為明顯，因為數(shù)字圖書館是一個大量應(yīng)用現(xiàn)代計算機技術(shù)、網(wǎng)絡(luò)通訊技術(shù)、多媒體數(shù)字技術(shù)的復(fù)雜人-機資源系統(tǒng)。數(shù)字圖書館評估不同于傳統(tǒng)圖書館（包括自動化圖書館）評估，它以數(shù)字圖書館的定義、要素、結(jié)構(gòu)為基礎(chǔ)，對其主要指標(biāo)、內(nèi)容按照一定的方法從功能性和可用性角度進行全面地評價研究。Saracevic在《數(shù)字圖書館評估：關(guān)于概念的發(fā)展》一文中認(rèn)為，評估應(yīng)該滿足某種要求，包括以下最基本的相關(guān)選擇和決策[3]：
�。�1）評估體系的構(gòu)建。即評估什么？數(shù)字圖書館的實際含義是什么？它包含的內(nèi)容是什么？評估內(nèi)容包含什么元素（成分、部分、程序）？
�。�2）評估標(biāo)準(zhǔn)的選擇。即評估的目標(biāo)、框架、觀點和標(biāo)準(zhǔn)的選擇。評估的標(biāo)準(zhǔn)是什么？選擇評估標(biāo)準(zhǔn)的關(guān)鍵是什么？最后，選擇某個標(biāo)準(zhǔn)有什么目的？
（3）相應(yīng)的選擇目標(biāo)所反映的性能標(biāo)準(zhǔn)。即性能參數(shù)集中在哪一點？評估有什么尺度或特征？
�。�4）測度反映記錄性能的選擇標(biāo)準(zhǔn)。即使用假定標(biāo)準(zhǔn)專門測度什么？
�。�5）實際評估的方法。即用于測度的工具是什么？樣本是什么？數(shù)據(jù)的收集使用什么程序？怎樣分析數(shù)據(jù)？
只要我們對上述每一點都給予關(guān)注，我們就可以進一步開展數(shù)字圖書館的評估。遺憾的是，數(shù)字圖書館評估的這些基本問題，國內(nèi)圖書館界至今沒有進行過研究和實踐。經(jīng)過近10年的發(fā)展，國外數(shù)字圖書館的評估理論體系已經(jīng)初具雛形，值得我們借鑒參考。
國外學(xué)者根據(jù)評估的規(guī)范性、約束性及其深度和廣度，一般將數(shù)字圖書館評估分為正式評估（Formal Evaluation）和非正式評估（Informal Evaluation）。正式評估復(fù)雜、可靠，但卻耗費太多人力、財力，讓人望而生畏。非正式評估簡單、有效但卻容易使評估迷失方向，使人們產(chǎn)生數(shù)字圖書館認(rèn)識的某些錯誤感覺和期望。為了數(shù)字圖書館的更好發(fā)展，必須根據(jù)數(shù)字圖書館建設(shè)的各個時期，選擇其中一種或兩者結(jié)合起來使用。
根據(jù)評估采用的方法不同，數(shù)字圖書館評估主要有系統(tǒng)評估（System Evaluation）和用戶評估（User Evaluation）。目前，國外大多數(shù)數(shù)字圖書館工程主要采用用戶評估，或?qū)⑦@兩種評估方法同時并用但以用戶評估為主的雙重評估。此外，在數(shù)字圖書館的評估研究中還廣泛采用其它一些方法，如：社會學(xué)方法（Sociological Approach）、經(jīng)濟學(xué)方法（Economic Ap proach）、政治學(xué)方法（Political pproach）、民族地理方法（Ethnographic Approach），但這些方法不是數(shù)字圖書館評估的主要方法。
除此之外，一些研究人員還專門進行了比較評估（Comparing Evaluation）和跨館服務(wù)質(zhì)量評估工具研究。[4-5]根據(jù)數(shù)字圖書館工程設(shè)計、實施、執(zhí)行和驗收的各個階段，還可以分為前期評估、中期評估和后期評估。所有這些研究，對于數(shù)字圖書館評估理論的發(fā)展，指導(dǎo)數(shù)字圖書館建設(shè)實踐，都有十分重要的意義。
2 數(shù)字圖書館評估的一般方法
盡管數(shù)字圖書館評估的方法有各種各樣，但始終不能偏離系統(tǒng)和用戶這兩個一般性范疇。因為數(shù)字圖書館系統(tǒng)功能的實現(xiàn)和用戶使用的滿意程度，已經(jīng)能夠代表對數(shù)字圖書館評估的主流。數(shù)字圖書館是在傳統(tǒng)圖書館基礎(chǔ)上發(fā)展起來的復(fù)雜人—機系統(tǒng)，系統(tǒng)和用戶是數(shù)字圖書館的兩個最根本的構(gòu)成要素。國外數(shù)字圖書館的評估研究，從方法角度看主要也集中在系統(tǒng)評估和用戶評估這兩個方面。只不過有的研究專門使用其中的一種，有的將這兩種結(jié)合起來使用。
系統(tǒng)評估是設(shè)計人員或其相關(guān)技術(shù)人員根據(jù)數(shù)字圖書館工程中的設(shè)計目標(biāo)方案、軟硬件技術(shù)和規(guī)范標(biāo)準(zhǔn)對其功能進行的評估。其目的是檢查（驗）系統(tǒng)設(shè)計目標(biāo)是否完成，硬件是否符合工程需要，軟件性能怎樣，以及系統(tǒng)的技術(shù)標(biāo)準(zhǔn)化程度。由于系統(tǒng)評估是一項專業(yè)性很強的功能評估，一般只能由從事數(shù)字圖書館工程設(shè)計、實施、執(zhí)行和管理方面的專業(yè)人員來完成。此外，由于技術(shù)壟斷需要，其系統(tǒng)核心設(shè)計技術(shù)的評估，一般不允許機構(gòu)外的人員參加。
2002年11月，《數(shù)字圖書館雜志》發(fā)表了一篇題為《數(shù)字圖書館的交互性設(shè)計與評估》的文章，比較全面的反映了數(shù)字圖書館的系統(tǒng)評估研究[1]。作者以美國科學(xué)基金會（NSF）資助的一個GORW交互式數(shù)字圖書館工程作為研究對象，對GORW數(shù)字圖書館的開發(fā)目標(biāo)（包括跨學(xué)科藏書、終身學(xué)習(xí)者資源、時鐘循環(huán)訪問、交互式學(xué)習(xí)目標(biāo)和用于學(xué)習(xí)的信息），交互性及其GROW概念框架（包括互惠、反饋、直接、關(guān)聯(lián)、同步、選擇、沉浸、演示、流動、多維性和控制），GORW的各種交互性（包括GROW資源的交互性、GORW資源選擇的交互性、GROW元數(shù)據(jù)的交互性描述、GROW界面的交互性）都進行了研究和評估，從這項評估研究中我們看到，一個有效的交互式數(shù)字圖書館本身是一個復(fù)雜的人—機系統(tǒng)，其交互性技術(shù)要求涉及到各種社會的行為、組織、管理聯(lián)系�？梢姡诤芏嗲闆r下，數(shù)字圖書館的系統(tǒng)評估不能回答技術(shù)之外的各種社會問題。然而，用戶評估在很大程度上可以彌補系統(tǒng)評估的這種不足。
用戶評估是系統(tǒng)設(shè)計者或用戶根據(jù)數(shù)字圖書館的目標(biāo)任務(wù)完成、行為模式和資源組織、發(fā)布對系統(tǒng)可用性進行的評估。其目的是檢查（驗）數(shù)字圖書館完成了哪些數(shù)字化任務(wù)，滿足了用戶的何種行為模式，以及知識信息資源的收集、再現(xiàn)、挖掘、組織、存儲、管理和發(fā)布效果。任何一項數(shù)字圖書館工程建設(shè)都必須開展反
復(fù)多次的用戶評估，才能使數(shù)字圖書館建設(shè)滿足用戶的需要，因此它目前已成為探討和實行數(shù)字圖書館評估的一種流行方式。當(dāng)然，由于參加評估的用戶在構(gòu)成、組織形式上的不同，可用性評估結(jié)果及其權(quán)威性也完全不一樣。
早在1989年，美國一個由101個會員組成的研究圖書館協(xié)會和51個州圖書館參加的咨詢調(diào)查——“數(shù)字圖書館用戶”（前期評估），幫助發(fā)起了具有歷史意義的“美國回憶”（American Memory）數(shù)字圖書館試驗計劃（1990-1995）。1992-1993年，美國國會圖書館又組織完成了有44個學(xué)院、大學(xué)和公共圖書館參加的終端用戶評估（后期評估），最終促成了現(xiàn)在仍在實施的“數(shù)字圖書館倡議”（DLI-1，1994-1998；DLI-2，1999-2003）[6]。1996年，VanHouse等人發(fā)表文章闡述了加州大學(xué)伯克利數(shù)字圖書館工程以用戶為中心的設(shè)計方法。他們在對用戶的各種需求進行反復(fù)評價、評估過程中，不斷改進設(shè)計。2002年4月至6月，美國科學(xué)基金會（NSF）資助的國家科學(xué)數(shù)字圖書館（NSDL）用戶評估工作組，花了整整3個月時間進行反復(fù)評估研究[7]。該工作組由那些對數(shù)字圖書館設(shè)計和評估感興趣的志愿者組成，其任務(wù)就是從用戶角度提出和回答各種問題。
綜合采用兩種方法但以用戶評估為主進行數(shù)字圖書館評估的典型例子是美國科學(xué)基金會（NSF）資助的亞歷山大數(shù)字圖書館（ADL）工程評估[8]。ADL評估組既進行系統(tǒng)設(shè)計，又進行用戶評估。評估組的工作重點在用戶使用，為此他們先后開發(fā)了3個不同的用戶界面，并建立了相應(yīng)的試驗臺進行用戶評估。在系統(tǒng)評估層面上，一方面對系統(tǒng)和界面設(shè)計進行了大量中間發(fā)布，由包括加州大學(xué)、科羅拉多州大學(xué)研究人員在內(nèi)的評估工作組進行評估，不斷的將當(dāng)前的Java基礎(chǔ)界面和支持系統(tǒng)反饋給系統(tǒng)設(shè)計者；另一方面，他們又對設(shè)計、實施階段進行了交互評估。這樣，用戶的功能性要求和實施修改設(shè)計的過程變成一個公式化的評估周期，不斷的指導(dǎo)系統(tǒng)評估，了解用戶的潛在使用。在用戶評估層面上，ADL評估組一方面使用ADL用戶和潛在用戶反饋、懇求和分析的多種方法，包括聯(lián)機調(diào)查、圖形觀察、目標(biāo)用戶組、界面設(shè)計內(nèi)部評估、大學(xué)教室ADL使用分析，進行全面評估；另一方面，他們邀請外部用戶評估專家，召開了3個與用戶評估有關(guān)的會議，然后綜合他們的評估意見和要求進行系統(tǒng)設(shè)計。ADL用戶評估組提出的結(jié)果非常有用，它涉及下述相關(guān)問題：
�。�1）對于我們的用戶，我們了解多少？
�。�2）對于評估和用戶研究方法，我們了解什么？
�。�3）對ADL界面，我們了解哪些方面的內(nèi)容？
�。�4）對于ADL的功能性和內(nèi)容，我們了解什么？
這些問題看似簡單，實際上卻涉及到數(shù)字圖書館建設(shè)中的幾個核心問題。
3 數(shù)字圖書館評估的主要內(nèi)容
人們對數(shù)字圖書館的認(rèn)識和定義有各種各樣，因此對數(shù)字圖書館評估內(nèi)容的認(rèn)識和界定也各不相同。Saracevic將數(shù)字圖書館評估的結(jié)構(gòu)或元素劃分為21個大類50個小項[3]；周欣平提出一個數(shù)字圖書館評估的體系，包括館藏資源的數(shù)量和質(zhì)量、網(wǎng)絡(luò)及數(shù)字化程度、多元化的信息管理和服務(wù)、全球范圍內(nèi)信息資源的獲取和利用、提供遠(yuǎn)距離學(xué)習(xí)和教育之環(huán)境、館員素質(zhì)6個方面[9]；Hill等人則將數(shù)字圖書館評估的主要內(nèi)容劃分為館藏、元數(shù)據(jù)、搜索、檢索和用戶工作空間、幫助支持、系統(tǒng)支持、子系統(tǒng)7大類38個小項[8]。
盡管人們對數(shù)字圖書館評估的內(nèi)容有不同的認(rèn)識和界定，但對其主要內(nèi)容或基本內(nèi)容的認(rèn)識和界定應(yīng)該是大致相同的。只是由于評估者評估的目標(biāo)、對象、范圍不同，評估的內(nèi)容才會有所不同。例如，對于以改進系統(tǒng)設(shè)計為目標(biāo)的評估者來說，他可能更偏重技術(shù)方面的系統(tǒng)評估；對于一個以地理圖像或多媒體為主要館藏對象的數(shù)字圖書館來說，評估者可能更偏重于資源易用性的用戶評估。相對而言，一個以交互式學(xué)習(xí)、研究為目標(biāo)的大學(xué)圖書館和一個以面向大眾平等獲取數(shù)字資源為目標(biāo)的公共圖書館，評估者選擇的評估內(nèi)容肯定各有側(cè)重[10-12]。一般地講，目前數(shù)字圖書館主要從以下幾個方面進行評估。
�。�1）技術(shù)性能與水平評估，主要內(nèi)容有：數(shù)字圖書館系統(tǒng)的功能結(jié)構(gòu)及其完善程度；數(shù)據(jù)安全、共享的實現(xiàn)形式；分布式異構(gòu)數(shù)據(jù)庫的互操作性；海量多媒體數(shù)字信息的生成、存儲技術(shù)及其網(wǎng)絡(luò)傳播、檢索的無障礙性；人—機交互式學(xué)習(xí)、研究技術(shù)及其實時、同步控制程度。
�。�2）數(shù)字資源量評估。主要內(nèi)容有：本館數(shù)字化資源總量；外購數(shù)字化資源總量；數(shù)字資源的完整性、系統(tǒng)性、及時性和連續(xù)性；數(shù)字資源的加工質(zhì)量（分辨率、壓縮比等）。數(shù)字圖書館的數(shù)字資源量目前按TB（10[12]，萬億）計算。
�。�3）易用性評估。主要內(nèi)容有：分類、標(biāo)引、索引和檢索手段的完備性；多種資源格式的轉(zhuǎn)換、統(tǒng)一與知識挖掘性能；跨網(wǎng)、跨庫、跨系統(tǒng)、跨平臺、跨語言的操作與檢索應(yīng)用；界面的友好程度；檢索、瀏覽、下載數(shù)字信息資源的效率與時間。
�。�4）數(shù)字化服務(wù)評估。主要內(nèi)容有：在線數(shù)字信息資源服務(wù)；網(wǎng)上實時搜集、傳遞、推送、發(fā)布服務(wù)；專門化、個性化服務(wù)；數(shù)字圖書館館員素質(zhì)；用戶反饋意見（時間、錯誤率、用戶個人滿意度、用戶組綜合意見）。
�。�5）數(shù)字化管理評估。主要內(nèi)容有：數(shù)字化管理的觀念、方法、制度；數(shù)字化圖書館設(shè)計、實施、執(zhí)行、發(fā)展的過程管理與日志管理；數(shù)字化圖書館的要素、結(jié)構(gòu)、功能的全面管理；管理的規(guī)范化與國際、國家標(biāo)準(zhǔn)化程度。
數(shù)字圖書館的評估內(nèi)容不是一成不變的，它允許評估者有自己的選擇。例如，有的研究者就把經(jīng)濟、社會因素作為一項重要的評估內(nèi)容。在他們看來，評估的最終問題是，數(shù)字圖書館怎樣改變?nèi)藗兊难芯俊⒔逃�、學(xué)習(xí)和生活。更重要的是，這些內(nèi)容的評估本身需要一套完備的標(biāo)準(zhǔn)，而這些內(nèi)容與標(biāo)準(zhǔn)的確立會因人、因地、因時的不同而不同。
4 數(shù)字圖書館評估的數(shù)據(jù)收集方式
確定數(shù)字圖書館評估的方法、內(nèi)容體系是取得評估成功的關(guān)鍵，但其前提是獲得真實、全面的評估數(shù)據(jù)。因此，數(shù)字圖書館評估的數(shù)據(jù)收集與分析的重要性不容忽視。當(dāng)然，就數(shù)字圖書館評估而言，數(shù)字圖書館的測度、統(tǒng)計數(shù)據(jù)收集與測度規(guī)范并不是評估本身，不屬于評估范疇，因為數(shù)據(jù)本身只是一種定性或定量的描述和觀察。判定用戶需要本身也不是評估，然而這些與評估相關(guān)，它們聯(lián)系到某些特定性能，包括前述Saracevic提出的5個要求。正確的認(rèn)識、區(qū)分這些差別，可以使我們更深入地了解數(shù)字圖書館評估的實質(zhì)問題。
數(shù)字圖書館評估的數(shù)據(jù)收集有許多方式，并且往往是多種方式并用。但目前使用最廣泛的主要有以下幾種方式：
�。�1）用戶問卷表。它可以根據(jù)評估者的需要設(shè)計問卷表，獲得各種有用的定性、定量數(shù)據(jù)，是數(shù)字圖書館評估研究最流行的收集數(shù)據(jù)方式。目前，許多研究者采用微軟Active Server Pages開發(fā)在線調(diào)查系統(tǒng)，進行網(wǎng)上實時收集數(shù)據(jù)。
�。�2）數(shù)字圖書館日志。利用數(shù)字圖書館系統(tǒng)的用戶登錄、處理文件記錄、檢索登記、下載監(jiān)測等功能或記錄，自動收集評估數(shù)據(jù)。但是，這種方法僅限于自主開
發(fā)的數(shù)字圖書館。商業(yè)性數(shù)字圖書館要么缺乏這些功能或記錄，要么不向用戶提供或者限制提供這些功能或記錄。
�。�3）用戶評估組。成立專門的用戶評估組，成員可由設(shè)計、評估專家、用戶組成，也可單獨由對評估感興趣的用戶志愿者組成。它可以根據(jù)數(shù)字圖書館工程建設(shè)的不同階段，反復(fù)收集相應(yīng)的評估數(shù)據(jù)。
此外，還有電話訪問、個人訪問、電子公告板（BBS）、專題討論、學(xué)術(shù)會議等方式收集評估數(shù)據(jù)。但是，這些方式相對上述三種方式而言，數(shù)據(jù)收集的廣度、深度及其數(shù)據(jù)的質(zhì)量都要差一些，單獨使用難以進行準(zhǔn)確、全面的評估。
5 結(jié)論
數(shù)字圖書館的評估研究對數(shù)字圖書館的發(fā)展起著不可低估的作用。隨著數(shù)字圖書館評估理論的發(fā)展，人們對評估重要性認(rèn)識的提高，特別是各國評估實踐的日益增加，評估研究在數(shù)字圖書館建設(shè)與發(fā)展中的重要作用將會更加突出的顯現(xiàn)出來。通過開展各種有效的數(shù)字圖書館評估研究，進一步完善數(shù)字圖書館評估的方法、內(nèi)容體系，制定更符合時代發(fā)展需要的科學(xué)評估標(biāo)準(zhǔn)，對于促進各國數(shù)字圖書館技術(shù)和管理水平的提高，推動數(shù)字時代圖書館學(xué)理論與實踐的發(fā)展，有著十分重要的意義。未來的數(shù)字圖書館評估研究，將會朝著跨系統(tǒng)、跨館、跨國大型綜合性評估、符合國際和國家標(biāo)準(zhǔn)的規(guī)范性工具評估、核心技術(shù)專門評估、館藏資源評估、系統(tǒng)功能評估、用戶多因素綜合評估、評估標(biāo)準(zhǔn)的科學(xué)化和質(zhì)量指標(biāo)的精確化評估等方面進一步探討和完善。
【參考文獻】
1 Budhu， M. and Coleman， A. The Design and Evaluation of Interactivities in a Digital Library. [J] D - Lib Magazine， 2002， Vol.8，No. 11
2 Wei， Chih - Ping. And Hu， P. Design and Evaluation of a Knowledge Management System. [J] IEEE Software， May/ June 2002， 57 - 59
3 Saracevie， T. Digital Library Evaluation： Toward an Evolution of Concepts. [J] Library Trends， 2000， Vol.49. No.2， 350 - 369
4 Jones， M. Comparing Evaluations of Digital Collection Efforts. [J] D-Lib Magazine， 1999， Vol.5.No. 11
5 Blixrud， J. Evaluating Library Service Quality： Use of LibQUAL[+TM]. ttp：//www. libqual， org
6 National Digital Library Program. http：//lcweb2. loc. gov/am- mem/dli2/html/lcndlp. html
7 Jones， C. and Sumner， T. Evaluation of the National Science Digital Library. http：//www.uclic.ucl.ac.uk/
8 Hill， L. Alexandria Digital Library：User Evaluation Studies and System Design. [J] Journal of the American Society for Information S
cience， 2000， Vol. 51， No. 3，246 - 259
9 周欣平.數(shù)字時代圖書館的發(fā)展方向及評估標(biāo)準(zhǔn).[J]圖書情報工作，2001，（4），5-9
10 Leazer G.， and others. Evaluating the Use of a Geographic Digital Library in Undergraduate Classrooms： ADEPT. http：//is.gseis. ucla.edu/adept/pubs/short.pdf
11 Zwan， R.， and others. An Evaluation of the Informedia Digi tal Video Library System at the Open University.[J] Journal of Educational Media， 1999， Vol.24， No.2，131 - 136
12 Bishop， A.， and Bruce， B. Digital Library Evaluation as Participative Inquiry http ：//alexia. lis. uiuc. edu/～chip/ pubs/02delos. pdf
【數(shù)字圖書館的評估研究】相關(guān)文章：
基于PDCA的數(shù)字圖書館質(zhì)量管理研究08-05
數(shù)字圖書館館藏評價08-05
如何評估市場研究公司08-06
如何評估市場研究公司08-06
關(guān)于數(shù)字圖書館版權(quán)保護研究若干重要問題的思考08-05