淺談云計(jì)算技術(shù)_分布式

引言

　　云計(jì)算(CloudComputing)是一種基于互聯(lián)網(wǎng)的超級(jí)計(jì)算模式。它是分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算的發(fā)展。其基本原理為:利用非本地或遠(yuǎn)程服務(wù)器(集群)的分布式計(jì)算機(jī)為互聯(lián)網(wǎng)用戶提供服務(wù)(計(jì)算、存儲(chǔ)、軟硬件等服務(wù))。云是一種思想，一種大規(guī)模資源整合的思想，是IT界發(fā)展的必然趨勢。云計(jì)算是一種新型的超級(jí)計(jì)算方式，以數(shù)據(jù)為中心，是一種數(shù)據(jù)密集型的超級(jí)運(yùn)算，在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、云計(jì)算平臺(tái)管理等多方面具有自身獨(dú)特的技術(shù)。

　　1、云計(jì)算的定義

　　云計(jì)算是從分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網(wǎng)格計(jì)算(GridComputing)發(fā)展而來的。到目前為止，對(duì)于云計(jì)算的定義還沒有一個(gè)確定的說法，可謂仁者見仁、智者見智。狹義的云計(jì)算：指廠商通過分布式計(jì)算和虛擬化技術(shù)搭建數(shù)據(jù)中心或超級(jí)計(jì)算機(jī)，以免費(fèi)或按需租用方式向技術(shù)開發(fā)者或者企業(yè)客戶提供數(shù)據(jù)存儲(chǔ)、分析以及科學(xué)計(jì)算等服務(wù)，比如亞馬遜數(shù)據(jù)倉庫出租生意；廣義的云計(jì)算：指廠商通過建立網(wǎng)絡(luò)服務(wù)器集群，向各種不同類型客戶提供在線軟件服務(wù)、硬件租借、數(shù)據(jù)存儲(chǔ)、計(jì)算分析等不同類型的服務(wù),廣義的云計(jì)算包括了更多的廠商和服務(wù)類型，例如國內(nèi)用友、金蝶等管理軟件廠商推出的在線財(cái)務(wù)軟件，谷歌發(fā)布的Google應(yīng)用程序套裝等。

　　2、云計(jì)算的核心技術(shù)

　　云計(jì)算系統(tǒng)運(yùn)用了許多技術(shù)，其中以數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)管理技術(shù)、編程模型、虛擬化技術(shù)、云計(jì)算平臺(tái)管理技術(shù)最為關(guān)鍵。

　　2.1數(shù)據(jù)存儲(chǔ)技術(shù)

　　云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)主要有谷歌的非開源的(GoogleFileSystem)云計(jì)算系統(tǒng)由大量服務(wù)器組成，同時(shí)為大量用戶服務(wù)，因此云計(jì)算系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù)，用冗余存儲(chǔ)的方式保證數(shù)據(jù)的可靠性。云計(jì)算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲(chǔ)系統(tǒng)是Google的GFS和Hadoop團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)，GFS即Google文件系統(tǒng)（GoogleFileSystem），是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。GFS系統(tǒng)由一個(gè)Master和多個(gè)塊服務(wù)器構(gòu)成。Master存儲(chǔ)著文件系統(tǒng)的所有元數(shù)據(jù),包括名字空間、存取控制、文件分塊信息、文件塊的位置信息等。

　　GFS是針對(duì)大規(guī)模數(shù)據(jù)處理和Google應(yīng)用特性而設(shè)計(jì)的。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能，它可以給大量的用戶提供總體性能較高的服務(wù)，一個(gè)GFS集群由一個(gè)主服務(wù)器（master）和大量的塊服務(wù)器(chunkserver)構(gòu)成，并被許多客戶（Client）訪問。主服務(wù)器存儲(chǔ)文件系統(tǒng)所以的元數(shù)據(jù)，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當(dāng)前位置。它也控制系統(tǒng)范圍的活動(dòng)，如塊租約（lease）管理，孤兒塊的垃圾收集，塊服務(wù)器間的塊遷移。主服務(wù)器定期通過HeartBeat消息與每一個(gè)塊服務(wù)器通信，給塊服務(wù)器傳遞指令并收集它的狀態(tài)。GFS中的文件被切分為64MB的塊并以冗余存儲(chǔ)，每份數(shù)據(jù)在系統(tǒng)中保存3個(gè)以上備份。

　　客戶與主服務(wù)器的交換只限于對(duì)元數(shù)據(jù)的操作，所有數(shù)據(jù)方面的通信都直接和塊服務(wù)器聯(lián)系，這大大提高了系統(tǒng)的效率，防止主服務(wù)器負(fù)載過重。云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)未來的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加密和安全性保證以及繼續(xù)提高I/O速率等方面。

　　2.2數(shù)據(jù)管理技術(shù)(BigTable)

　　海量的數(shù)據(jù)處理是指對(duì)大規(guī)模數(shù)據(jù)的計(jì)算和分析，通常數(shù)據(jù)的規(guī)�？梢赃_(dá)到TB甚至PB級(jí)別�；�于互聯(lián)網(wǎng)時(shí)代的數(shù)據(jù)統(tǒng)計(jì)和分析很多是海量數(shù)據(jù)級(jí)別的，其典型的例子如搜索引擎、數(shù)字圖書館。由于數(shù)據(jù)量非常大，一臺(tái)計(jì)算機(jī)不可能滿足海量數(shù)據(jù)處理的性能和可靠性等方面的要求。

　　云計(jì)算需要對(duì)分布的、海量的數(shù)據(jù)進(jìn)行處理、分析并向用戶提供高效的服務(wù)，因此，數(shù)據(jù)管理技術(shù)必需能夠高效的管理大數(shù)據(jù)集。云計(jì)算的特點(diǎn)是對(duì)海量的數(shù)據(jù)存儲(chǔ)、讀取后進(jìn)行大量的分析，數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的更新頻率，如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù)，也是云計(jì)算數(shù)據(jù)管理技術(shù)所必須解決的問題。云中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理，因此云系統(tǒng)的數(shù)據(jù)管理往往采用數(shù)據(jù)庫領(lǐng)域中列存儲(chǔ)的數(shù)據(jù)管理模式，將表按列劃分后存儲(chǔ)。

　　2.3編程模型

　　為了給廣大用戶提供更輕松地享受云計(jì)算服務(wù)的機(jī)會(huì)，能輕松的利用編程模型編寫簡單的程序來實(shí)現(xiàn)特定的目的，云上的編程模型要十分簡單，另外，需要后臺(tái)復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。

　　云計(jì)算大部分采用Map2Reduce的編程模式，Map2Reduce不僅僅是一種編程模型,同時(shí)也是一種高效的任務(wù)調(diào)度模型。Map2Reduce是Google開發(fā)的java、Python、C++編程模型，它是一種簡化的分布式編程模型和高效的任務(wù)調(diào)度模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。嚴(yán)格的編程模型使云計(jì)算環(huán)境下的編程十分簡單。

　　MapReduce模式的思想是將要執(zhí)行的問題分解成Map(映射)和Reduce(化簡)的方式，先通過Map程序?qū)��?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計(jì)算機(jī)處理，達(dá)到分布式運(yùn)算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯總輸出。

　　2.4虛擬化技術(shù)

　　虛擬化(Virtualization)技術(shù)是云計(jì)算系統(tǒng)的核心技術(shù)部分之一，是將各種計(jì)算及存儲(chǔ)資源充分整合和高效利用的關(guān)鍵技術(shù)。通過虛擬化技術(shù)可實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離，它包括將單個(gè)資源劃分成多個(gè)虛擬資源的裂分模式，也包括將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式。虛擬化技術(shù)根據(jù)對(duì)象可分成：服務(wù)器虛擬化、存儲(chǔ)虛擬化、計(jì)算虛擬化、網(wǎng)絡(luò)虛擬化等，計(jì)算虛擬化又分為系統(tǒng)級(jí)虛擬化、應(yīng)用級(jí)虛擬化和桌面虛擬化。

　　利用虛擬化技術(shù)，在一個(gè)物理服務(wù)器上可以運(yùn)行多個(gè)虛擬服務(wù)器。把物理CPU抽象成虛擬CPU，無論任何時(shí)間一個(gè)物理CPU只能運(yùn)行一個(gè)虛擬CPU的指令，而多個(gè)虛擬機(jī)同時(shí)提供服務(wù)將會(huì)大大提高物理CPU的利用率；同樣，利用虛擬技術(shù)，統(tǒng)一管理物理內(nèi)存，將其包裝成多個(gè)虛擬的物理內(nèi)存分別供給若干個(gè)虛擬機(jī)使用，使得每個(gè)虛擬機(jī)擁有各自獨(dú)立的內(nèi)存空間，互不干擾。

　　2.5云計(jì)算平臺(tái)管理技術(shù)

　　云計(jì)算資源規(guī)模龐大，服務(wù)器數(shù)量眾多并分布在不同的地點(diǎn)，同時(shí)運(yùn)行著數(shù)百種應(yīng)用，如何有效的管理這些服務(wù)器，保證整個(gè)系統(tǒng)提供不間斷的服務(wù)是巨大的挑戰(zhàn)。云計(jì)算系統(tǒng)的平臺(tái)管理技術(shù)能夠使大量的服務(wù)器協(xié)同工作，方便的進(jìn)行業(yè)務(wù)部署和開通，快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障，通過自動(dòng)化、智能化的手段實(shí)現(xiàn)大規(guī)模系統(tǒng)的可靠運(yùn)營。

　　3、云計(jì)算技術(shù)發(fā)展面臨的主要問題

　　盡管云計(jì)算具有廣闊的發(fā)展前景、其計(jì)算模式具有許多優(yōu)點(diǎn)，但是也存在一些問題，如數(shù)據(jù)隱私問題、安全問題、軟件許可證問題、網(wǎng)絡(luò)傳輸問題等。數(shù)據(jù)隱私問題：如何保證存放在云服務(wù)提供商的數(shù)據(jù)隱私，不被非法利用，不僅需要技術(shù)的改進(jìn)，也需要法律的進(jìn)一步完善。數(shù)據(jù)安全性：有些數(shù)據(jù)是企業(yè)的商業(yè)機(jī)密，數(shù)據(jù)的安全性關(guān)系到企業(yè)的生存和發(fā)展。云計(jì)算數(shù)據(jù)的安全性問題解決不了會(huì)影響云計(jì)算在企業(yè)中的應(yīng)用。用戶使用習(xí)慣：如何改變用戶的使用習(xí)慣，使用戶適應(yīng)網(wǎng)絡(luò)化的軟硬件應(yīng)用是長期而艱巨的挑戰(zhàn)。網(wǎng)絡(luò)傳輸問題：云計(jì)算服務(wù)依賴網(wǎng)絡(luò)，目前網(wǎng)速低且不穩(wěn)定，使云應(yīng)用的性能不高。云計(jì)算的普及依賴網(wǎng)絡(luò)技術(shù)的發(fā)展。另外，當(dāng)前云計(jì)算系統(tǒng)的能耗過大，因此，減少能耗，提高能源的使用效率，建造高效的冷卻系統(tǒng)是當(dāng)前面臨的一個(gè)主要問題。

【淺談云計(jì)算技術(shù)_分布式】相關(guān)文章：

網(wǎng)絡(luò)時(shí)代的遠(yuǎn)程教育—分布式學(xué)習(xí)08-24

淺談讀書08-23

淺談人生作文02-24

淺談中考作文04-12

淺談備課與上課08-20

淺談詩歌教學(xué)08-22

淺談寫教案08-24

淺談生物教學(xué)08-24

淺談?wù)Z言產(chǎn)業(yè)08-25

淺談理想作文10-07