分布式文件操作系統(tǒng)
分布式文件操作系統(tǒng)
分布式文件操作系統(tǒng)是管理文件、存儲數(shù)據(jù)的功能性系統(tǒng)。下面由學(xué)習(xí)啦小編為大家整理了分布式文件操作系統(tǒng)的相關(guān)知識,希望對大家有幫助!
分布式文件操作系統(tǒng)簡介
計算機通過文件系統(tǒng)管理、存儲數(shù)據(jù),而信息爆炸時代中人們可以獲取的數(shù)據(jù)成指數(shù)倍的增長,單純通過增加硬盤個數(shù)來擴展計算機文件系統(tǒng)的存儲容量的方式,在容量大小、容量增長速度、數(shù)據(jù)備份、數(shù)據(jù)安全等方面的表現(xiàn)都差強人意。分布式文件系統(tǒng)可以有效解決數(shù)據(jù)的存儲和管理難題:將固定于某個地點的某個文件系統(tǒng),擴展到任意多個地點/多個文件系統(tǒng),眾多的節(jié)點組成一個文件系統(tǒng)網(wǎng)絡(luò)。每個節(jié)點可以分布在不同的地點,通過網(wǎng)絡(luò)進行節(jié)點間的通信和數(shù)據(jù)傳輸。人們在使用分布式文件系統(tǒng)時,無需關(guān)心數(shù)據(jù)是存儲在哪個節(jié)點上、或者是從哪個節(jié)點從獲取的,只需要像使用本地文件系統(tǒng)一樣管理和存儲文件系統(tǒng)中的數(shù)據(jù)。
決定因素
文件系統(tǒng)最初設(shè)計時,僅僅是為局域網(wǎng)內(nèi)的本地數(shù)據(jù)服務(wù)的。而分布式文件系統(tǒng)將服務(wù)范圍擴展到了整個網(wǎng)絡(luò)。不僅改變了數(shù)據(jù)的存儲和管理方式,也擁有了本地文件系統(tǒng)所無法具備的數(shù)據(jù)備份、數(shù)據(jù)安全等優(yōu)點。判斷一個分布式文件系統(tǒng)是否優(yōu)秀,取決于以下三個因素:l 數(shù)據(jù)的存儲方式,例如有1000萬個數(shù)據(jù)文件,可以在一個節(jié)點存儲全部數(shù)據(jù)文件,在其他N個節(jié)點上每個節(jié)點存儲1000/N萬個數(shù)據(jù)文件作為備份;或者平均分配到N個節(jié)點上存儲,每個節(jié)點上存儲1000/N萬個數(shù)據(jù)文件。無論采取何種存儲方式,目的都是為了保證數(shù)據(jù)的存儲安全和方便獲取。l 數(shù)據(jù)的讀取速率,包括響應(yīng)用戶讀取數(shù)據(jù)文件的請求、定位數(shù)據(jù)文件所在的節(jié)點、讀取實際硬盤中數(shù)據(jù)文件的時間、不同節(jié)點間的數(shù)據(jù)傳輸時間以及一部分處理器的處理時間等。各種因素決定了分布式文件系統(tǒng)的用戶體驗。即分布式文件系統(tǒng)中數(shù)據(jù)的讀取速率不能與本地文件系統(tǒng)中數(shù)據(jù)的讀取速率相差太大,否則在本地文件系統(tǒng)中打開一個文件需要2秒,而在分布式文件系統(tǒng)中各種因素的影響下用時超過10秒,就會嚴重影響用戶的使用體驗。l 數(shù)據(jù)的安全機制,由于數(shù)據(jù)分散在各個節(jié)點中,必須要采取冗余、備份、鏡像等方式保證節(jié)點出現(xiàn)故障的情況下,能夠進行數(shù)據(jù)的恢復(fù),確保數(shù)據(jù)安全。
分布式文件操作系統(tǒng)分類
網(wǎng)絡(luò)文件系統(tǒng)
飛客數(shù)據(jù)恢復(fù)中心提供(NFS) 最早由Sun微系統(tǒng)公司作為TCP/IP網(wǎng)上的文件共享系統(tǒng)開發(fā)。Sun公司估計大約有超過310萬個系統(tǒng)在運行NFS,大到大型計算機、小至PC機,其中至少有80%的系統(tǒng)是非Sun平臺。
Andrew系統(tǒng)(AFS)
結(jié)構(gòu)與NFS相似,由卡內(nèi)基·梅隆大學(xué)信息技術(shù)中心(ITC)開發(fā)、現(xiàn)由前ITC職員組成的Transarc公司負責開發(fā)和銷售。AFS較NFS有所增強。
KASS系統(tǒng)
KASS File System(簡稱KFS)是開始軟件自主研發(fā)基于JAVA的純分布式文件系統(tǒng),功能類似于DFS、GFS、Hadoop,通過HTTP WEB為企業(yè)的各種信息系統(tǒng)提供底層文件存儲及訪問服務(wù),搭建企業(yè)私有云存儲服務(wù)平臺。
DFS系統(tǒng)(DFS)
是AFS的一個版本,作為開放軟件基金會(OSF)的分布式計算環(huán)境中的文件系統(tǒng)部分。
如果文件的訪問僅限于一個用戶,那么分布式文件系統(tǒng)就很容易實現(xiàn)。可惜的是,在許多網(wǎng)絡(luò)環(huán)境中這種限制是不現(xiàn)實的,必須采取并發(fā)控制來實現(xiàn)文件的多用戶訪問,表現(xiàn)為如下幾個形式:
只讀共享 任何客戶機只能訪問文件,而不能修改它,這實現(xiàn)起來很簡單。
受控寫操作 采用這種方法,可有多個用戶打開一個文件,但只有一個用戶進行寫修改。而該用戶所作的修改并不一定出現(xiàn)在其它已打開此文件的用戶的屏幕上。
并發(fā)寫操作 這種方法允許多個用戶同時讀寫一個文件。但這需要操作系統(tǒng)作大量的監(jiān)控工作以防止文件重寫,并保證用戶能夠看到最新信息。這種方法即使實現(xiàn)得很好,許多環(huán)境中的處理要求和網(wǎng)絡(luò)通信量也可能使它變得不可接受。
NFS和AFS的區(qū)別
NFS和AFS的區(qū)別在于對并發(fā)寫操作的處理方法上。當一個客戶機向服務(wù)器請求一個文件(或數(shù)據(jù)庫記錄),文件被放在客戶工作站的高速緩存中,若另一個用戶也請求同一文件,則它也會被放入那個客戶工作站的高速緩存中。當兩個客戶都對文件進行修改時,從技術(shù)上而言就存在著該文件的三個版本(每個客戶機一個,再加上服務(wù)器上的一個)。有兩種方法可以在這些版本之間保持同步:
無狀態(tài)系統(tǒng) 在這個系統(tǒng)中,服務(wù)器并不保存其客戶機正在緩存的文件的信息。因此,客戶機必須協(xié)同服務(wù)器定期檢查是否有其他客戶改變了自己正在緩存的文件。這種方法在大的環(huán)境中會產(chǎn)生額外的LAN通信開銷,但對小型LAN來說,這是一種令人滿意的方法。NFS就是個無狀態(tài)系統(tǒng)。
回呼(Callback)系統(tǒng) 在這種方法中,服務(wù)器記錄它的那些客戶機的所作所為,并保留它們正在緩存的文件信息。服務(wù)器在一個客戶機改變了一個文件時使用一種叫回叫應(yīng)答(callbackpromise)的技術(shù)通知其它客戶機。這種方法減少了大量網(wǎng)絡(luò)通信。AFS(及OSFDCE的DFS)就是回叫系統(tǒng)。客戶機改變文件時,持有這些文件拷貝的其它客戶機就被回叫并通知這些改變。
無狀態(tài)操作在運行性能上有其長處,但AFS通過保證不會被回叫應(yīng)答充斥也達到了這一點。方法是在一定時間后取消回叫。客戶機檢查回叫應(yīng)答中的時間期限以保證回叫應(yīng)答是當前有效的。回叫應(yīng)答的另一個有趣的特征是向用戶保證了文件的當前有效性。換句話說,若一個被緩存的文件有一個回叫應(yīng)答,則客戶機就認為文件是當前有效的,除非服務(wù)器呼叫指出服務(wù)器上的該文件已改變了。