在Linux系統(tǒng)中,常見的分布式文件系統(tǒng)有很多種,比如:GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS、GlusterFS、Ceph、GlusterFS等。本文為大家簡單介紹幾個,希望對你們有用! 1、GFS Google為滿足公司需求而開發(fā)的基于Linux的可擴展的分布式文件系統(tǒng),用于大型的、分布式的、對大數(shù)據(jù)進行訪問和應用,成本低,應用于廉價的普通硬件上,但不開源,暫不考慮。 2、TFS 阿里巴巴為滿足淘寶對小文件存儲的需求而開發(fā)的一個可擴展、高可用、高性能、面向互聯(lián)網(wǎng)服務、開源的分布式文件系統(tǒng),主要針對海量的非結構化數(shù)據(jù),它構筑在普通的Linux機器集群上,可為外部提供高可靠和高并發(fā)的存儲訪問。TFS為淘寶提供海量小文件存儲,通常文件大小不超過1M,這個也暫不考慮。 3、HDFS hadoop分布式文件系統(tǒng),適合運行在通用硬件上做分布式存儲和計算,因為它具有高容錯性和可擴展性的特點,可部署在廉價的機器上,適合大數(shù)據(jù)的處理,在離線批量處理大數(shù)據(jù)上有先天的優(yōu)勢。 4、MooseFS MooseFS是來自波蘭的開源且具備冗余容錯功能的分布式POSIX文件系統(tǒng),也是參照了GFS的架構,實現(xiàn)了巨大部分POSIX語義和API,它支持通過FUSE方式將文件掛載操作,同時其提供的web管理界面非常方便查看當前的文件存儲狀態(tài),對master服務器有單點依賴,用perl編寫,用于中、大型文件應用,但性能相對較差,由于可能會實時訪問所以暫不考慮。 5、MogileFS MogileFS是一套高效開源的文件自動備份組件,由Six Apart開發(fā),廣泛應用在包括Live Journal等web2.0站點上。支持多節(jié)點冗余,可實現(xiàn)自動的文件復制。不需要RAID,應用層可以直接實現(xiàn)RAID,不共享任何東西,通過集群接口提供服務工作于應用層,沒有特殊的組件要求。使用HTTP方式通信。 6、GridFS MongoDB是一種知名的nosql數(shù)據(jù)庫,GridFS是MongoDB的一個內置功能,它用于存儲和恢復那些超過16M的文件,是文件存儲的一種方式,但是它是存儲在MongoDB的集合中。它可以直接利用已建立的復制或分片機制,所以對于文件存儲來說故障恢復和擴展都容易,且GridFS不產(chǎn)生磁盤碎片。 7、MinIO MinIO是一個基于Apache License v2.0開源協(xié)議的對象存儲服務。它兼容亞馬遜S3云存儲服務接口,非常適合于存儲大容量非結構化的數(shù)據(jù),例如圖片、視頻、日志文件、備份數(shù)據(jù)和容器/虛擬機鏡像等,而一個對象文件可以是任意大小,從幾kb到最大5T不等。它也是一個非常輕量的服務,可以很簡單的和其他應用的結合。MinIO的特色在于簡單、輕量級,對開發(fā)者友好,學習成本低,安裝運維簡單,開箱即用。 |
|