2020年11月30日                                                                                          点击此处下载 PDF 文件


谈分布式存储(下)


在上一期电子报中,我们跟大家谈到分布式存储崛起的背景,及软件定义存储于分布式存储之应用。

本期电子报,将为大家针对分布式存储的数据存储界面协议,及几个较广泛被应用于分布式存储之开源软件,进一步介绍说明,协助读者对分布式存储面临的挑战及规划管理有更多的认识及理解。


分布式存储体系结构:分布式块存储、分布式文件存储、分布式对象存储


分布式存储依照不同的数据存储界面协议,分为块存储、文件存储和对象存储三种,它们之间有很大的差异及不同的特色,了解各自特色优势,將可做更好的组合运用,规划更完善的分布式存储系统架构。


块存储主要是将挂载的裸盘空间进行分区、格式化后,映射给主机使用。其优点是可以将多块廉价的硬盘组合成为一个大容量的逻辑盘对外提供服务,除了提高容量外,多块硬盘组合出来的逻辑盘可以并行写入,提升效率。若块存储采用 SAN 架构组网,基于 SAN 的传输速率及封装协议,更是大幅提升其在传输与读写之速率。然而,在操作系统使用不同的文件系统或是服务器不做集群的情况下,无法在不同主机间共享数据,是块存储的缺点。


与块存储不同,文件存储已经具有自己处理文件管理的功能,主机不需要再对文件存储进行格式化,可直接对文件存储进行文件的上传下载;同时可管理用户权限、文件锁定和其他安全措施,方便多个用户同时访问文件,很好地规避了块存储不利于分享的缺点。而且以文件为传输协议,可扩展性好、价格便宜、用户易管理,是其主要的优点。但是因其运行于以太网上,上传下载速度较慢,相比于块存储,动辄几十上百块硬盘同时读写,速率慢了许多。另一方面,低带宽、高延迟等缺点,亦不利于在高性能集群中应用。


鉴于块存储与文件存储有各自的局限,加上现今大部分的数据都是非结构化数据,对象存储因应而起。对象存储之特点在于将元数据独立出来,当用户访问对象存储时,会先访问元数据服务器,即可查找到对象存储在那些服务器上,加快数据访问速度。与上述两种存储方式相比,对象存储的主要区别是它支持应用程序本身来管理对象,这意味着对象存储不需要真正的文件系统,所以对象存储解决方案比文件存储或基于块存储的系统更容易扩展,它克服了块存储与文件存储各自的缺点,并结合两者之优点。


既然对象存储兼具了块存储与文件存储的好处,为什么在分布式存储中还要使用块存储或文件存储呢?


1)部分应用需要存储直接裸盘映射方式进行。例如数据库,需要存储裸盘映射给数据库后,数据库再根据自己的文件系统来对裸盘进行格式化,无法用其他文件系统已格式化的盘,故此类应用更适合使用块存储。


2)对象存储需要购买专门的对象存储软件以及大容量硬盘,成本较普通的文件存储高,所以若只为做文件共享需求,但对数据量要求非海量等级,直接用文件存储的形式性价比更高。


综合上述介绍可知,块存储、文件存储、对象存储的数据存储方式各有其特点,而分布式存储可以依据适用场景的不同,结合各种存储方式优势,弹性地设计出最合适的组合架构服务应用。


以下是三种存储方法的对比表格:



分布式存储系统常用开源软件介绍



接下来,我们将从几个较广泛被应用于分布式存储之开源软件,包括 Ceph、GlusterFS、DRBD 等介绍,让大家对分布式存储有更多的了解。


Ceph:一个开源的统一分布式文件系统,可在一个统一的系统中提供对象、块(通过 RBD )和文件存储,为IT基础建设管理存储大量的数据。Ceph 是一个不管数据的类型如何,皆以对象形式存储的存储解决方案,可执行数据复制,故障检测和恢复,以及跨集群节点的数据迁移和重新平衡等,尽可能地保护数据在不同节点,确保数据一致性。具有高效能、高扩展及高可用等特性。


GlusterFS:也是一个开源的分布式文件系统,它使用“转换器”的概念,允许创建具有各种功能的文件系统,包括镜像和复制,分条,负载平衡,磁盘缓存,预读,写后传输,並自我修复。其优势之一是它不使用元数据服务器,而是使用散列机制来查找数据。相较于 Ceph, GlusterFS 提供了快速的存储扩展,且更易于伸缩。


DRBD( Distributed Replicated Block Device ):是 Linux 系统下一套基于软件、无共享、复制的存储解决方案,利用网络在服务器之间对块设备(硬盘,分区,逻辑卷等)进行镜像,类似于一个网络 RAID1 功能。在高可用( HA )中使用 DRBD 功能,可以代替使用一个共享盘阵。本地(主节点)与远程主机(备节点)的数据可以保证实时同步,当本地系统出现故障时,远程主机上还会保留有一份相同的数据,可以继续使用。


以下是上述三种分布式存储软件的特点整理:





想了解进一步资讯吗?



如您在阅读本文后,针对分布式存储或是建构创新存储解决方案,有兴趣进一步了解,请透过本电子报下面联系方式,与我司接洽了解。



————————————————————————————————————————

若想获取我们的最新消息请来订阅我们的官方微信公众号和官方抖音频道。

————————————————————————————————————————

  

Unsubscribe