专栏名称: 51CTO
51CTO官方公众号——聚焦最新最前沿最有料的IT技术资讯、IT行业精华内容、产品交流心得。本订阅号为大家提供各种技术干货,还会不定期的举办有奖活动,敬请关注。
目录
相关文章推荐
新浪科技  ·  【#苹果全新操作系统秋季上线##库克回应操作 ... ·  19 小时前  
腾讯研究院  ·  腾讯研究院AI速递 20250609 ·  昨天  
新浪科技  ·  【#阿维塔陈卓自曝全家被Labubu圈粉# ... ·  3 天前  
51好读  ›  专栏  ›  51CTO

仅仅快了“半步”?

51CTO  · 公众号  · 科技媒体  · 2017-04-21 12:12

正文

请到「今天看啥」查看全文


提供高性能的

并行文件系统Lustre


Lustre是一种并行文件系统,它通过并行数据访问和分布式锁定功能来提供高性能。一个Lustre安装实例由以下三个关键要素组成:元数据子系统、对象存储子系统(数据)和用来访问和操作数据的计算客户端。


元数据子系统 由元数据目标(MDT)、管理目标(MGT)和元数据服务器(MDS)组成。MDT存储文件系统的所有元数据,其中包括文件名、权限、时间戳和数据对象在对象存储系统中的位置。MGT存储管理数据(如配置信息和注册表)。MDS是用来管理MDT的专用服务器。


对象存储子系统 由一个或多个对象存储目标(OST)和一个或多个对象存储服务器(OSS)组成。OST为文件对象数据提供存储,而每个OSS则管理一个或多个OST。通常,在任何时候都有多个OSS处于活动状态。Lustre能够通过增加活动OSS(和相关OST)的数量来提高吞吐量。每增加一个OSS都会提高现有的网络吞吐量,而每增加一个OST都增加存储容量。下图显示了典型的Lustre配置中MDS、MDT、MGS、OSS和OST组件之间的关系。


HPC集群拓扑图


并行文件系统(如Lustre)通过跨多个对象存储目标(OST)分布数据(“条带化”数据)来提供高性能和可扩展性,从而使多个计算节点能够同时以高效方式访问数据。在设计Lustre时,需要考虑的一个关键因素就是将元数据访问与IO数据访问分开以改善总体系统性能。


Lustre客户端软件 安装在计算节点上以允许访问Lustre文件系统上存储的数据。对于客户端来说,文件系统显示为单个在装入后可进行访问的命名空间。由于只需要这一个装入点,因此为访问应用程序数据提供一个简单的起点,并且还可以通过本机客户端操作系统工具进行访问,从而更方便管理。


Lustre包括一个先进的增强型存储网络协议,该协议的名称是Lustre 网络(简称LNet)。LNet能够利用某些类型的网络功能。例如,当安装了Intel EE for Lustre软件的Dell HPC存储设备使用InfiniBand作为网络来连接客户端、MDS和OSS时,LNet使Lustre得以利用InfiniBand结构的RDMA功能,提供比典型网络协议更快的I/O传输和更短的延迟时间。


总之,Lustre文件系统中包含以下要素:

• 元数据目标(MDT)——存储数据“条带”的位置、文件名、时间戳等。

• 管理目标(MGT)——存储管理数据(如配置和注册表)。

• 元数据存储服务器(MDS)——管理MDT并为Lustre客户端提供对文件的访问。

• 对象存储目标(OST)——存储文件系统上文件的数据条带或扩展区。

• 对象存储服务器(OSS)——管理OST并为Lustre客户端提供对数据的访问。

• Lustre客户端——访问MDS以确定文件所在的位置,然后访问OSS以读取和写入数据。


满足高性能需求的

Dell HPC 存储集群方案


安装了Intel EE for Lustre软件的Dell HPC存储设备组件,请参考下图:


Dell HPC存储集群拓扑图


在该配置中,安装了Intel EE for Lustre软件的DellHPC存储设备解决方案将Dell PowerEdge R430服务器用作管理服务器,R630服务器用作对象存储服务器和元数据服务器。该解决方案支持Mellanox (40 Gb/s)适配器,该适配器利用Dell的第13代服务器所支持的PCIe 3.0, 通过Dell S4048-ON低延迟数据中心交换机互联MDS和OSS, 满足项目对于性能的要求。


1







请到「今天看啥」查看全文