仅仅快了“半步”？

51CTO · 公众号 · 科技媒体 · 2017-04-21 12:12

正文

请到「今天看啥」查看全文

提供高性能的

并行文件系统Lustre

Lustre是一种并行文件系统，它通过并行数据访问和分布式锁定功能来提供高性能。一个Lustre安装实例由以下三个关键要素组成：元数据子系统、对象存储子系统（数据）和用来访问和操作数据的计算客户端。

元数据子系统 由元数据目标(MDT)、管理目标(MGT)和元数据服务器(MDS)组成。MDT存储文件系统的所有元数据，其中包括文件名、权限、时间戳和数据对象在对象存储系统中的位置。MGT存储管理数据（如配置信息和注册表）。MDS是用来管理MDT的专用服务器。

对象存储子系统 由一个或多个对象存储目标(OST)和一个或多个对象存储服务器(OSS)组成。OST为文件对象数据提供存储，而每个OSS则管理一个或多个OST。通常，在任何时候都有多个OSS处于活动状态。Lustre能够通过增加活动OSS（和相关OST）的数量来提高吞吐量。每增加一个OSS都会提高现有的网络吞吐量，而每增加一个OST都增加存储容量。下图显示了典型的Lustre配置中MDS、MDT、MGS、OSS和OST组件之间的关系。

HPC集群拓扑图

并行文件系统（如Lustre）通过跨多个对象存储目标(OST)分布数据（“条带化”数据）来提供高性能和可扩展性，从而使多个计算节点能够同时以高效方式访问数据。在设计Lustre时，需要考虑的一个关键因素就是将元数据访问与IO数据访问分开以改善总体系统性能。

Lustre客户端软件 安装在计算节点上以允许访问Lustre文件系统上存储的数据。对于客户端来说，文件系统显示为单个在装入后可进行访问的命名空间。由于只需要这一个装入点，因此为访问应用程序数据提供一个简单的起点，并且还可以通过本机客户端操作系统工具进行访问，从而更方便管理。

Lustre包括一个先进的增强型存储网络协议，该协议的名称是Lustre 网络（简称LNet）。LNet能够利用某些类型的网络功能。例如，当安装了Intel EE for Lustre软件的Dell HPC存储设备使用InfiniBand作为网络来连接客户端、MDS和OSS时，LNet使Lustre得以利用InfiniBand结构的RDMA功能，提供比典型网络协议更快的I/O传输和更短的延迟时间。

总之，Lustre文件系统中包含以下要素：

• 元数据目标(MDT)——存储数据“条带”的位置、文件名、时间戳等。

• 管理目标(MGT)——存储管理数据（如配置和注册表）。

• 元数据存储服务器(MDS)——管理MDT并为Lustre客户端提供对文件的访问。

• 对象存储目标(OST)——存储文件系统上文件的数据条带或扩展区。

• 对象存储服务器(OSS)——管理OST并为Lustre客户端提供对数据的访问。

• Lustre客户端——访问MDS以确定文件所在的位置，然后访问OSS以读取和写入数据。

满足高性能需求的

Dell HPC 存储集群方案

安装了Intel EE for Lustre软件的Dell HPC存储设备组件，请参考下图：

Dell HPC存储集群拓扑图

在该配置中，安装了Intel EE for Lustre软件的DellHPC存储设备解决方案将Dell PowerEdge R430服务器用作管理服务器，R630服务器用作对象存储服务器和元数据服务器。该解决方案支持Mellanox (40 Gb/s)适配器，该适配器利用Dell的第13代服务器所支持的PCIe 3.0, 通过Dell S4048-ON低延迟数据中心交换机互联MDS和OSS, 满足项目对于性能的要求。