网络存储“相对论”：NVMe over Fabrics性能实战

企事录 · 公众号 · · 2017-12-08 08:08

正文

请到「今天看啥」查看全文

超融合部署的另外一个优势是，利用计算和存储一体的特点，可以把计算节点经常访问的数据，就近放在所在的节点本地，尽量避免跨网络访问。这在网络状况不太好的时候，有很好的效果。如图所示，超融合市场的开创者Nutanix就提供这个功能。

公有云上也有类似的例子，譬如阿里云的第一代块存储是2010年做的，当时阿里云尚处于起步阶段，用的网络还是千兆以太网，就利用超融合的部署方式，来降低网络性能的不利影响。

我们后面也会提到，现在高速的存储，譬如NVMe和3D XPoint这种低延迟存储的出现，存储性能大幅提升以后，网络性能如果跟不上来的话，可以用类似的数据本地化的方法，譬如微软的S2D（Storage Spaces Direct），或者VMware vSAN，都有计划加入数据本地化的功能。

刚才说到阿里云，实际上超融合架构在大型云计算环境下的一个问题，就是计算和存储资源紧耦合的方式不够灵活。譬如阿里云上线了一个集群，可能计算资源很快卖空了，但存储资源还剩很多，那这就是很不经济的一种做法。所以阿里云从第二代块存储技术开始，就采用了计算和存储分离的方式，包括到现在的第三代也是采用分离部署的方式。

另一个例子是AWS的EBS。EBS主要为EC2计算实例服务，AWS有很多类型的EC2实例，C开头的是计算优化的实例，前不久推出了最新一代的C5实例。AWS起步比较早，其虚拟化采用的是Xen，但是最新的一代C5转向了KVM。上周的 re:Invent 2017大会上，AWS为了介绍C5，把以前几代实例的计算和存储架构都大致回顾了一下。

这张是C3实例的架构图，左边是硬件架构，右边是软件架构，画出了对应的映射关系。很多IaaS公有云的实例都有本地存储的选项，本地存储的问题在于，其就在实例（通常是VM）所在的物理主机上，如果云主机重启或迁移，本地存储的数据就会丢失。所以本地存储虽然快，但并不被视为持久化存储。持久化的块存储，于AWS就是EBS（Elastic Block Storage，弹性块存储），黄色的虚线框里就是EBS，是一个共享的存储，通过网络访问。从图上的架构可以看到，存储和网络一样，通过网络来访问。这就可以看到C3实例在存储架构上的问题：存储的流量和网络的流量，没有有效的区隔，所以存储的性能可能无法保证。

从2013年底到2015年初，过了一年多，AWS升级到了C4实例。黄色虚线框里还是EBS，注意存储的访问路径，已经和网络区隔开了，所以C4实例的EBS存储，性能和QoS有保证。这也说明了网络和存储的一些联系：有时候存储的变化，实际上是网络的变化。

这是我画的一个图，横轴是时间线，纵轴是SSD或HDD（硬盘）的大致数量。可以看到这是一个发展的曲线，左下角的是已经发生的事情。我们原来为什么会有磁盘阵列？因为硬盘性能太差了，所以要把很多硬盘堆在一起，形成磁盘阵列提供更高的性能（有时是更大的容量）。随着SSD的逐渐发展，刚开始用SSD给硬盘当缓存，使用服务器内置存储，SSD加HDD组成缓存或分层的方案，还可以是纯SSD（全闪存），就可以满足应用的需求。