专栏名称: 企事录
企事录为您分析点评企业IT和互联网基础设施及架构方面值得关注的话题,把握行业热点,看清产业趋势。
目录
相关文章推荐
妈妈抱团  ·  69元3件!今夏必囤的“马卡龙”纯棉T袖,时 ... ·  4 小时前  
Supreme情报网  ·  原价起飞!「LV阿甘鞋」贵替铺货,仅需920 ... ·  14 小时前  
Supreme情报网  ·  原价起飞!「LV阿甘鞋」贵替铺货,仅需920 ... ·  14 小时前  
加国无忧  ·  加拿大Costco会员又多一项新福利: ... ·  2 天前  
加国无忧  ·  加拿大Costco会员又多一项新福利: ... ·  2 天前  
案件聚焦  ·  避雷网购Labubu骗局!女子求“布”心切被骗 ·  2 天前  
案件聚焦  ·  避雷网购Labubu骗局!女子求“布”心切被骗 ·  2 天前  
51好读  ›  专栏  ›  企事录

狒话多:AI是存储的救世主吗?

企事录  · 公众号  ·  · 2017-10-10 08:15

正文

请到「今天看啥」查看全文


与AI关系最为密切的当属DiskProphet,其功能是对磁盘的故障进行预测,用现代化的方法为磁盘“算命”,化被动的数据修复为主动的数据迁移,从而大幅提升存储运维能力。

为了防止数据丢失,业界广泛使用副本或RAID/EC(Erasure Coding,纠删码)算法将冗余信息分布在多个磁盘上。当其中的某个磁盘失效,就要访问其他磁盘以重建这个故障盘上的数据,恢复到设定的冗余水平;否则,再有磁盘失效,就可能会导致数据丢失。

数据修复过程会占用大量资源,影响正常的系统访问,而且在此期间涉及重建数据的磁盘面临超负荷工作,可能进一步诱发更多的磁盘失效;降低数据重建的优先级可以缓解磁盘的压力,但会导致数据修复过程变长,反过来又增加其他磁盘失效的几率。

如果能够提前预知磁盘何时故障,在其失效之前将存储于其中的数据读出,写入到其他健康的磁盘上,变被动为主动,也就不用为数据修复过程中的种种风险担心了。

基于智能预测的主动式故障处理

给磁盘“算命”的实质是用算法处理大量磁盘的生命数据。DiskProphet分析的核心是神经网络算法——这年头不提神经网络、深度学习,简直就是不懂AI。可利用的磁盘生命数据分为两部分:一个是磁盘自身的S.M.A.R.T.(Self-Monitoring, Analysis and Reporting Technology:自监控、分析和报告技术)信息;另一个是磁盘工作的环境信息,包括CPU利用率、内存利用率、网络占用等负载模式信息,统称为Metrics。持续不断的采集这些数据,可以得到磁盘状态随着时间变化的趋势,和外部环境所产生的影响,供神经网络学习。

神经网络的分析能力并非与生俱来,刚搭建出来的神经网络只具备学习的潜力,还没有实际的分析能力,需要通过大量的实际数据样本训练,才会具备分析判断的能力。具体到DiskProphet,要经过六千万条的数据训练之后,才可以准确的给磁盘(也支持SSD)“算命”。

DiskProphet工作原理

DiskProphet的输出不仅仅包括磁盘寿命的预测,还可以根据实际应用负载变化情况给出相应的处置建议。譬如,DiskProphet发现某一块磁盘很可能在七天后发生故障,而未来的七天里只有两天是很闲的,五天很忙,它又算出了迁移这块磁盘上的数据两天就够了,于是给出建议,提前把这块磁盘上的数据进行迁移。如果管理员足够放心的话,还可以让DiskProphet自动操作。







请到「今天看啥」查看全文