专栏名称: 高效运维
高效运维公众号由萧田国及朋友们维护,经常发布各种广为传播的优秀原创技术文章,关注运维转型,陪伴您的运维职业生涯,一起愉快滴发展。
目录
相关文章推荐
InfoQ 架构头条  ·  游戏教父John ... ·  2 天前  
51好读  ›  专栏  ›  高效运维

没那么艰难险阻!PB级云存储全方位细致解读(长文慎入)

高效运维  · 公众号  · 运维  · 2017-07-17 07:16

正文

请到「今天看啥」查看全文


现在时代变了,该帮客户存的数据存起来,该为自己记得日志记下来吧。某些智能硬件厂商通过分析日志来精准广告投放和运营APP市场,他们已经可以赔钱卖硬件靠广告赚钱,但这有个前提你要先存下来几个P的用户日志。

ToB业务的用户规模远不如ToC应用,但文件的存储周期和可靠性要求十倍于个人娱乐用户。ToB业务涉及人员请注意一下,带宽和存储已经都降价了,连带着大数据和AI技术都在进步,以前不敢想的业务场景可以去实践了。比如高清企业视频会议和无人机航拍后人工智能做设备点检,还有一套套呼之欲出的IOT方案,这都是在促进生产力的进步。

近几年自然数据的产生和处理能力急剧提升,PB存储俱乐部里也有了一批高科技新玩家,我们愿意帮着他们改变世界。比如医疗信息化整改,一个区域的所有PX影像要集中存十年以上,而且随着医疗器械的更新换代,这些影像数据会越来越大。

以前我们拍个CT片子是横着切5片,一个胶片20MB,现在我们拍个CT是纵切30片,一个胶片是200M。比如基因测序,每家基因公司都立志将全人类的基因记录一遍,录完人类的还有其他生物可以搞。比如气象和地质活动,现在有了更新的监测手段、更密集的监测网点,数据记录量也翻倍增加。这类方案对存储要求长周期平滑扩容,云服务厂商的对象存储会是这类客户的最佳方案。

2.4变通和妥协

对象存储并不是万能解决方案,它有解决不了的问题,也愿意为适应现状做兼容和妥协。

基于HTTP协议的文件传输,天然无法满足“大文件的小范围修改且实时落盘”这一需求,最典型的场景就是数据库的DBfile,以及视频原片的现编操作。

即使我们费尽心力让对象存储把自己模拟成本地磁盘,不严谨的兼容POSIX接口,当你打开一个1G的文件修改1k并保存时,本地文件系统只修改1k文件,而对象存储会上传一个1G大的新文件。

数据库这类低延迟应用天生和HTTP协议不投缘,而数据库活跃文件也不可能到PB级,所以DBfile很难去尝试兼容对象存储接口。视频剪辑软件倒是有兼容对象存储接口的技术可行性,他们可以把20G大的原片分散成2000个小文件,但客户的需求还不够强烈,本地的带宽还是不够稳定,这需要假以时日。

对象存储会主动用Fuse/NFS/FTP等手段来服务工业级数据产生设备;比如厂家几千万卖出的医疗仪器只支持FTP协议,这些仪器不可能主动去兼容对象存储,那对象存储就来主动适应这些工业设备。这些数据生产设备对存储的需求也很简单,就像投递邮件一样写数据,根本不关心已经写入的数据如何管理,也极大降低对象存储兼容模拟的实现难度。

对象存储还会用Fuse/NFS/FTP等手段来服务一些传统客户的低负载低需求需求,以保证尽量减少客户的业务变化。比如说银行里依赖一套存储的应用有50个,其中5个高性能应用必须改用对象存储接口,而另外45个低需求应用可以沿袭旧的访问方式,否则换个存储要改50套应用是推不下去的。

3.如何采购对象存储服务

各家公有云都做对象存储服务,那么该从哪些维度选存储服务,我有一些思考和建议。不用带任何情怀和理想,一年内能达到的存储容量是用户分类的唯一标准,GB/TB和PB。同样也不带任何理想和情怀,企业采购云服务就是公平交易,不要奢求免费的蛋糕,我们只期望能物有所值就够了。

3.1 小型用户宽松心态

如果你是一个GB级用户,一年内存储量都不会达到1TB,这时候用对象存储只是为了方便开发应用,不用太多思考存储自身特性。

首先谈价格,100G数据的存储成本每天就几毛钱,我不想讨论如何节约一毛钱的问题。

对象存储和云主机没任何直接技术关联,它是一个独立到孤立的服务,典型互联网架构中,对象存储甚至不和云主机交互任何业务数据,云存储直通客户APP。

对象存储一般会接CDN,CDN是最成熟透明的云应用,你可以CDN和存储选一家,也可以只用存储做源站,技术上不会有任何限制。

云存储都对接多媒体处理,市面上的多媒体处理大都套用imagemagick和ffmpeg,各家的主体功能趋同,细节毛刺上区别的这个级别的用户感觉不出来,有新需求也会被礼貌性无视。

对象存储的业务形态很容易被平台方窃取数据,即使你做了数据加密也可以根据你的计费日志评估你的业务量,但你现在只有G级别的数据,暂时不用考虑太多厂商中立性。

小容量数据也很容易迁移,假设你要从云存储迁移100G的数据到虚拟机,总成本不超过300元,迁移时间也可以控制在一天以内。有了方便迁移这个特性,云存储平台有什么让你不爽的,直接迁走。

3.2 中型用户三思后行

GB级用户不在意的坑,TB级用户全部要踩一遍;而TB级客户在面对繁杂市场宣传,很难看透云存储服务的本质内容。对象存储都是用API接口调用,普通用户看不到也不关心群集规模和技术细节。大家读完本文以后可以更理性和警惕的评估云存储供应商。

首先说数据持久性和安全性不用太关心。云存储厂商都宣称数据可靠性超过10个9,在我看来各种SLA超过8个9就已经比第三次世界大战的几率还小了; 平台说自己能到多少个9,我们都笑笑就好,故障出来了平台总能找到理由的。你买最贵的EMC存储柜也不能保证100%不丢数据,怕丢数据要设计备份方案而不是寄希望于单一硬件或服务。

TB级用户同样不用太关心存储群集的性能,因为你是用HTTP协议访问一个广域网服务,广域网和客户端才是网络吞吐性能的瓶颈。几家云存储厂商在SLA里都没承诺速率,上行带宽本来就免费,而下行带宽都会走CDN。但是这类客户已经出现迁移困难了,假设你有200T数据要从某云迁到自己机房,如果你的迁移用IDC带宽是1000M需要20天才能完成任务。

上文是拨开一些企宣烟幕弹信息,下文是TB级用户最关注的问题。

  1. 价格问题。
    假设你有200T数据,每年的开销在30万左右;这里说谈价格不是让你死抠存储的价格是10万还是40万,而是注意存储会带来其他消费,比如说现在存储要计算CDN回源带宽了,比如说两个云存储互为备份带宽同步费用有多少。当前存储厂商是按需付费定期调价,短周期看大家都是在不计成本的降价获取客户,但长周期看寡头形成竞争会淡化,存储涨价是合法商业行为,而你数据量大且深度耦合平台业务很难搬走。企业服务市场没有免费蛋糕,我们要适当考虑超低价服务的风险。

  2. 云端处理和分发能力。
    当你的数据量到TB以后,单台服务器已经无法承载和处理这些数据了,你需要尽量借助云存储平台的处理和分发能力。我本来以为这些功能大家都会各平台都有,但试读者反馈还是建议我加上这一段。

    云存储直接处理数据都是这样一个形态: 文件输入来自于云存储 ,参数输入来自于客户的get和post请求,在云端做一些无状态处理,文件可以下载或存储到云存储,参数输出或者接口回调。常见的例子是图片实时打水印有损压缩后下载,视频异步转码另存,涉广告图片检查后返回特征码,日志文件检索特定字段,文件自定义加密解密等等。

    这些服务使用方便收费低廉,甚至在改变原有的开发模式,成为存储必备的核心功能点,但是这些服务使用过程中小坑不断。比如说实时有损压缩图片这个功能可极大节省CDN带宽提高资源加载速度,客户端可以根据自己的设备、网络、应用场景决定要什么分辨率的图片,此功能带来了无与伦比的灵活性。

    但用户不可能是多媒体处理专家,很多应用场景细节根本就想不到的。比如你往我的平台塞个200M大图我是拒绝处理的,友商不管图片多大都敢去切图,但有30%几率是后台切图程序崩溃,让你等是十分钟才收到个50X的报错;比如说某些音频编解码规范应用了半个世纪,某款新出的手机可能会出兼容性问题。

    这类技能太生僻,云厂商培养技术人员都很困难,客户要靠自己评估厂商就更难了。我的建议是多发几个工单,看接工单的是技术人员还是商务客服,看工单处理周期和结果吧。

    分发能力好理解,某网盘厂商一开始是把云存储挂载服务器后端,由服务器端的BGP带宽来负责网盘文件下载,后来改成云存储通过CDN直接给网盘客户端发数据,带宽成本降低到以前的20%。

  3. 厂商的职业操守
    前文刚一本正经的说云计算是企业服务,现在怎么突然又提到操守了?国内的云平台都是做互联网ToC业务起家,习惯用摆布个人用户的伎俩去招揽企业生意,近几年大型云平台屡屡爆出蛮横管理狡诈运营的丑闻。云计算是企业服务,云平台是我们的供应商不是我们的管理者。TB级用户正是业务高速发展的关键时刻,我们更要防备某些吃相难看的混蛋。

    云存储相对业务简单,遇到野蛮运营的问题主要集中在窃取数据、估算业务量、恶意不兼容其他服务这三方面。

    窃取用户数据指的是监守者自盗后自用,要是泄露给第三方那是安全事故可以直接报警抓人,但平台方自用用户数据很难抓现行。云存储里大都是多媒体数据,谁敢盗播打官司就好;

    日志文件加密了就用不了云端大数据分析了,但不挂个人信息的基因测序样本被偷了也不怕。如果客户真的特别害怕丢数据,云平台确实没手段能自证清白,谁偷过用户数据只能听业内风闻。

    真正让用户头疼的是平台方会根据计费日志估算你的业务规模,就像小区保安总共能看到你何时出门一样。据不可靠传闻,某厂商本来能拿到某云厂商母公司数亿美元投资,自吹数据量有数PB,该司投资部去调了一下他们的消费金额就取消投资了。







请到「今天看啥」查看全文