专栏名称: 网络大数据
打造中国最专业的网络大数据科学门户网站,提供新闻动态、研究资料、测量工具、数据报告、在线测量等各项信息及服务,供IDC,CDN,ICP和普通大众共同学习进步。
目录
相关文章推荐
51好读  ›  专栏  ›  网络大数据

大数据架构的6大问题,企业一定要考虑

网络大数据  · 公众号  · 大数据  · 2017-05-25 20:04

正文

请到「今天看啥」查看全文


2.批量与流数据?


Minton表示,由Oracle,Hadoop MapReduce和Apache Spark等产品提供的批量数据是描述性的,可以处理大量的数据,经常被用来建立一个数据科学家进行实验的产品平台。


像Apache Kafka,Splunk和Flink这样的产品可以提供能够捕获的流数据功能,以创建潜在的预测模型。Minton表示,使用流式传输数据,其速度胜过数据保真度,但也提供了巨大的规模和多样性。这对于认同DevOps文化的组织更为有用。


3.Kappa vs. lambda架构?


Twitter是lambda架构的一个例子。其数据被分为两个路径,其中一个路径被馈送到速度层进行快速分析,而另一个路径导致批处理和服务层。Minton表示,这种模式使组织能够访问批量和流媒体的见解,并平衡有损流。他说,这里的挑战是人们必须管理两个代码和应用程序基础。


Kappa架构将所有内容都视为流,但它是一个旨在实时保持数据保真度和流程的实时处理。所有数据都将写入不可变日志,以检查更改。其硬件高效,代码较少,这是Minton推荐给开始实施大数据的组织的一种模式。


4.公共云vs私有云?






请到「今天看啥」查看全文