到底什么是“数据湖”？

正文

请到「今天看啥」查看全文

2、数据被筛选过，很多底层的细节被筛除了。分析时，无法获得这些信息。

3、随着当时互联网的高速发展，非结构化数据（电子邮件，文档， PDF）以及半结构化数据（CSV，日志， XML， JSON）迅猛增长。数据仓库主要以处理结构化的数据（关系型数据库，例如数据表格、行与列）为主，无法很好地满足需求。

换言之，数据仓库，是把所有数据源的数据，按一开始制定的规则，进行了处理，变成了产品，缺乏灵活性。

而数据湖，是利用Hadoop等大数据技术的处理能力和成本优势， 将所有数据源的数据，不做预处理，全部都存起来。

这就解决了前面提到的几个问题：

1、数据湖中的数据接近原生，内容齐全，属性完整。应用层在使用数据时，可以基于需求，进行灵活设计。

2、数据信息未被筛选，底层细节都在，可以尽可能还原业务（也是为了更好地分析）。

3、结构化、非结构化、半结构化，所有数据都能保存和处理，满足互联网时代发展的需要。

数据湖还解决了一个重要问题，那就是数据孤岛。很显然，企业内部各个业务系统的数据都放在一起了，当然也就没有孤岛了，可以开发横跨多个系统的数据应用。

我们可以举个 买菜炒菜 的例子。

数据仓库，因为存储成本高，所以，买了菜之后，会进行预处理，变成指定的炒菜素材，例如土豆块、菜叶、肉丝等。炒菜时，厨师直接取用。如果厨师想要做一些特殊的菜，一些原生态的菜，就没办法了。如果厨师想要烧鱼，也没办法。

数据湖，就是你拥有了一个超大且便宜的空间，可以保存你购买的所有食材。食材的品种非常丰富，且不需要做任何预处理。各个厨师可以根据自己的需要，在炒菜时自行处理。厨师拥有了更多的灵活度，菜品也更加丰富。

数据湖的出现，满足了企业用户存储全域原始数据的需求。

2011年，CITO Research网站的CTO和作家 丹·伍德斯 （Dan Woods）也力推数据湖的概念。他指出：“如果我们把数据比作大自然的水，那么各个江川河流的水未经加工，源源不断地汇聚到数据湖中。”

很多人也许会问，为什么叫“数据湖”？而不是“数据池”、“数据河 ”、“数据海” ?

因为“数据池”太小，体现不出数据的大量。“数据河” 是流动的，数据无法保存。“数据海”则是因为 没有边界。数据湖是属于企业的，需要边界，需要注意隐私和安全。

█ 数据湖的主要特征

请到「今天看啥」查看全文