一文看懂大数据的四十年发展史

鲜枣课堂 · 公众号 · · 2024-11-26 17:23

正文

他们将这个问题，称之为“大数据问题”。

论文首页

无独有偶，1998年，美国高性能计算公司SGI的首席科学家约翰·马西（John Mashey），在一个国际会议上发表了题为“大数据与下一波计算浪潮（Big Data and the Next Wave of Computing）”的演讲，也提到了类似问题。

约翰·马西指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题。他同样采用了“ 大数据 ”这一概念，来描述这些挑战，引起了业界的广泛关注。

数据的规模在不断膨胀，人类的存储技术和计算技术已然跟不上数据增长的步伐。业界意识到，数据的价值是无法估量的，而我们必须拥有更强大的技术，去挖掘数据中的这些价值。

█ 2000-2012：全面爆发阶段

到了21世纪，围绕大数据的理论探讨仍在继续。

2001年，麦塔集团（META Group，后被Gartner收购）的分析师道格·兰尼（Doug Laney）将大数据定义为三个以“V”开头的单词，即：Volume（体量大）、Velocity（速度快）和Variety（种类多）。

“3V”理论后来被广泛接受，并成为描述大数据特征的标准。再后来，在“3V”的基础上，业界又演变出了“4V”、“5V”，甚至“7V”，包括：Veracity（真实性）、Value（价值密度）、 Variability （变异性）、 Visualization （可视性）等。

道格·兰尼

2002年，在经历了“911”袭击之后，美国政府曾计划整合现有政府的数据集，组建一个用于筛选通信、犯罪、教育、金融、医疗和旅行等记录来识别可疑人的大数据库。

虽然后来美国政府停止了这一项目（涉嫌侵犯公民隐私），但这算是人类大数据系统建设的一次早期尝试。

21世纪初期，互联网已经形成非常庞大的规模。社交网络的崛起、电子商务的普及、社会政府和企业的信息化升级……各式各样的互联网行为，产生了更多的数据，这使得海量数据的存储和管理变得更具挑战。

2003年至2006年，搜索引擎公司谷歌（Google）接连发布了三篇重量级论文，推出了GFS、MapReduce、BigTable，开创了大数据时代的新纪元。

2006年，雅虎工程师道卡廷（ Doug Cutting