常说的大数据技术,其实起源于 Google在 2004年前后发表的三篇论文。
分别是分布式文件系统 GFS、大数据分布式计算框架MapReduce和 NoSQL数据库系统 BigTable。
2004年那会儿,整个互联网还处于懵懂时代,Google发布的论文实在是让业界为之一振,大家恍然大悟,原来还可以这么玩。
因为那个时间段,大多数公司的关注点其实还是聚焦在单机上,在思考如何提升单机的性能,寻找更贵更好的服务器。
而 Google的思路是部署一个大规模的服务器集群,通过分布式的方式将海量数据存储在这个集群上,然后利用集群上的所有机器进行数据计算。这样,Google其实不需要买很多很贵的服务器,它只要把这些普通的机器组织到一起,就非常厉害了。
2006年,Doug Cutting将这些大数据相关的功能从 Nutch中分离了出来,然后启动了一个独立的项目专门开发维护大数据技术。
这就是后来赫赫有名的 Hadoop,主要包括 Hadoop分布式文件系统 HDFS和大数据计算引擎 MapReduce。
Hadoop发布之后,Yahoo很快就用了起来。大概又过了一年到了 2007年,百度和阿里巴巴也开始使用 Hadoop进行大数据存储与计算。
2008年8月由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中将“大数据”这个概念完整的阐述出来。
其实“大数据”这个名词本身出现的还要早,1980年未来学者托夫勒在《第三次浪潮》中首次使用了大数据这个名词。
2002年,美国政府在911之后以反恐的名义开始涉足大数据挖掘领域。
“互联网存在着海量的数据,而这些数据都是人与机器交互产生的。”秦少言用力拍着那几个英文字母,“只要经过就必然留下痕迹,也就是数据。”
“每个人每天会产生多少数据,一周呢?一年呢?一万人和十万人呢?”
“这些数据是什么?是财富是宝藏!”
“互联网公司的价值除了概念以外什么最值钱,当然是数据!”
秦少言随后看向了熊潇歌,“当然,我要在这里插一句,你们做互联网风投的对数据的价值远远低估了。”
熊潇歌刚要张嘴反驳,秦少言马上说道:“不
本章未完,请点击下一页继续阅读!