趣味吐槽：一个“码农”眼中的大数据

吐槽码农大数据

贵州人才信息网 | 2016-06-12 11:21

【数据猿导读】大数据，自从这个“高大上”的概念出现，便像病毒一样蔓延，以至于对于我们这种搞IT的人员来说，不了解这个概念似乎都不好意思承认自己是干这一行的，估计各大软件公司也都已经或者准备涉足这个领域

大数据，自从这个“高大上”的概念出现，便像病毒一样蔓延，以至于对于我们这种搞IT的人员来说，不了解这个概念似乎都不好意思承认自己是干这一行的，估计各大软件公司也都已经或者准备涉足这个领域。本人所在的公司也一样，近期一直强行推广相关的技术。不过，不清楚我们的那些大BOSS们到底是装懂呢，还是装懂呢，还是装懂呢，总感觉这种推广的方式有些偏离了大数据的实际含义。

本人自认为一直从事着数据处理方面的工作，长期以来，工作的流程一直是：各运营商会提供各自的接口(比如FTP)，从接口处取得各种类型的文件(例如csv格式、xml格式，甚至包括二进制文件)，解析文件并将所需要的信息取出后load到数据库中;入库后，有些数据会针对时间粒度或者空间粒度进行汇总处理;然后，对于本人来说就木有然后了，会有另外一批人员进行上层界面的开发，根据数据库中的原始数据或者汇总后的数据，做出一个很炫的界面以显示这些信息，并提供给客户使用。

之所以要推广大数据相关的技术，是因为需要处理的数据量越来越大，而且以后还会有继续增大的趋势;而由于数据采集的实时性，需要对处理的效率有一定的要求(一般数据是每小时都会生成的，如果一次处理在一小时只能还无法完成，那结果可想而知)。基于这些原因，引进了大数据相关的诸如Hadoop的技术。然而，这就是唯一的区别，仅仅是将数据处理部分从原先的程序改成通过那种“高科技”的方式实现，仅有的区别就是直接得到汇总后的结果并将其导入到数据库中。处理后，相关的数据将彻底完成历史使命，并于一段时间以后“灰飞烟灭”。

这就是传说中的大数据乎?深表怀疑，也许充其量就是数据量比较大的数据罢了。

于是乎，在工作之余，研究了一下传说中的“大数据”，发现它确实不是这个样子的，它是一种全新的思维模式，甚至跟数据量的大小本身没有半毛钱关系。与此同时，也深深的感受到，长时间在这么一个安逸的工作环境下，自己确实已经有些out了。也许，真到了应该充充电、全面提升自己的时候了。

不过，出于多年以来的习惯，总是有反权威的倾向，喜欢按照自己的方式理解，而不是对所有理论完全照搬;而且，总喜欢将自己的理解用一种完全另类的方式表达出来，于是，才有了下面的文字。在此声明，本作品纯属自娱自乐，如果其中的某些部分对各位有那么一丁点儿帮助，能够成为各位的非物质文化遗产，那也算功德一件;如果感觉没有任何实际的价值，那也不要浪费各位的宝贵时间，直接无视即可。当然，由于是初学者，理解上势必会有一些偏差或者不足，所以也欢迎各位能够以“就事论事”的方式进行学术上的探讨。

来源：贵州人才信息网

收藏分享

声明：数据猿尊重媒体行业规范，相关内容都会注明来源与作者；转载我们原创内容时，也请务必注明“来源：数据猿”与作者名称，否则将会受到数据猿追责。