概述-大数据是什么

大数据是什么？

前几年火的时候，是个公司，三句不离大数据。可到底啥是大数据？

我觉得一般情况下提大数据的时候，应该说的是在大量数据和业务新的要求下，如何更好的处理的技术解决方案。

大数据是全称应该是大数据技术解决方案。

我觉得IBM的5V特点概括的还是很准确的。

Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

Volume数据量大是最重要的特点。

数据量增加到一定的等级时，存储影响不大，但传输容易堵塞延迟，计算消耗可能是几何级的增长。

不但会增加数据处理的时间，无法及时响应业务需求，更容易出现各种意外问题。

Velocity是指现在业务变化快，问题时效性高，传统数据仓库N久更新一次已经不能接受了。

当前离线数仓默认可以做到每日更新一次大数据概述，关键业务数据可以做到60min甚至15min一次的频率。

而实时数仓是秒级更新。

Variety是指原本碰到无法处理的非结构化数据时，要么会手动转化为结构化数据，要么会放弃。

而当前非结构化数据越来越多，越来越重要，尤其是图片、音频、视屏网站，这些是他们的核心资源。

如果不能很好的利用，会十分影响公司的竞争力和后续发展。

Value是指当前业务系统基本都是在线的，通讯和存储成本极低的情况下，会留存大量的日志数据。

如系统状态，地理信息，操作步骤，计算过程。

看起来好像没有什么用处，但积累到一定的量级时，也可以从中发现很多以前不曾关注也无法关注的规律和趋势。

已经不能再像以前一样简单的判断数据是否有价值了。

Veracity是指随着数据量级的增加，数据对真实世界的抽象粒度更细，能表现出更多的信息。

就如以前是480P，现在是4K。

数据量越大，丢失的信息越少，对世界的还原约真实，我们能了解到的情况越准确可靠。

大数据这个概念之所以出现，一个是技术发展，大量公司在线上作业，数据比以前多了好几个量级。

另一个是业务对数据有了更精确、更快速、更多可用的要求。

因为数据的变化和业务的要求，原有的技术方案难以满足要求，而数据仓库方案也更不上变化了。

现在说大数据解决方案，基本约等于Hadoop生态圈。

核心是分布式存储和计算，通过增加资源解决数据量大的问题。当然人家牛逼的技术可不是简单的堆砌资源。

大数据的技术问题已经很好的被解决了，我觉得大数据的数据仓库解决方案也需要基于当前的新的技术架构、硬件资源、业务需求做出相应的调整，才能更有效的解决问题。

（编辑：佛山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!