终于有人把大数据讲清楚了
发布时间：2021-06-04 14:44:47 所属栏目：大数据 来源：未知
导读：01 大数据概念 数据发展推动科技进步，海量数据给数据分析带来了新的机遇和挑战。大数据是一种强大到在获
|
01 大数据概念
数据发展推动科技进步，海量数据给数据分析带来了新的机遇和挑战。大数据是一种强大到在获取、存储、管理、分析方面远远超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和较低的价值密度这四大特征。
于是，我们需要新的处理模式来实现更强的数据处理能力以应对多样化的信息资产。
大数据技术追求的不是精确性的样本数据，而是面向全体的数据，这部分数据可能是不精确的、非结构化的，但大数据技术正是利用这些之前未被利用的数据，创造新的价值。
从海量数据中获得的数据处理结果可能是超乎我们的认知逻辑的，但是我们并不需要理解结果背后的因果关系。简言之，我们需要用相关思维替代因果思维。
02 大数据核心技术
大数据在信息系统的生命周期中，从数据源到最终产生有价值的可视化信息，主要经历6个步骤，分别是数据收集、数据存储、资源管理与服务协调、计算框架确定、数据分析和数据可视化，此过程涵盖了海量分布式系统、数据库、并行计算框架、数据挖掘等方面的技术。
图2-1罗列了大数据技术中各个步骤目前所对应的主流技术体系，大数据的相关技术日新月异、层出不穷，由于篇幅限制，不再一一列举。
终于有人把大数据讲明白了
▲图2-1 大数据的主流技术体系
03 大数据特点
大数据具有海量的数据规模、快速的数据流转、多样的数据类型和较低的价值密度这四大特征，下面将分别进行详细阐述。
1. 海量的数据规模(Volume)
大数据所采集、存储和计算的数据规模都非常大。随着互联网的广泛应用，使用互联网的人和企业等增多，数据的创造者变多，数据量呈几何级增长。近年来，随着数据维度变多、数据类型增加、数据的描述能力增强，数据可以传达的信息也越来越多，越来越准确。
2. 快速的数据流转(Velocity)
大数据不仅增长速度快，处理速度也快，有很强的时效性。在信息时代，人成为网络的核心，每个人每天都在制造新的数据，这些数据再被相应的机构如政府、互联网企业、银行、电信运营商等收集，形成了一个个庞大的数据体系。
面对如此庞大的数据体系，处理数据并得到结果的速度越快，数据的时效性就越强，价值就越高——而大数据和传统数据挖掘最大的区别也在于此，大数据更强调数据处理的实时性和时效性。
3. 多样的数据类型(Variety)
大数据的种类和来源多样化，多样的数据为数据处理带来了挑战。在数据结构上，大数据可以分为结构化数据、半结构化数据和非结构化数据;在具体形式上，大数据可以分为视频、音频、图像、博客、社交网络、互联网搜索等。大数据迎接的挑战就是要针对这些结构不一、形式多样的数据，挖掘其中的相关性。而这些前所未有的、来自各个领域的、不同形式的数据，赋予了大数据强大的威力。
 （编辑：甘孜站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
