Hadoop - 大数据概述

---

“世界上 90% 的数据是在过去几年生成的。”

由于新技术、设备和社交网站等通信手段的出现，人类产生的数据量每年都在快速增长。从一开始到2003年，我们产生的数据量为50亿GB。如果以磁盘的形式堆积数据，可能会填满整个足球场。2011 年每两天创造出同样数量的资金，2013 年每十分钟创造出同样数量的资金。这一速度仍在大幅增长。尽管产生的所有这些信息都是有意义的并且在处理后可能有用，但它却被忽视了。

什么是大数据？

大数据是无法使用传统计算技术处理的大型数据集的集合。它不是单一的技术或工具，而是一个完整的学科，涉及各种工具、技术和框架。

大数据属于什么？

大数据涉及不同设备和应用程序产生的数据。下面给出了大数据范畴内的一些领域。

• 黑匣子数据- 它是直升机、飞机和喷气式飞机等的组成部分。它捕获机组人员的声音、麦克风和耳机的录音以及飞机的性能信息。

• 社交媒体数据- Facebook 和 Twitter 等社交媒体保存着全球数百万人发布的信息和观点。

• 证券交易所数据- 证券交易所数据保存有关客户对不同公司的股票做出的“买入”和“卖出”决策的信息。

• 电网数据- 电网数据保存特定节点相对于基站消耗的信息。

• 运输数据- 运输数据包括车辆的型号、容量、距离和可用性。

• 搜索引擎数据- 搜索引擎从不同的数据库检索大量数据。

因此，大数据包括海量、高速度和可扩展的数据种类。其中的数据分为三种类型。

• 结构化数据- 关系数据。

• 半结构化数据- XML 数据。

• 非结构化数据- Word、PDF、文本、媒体日志。

大数据的好处

• 利用 Facebook 等社交网络中保存的信息，营销机构可以了解其活动、促销和其他广告媒体的反应。

• 使用社交媒体中的信息（例如消费者的偏好和产品认知），产品公司和零售组织正在规划他们的生产。

• 利用患者既往病史的数据，医院可以提供更好、更快捷的服务。

大数据技术

大数据技术对于提供更准确的分析非常重要，这可能会导致更具体的决策，从而提高运营效率、降低成本和降低业务风险。

为了利用大数据的力量，您需要一个能够实时管理和处理大量结构化和非结构化数据并能够保护数据隐私和安全的基础设施。

市场上有来自不同供应商（包括亚马逊、IBM、微软等）的各种技术来处理大数据。在研究处理大数据的技术时，我们研究以下两类技术 -

运营大数据

这包括像 MongoDB 这样的系统，它们为主要捕获和存储数据的实时、交互式工作负载提供操作功能。

NoSQL 大数据系统旨在利用过去十年中出现的新云计算架构，以允许廉价且高效地运行大量计算。这使得运营大数据工作负载更易于管理、成本更低且实施速度更快。

一些 NoSQL 系统可以通过最少的编码提供基于实时数据的模式和趋势的见解，并且不需要数据科学家和额外的基础设施。

分析大数据

其中包括大规模并行处理 (MPP) 数据库系统和 MapReduce 等系统，它们为可能涉及大部分或全部数据的回顾性和复杂分析提供分析功能。

MapReduce 提供了一种新的数据分析方法，与 SQL 提供的功能相补充，并且是一个基于 MapReduce 的系统，可以从单台服务器扩展到数千台高端和低端机器。

这两类技术是互补的并且经常一起部署。

运营系统与分析系统

大数据挑战

与大数据相关的主要挑战如下 -

• 捕获数据
• 策展
• 贮存
• 搜寻中
• 分享
• 转移
• 分析
• 推介会

为了应对上述挑战，组织通常借助企业服务器。