大数据成熟度的5大阶段及其本质

  • 2015-10-22 18:26:49
  • DAMS

我们中许多上过一两门心理学课程的人可能都会记得马斯洛·亚伯拉罕(Abraham Maslow)在20世纪40年代发表的关于人类动机和情感发展的开创性心理学理论。在马斯洛扩展此理论前的几十年里,最初的金字塔模型包括五个阶段,就是我们现在熟知的需求层次金字塔(如下图所示)。值得注意的是,马斯洛专注于人类的权利,而不是走心理学的历史轨迹,老实说,这种方式发挥了人类行为更正常、更迷人的特性。

 
大数据成熟度的5大阶段及其本质-2
 

应用需求层次理论,走向大数据成熟度

 

马斯洛的需求层次理论模型背后,主张的是在基本的生存和安全生理需求外,大多数人都有内在的动机去成长,并建立智力和情感的里程碑,充分实现他们全部的潜力。对于那些想要充分发现他们大数据实践全部潜力的企业,这个模型提供了一个非常好的例子。大数据成熟度模型(如下图所示)采用这个概念,把需求层次理论应用到全球企业发展技术平台、业务流程的愿望里去。

 

不管你的企业在什么领域落地这个大数据成熟度演进标尺,关键的是最大限度地发挥每个阶段的潜力,建立这些实际的里程碑,以到达大数据成熟度的下一级别。

 
大数据成熟度的5大阶段及其本质-3
 

第一阶段 - 发现

 

这一级别类似马斯洛生理学发展的第一阶段。处在这个评估阶段的公司开始研究、回顾和理解大数据是什么,以及它对业务潜在的积极影响能力。处于这个水平,企业开始认识到他们需要适应不断增长的大数据存储需求,以跟上当前的技术发展。要完成这个阶段,了解POV用例应用是非常重要的。要达到下一级别,也要求能够看到大数据不仅仅是数据存储或者Hadoop。

 

这一阶段企业的主要特点:

  • 人:少数人可能被训练熟知大数据或者关系数据库。数据最佳实践没有被定义,也没有在创建;

  • 流程:没有企业级流程,数据和数据库没有常规最佳实践;

  • 技术:关系型数据库数据量低于1TB,数据增长没有规划,或者不能用当前的资产和技术进行处理。应用程序无法高水平处理超过当前数据规模的数据增长。

 

第二阶段 -  启动

 

在这个阶段的企业继续学习和理解大数据需要什么。现在这个阶段就像马斯洛的第二阶段,涉及安全和保障。他们采取步骤进行设计、规划,安装初始集群(如Hadoop、MPP数据库),评估、选择合适的Hadoop发行版本和工具集。专家们评审分析用例,并获取适合支持这些用例的数据。在这个企业水平,企业开始采取步骤去规划、架构它们的大数据存储需求。企业了解用例和可运用的分析工具,并看到大数据不仅仅是指数据存储或Hadoop。

 

这一阶段企业的主要特点:

  • 人:几名受过大数据训练、了解大数据初始概念的员工开始研究和定义大数据最佳实践。员工也在参加Hadoop、MPP数据库的培训,开始跟上技术发展的速度;

  • 流程:企业定义了企业级的大数据架构和系统、培训和认证的流程;

  • 技术:随着企业数据仓库和其它企业级数据存储的集成,企业在技术空间里,对Hadoop和MPP数据库的架构、设计、安装进行审查,数据存储逐步扩展超过1TB。应用程序也被设计成能够利用MPP系统规模化和性能。

 

第三阶段 - 战术采用

 

这一阶段类似马斯洛第三阶段的爱和属于。在这个层次的企业了解大数据价值主张,但仍在学习大数据于更多战术层面上能够提供什么。在这个阶段,还没有战略规划或实现。在这个水平,企业认识到它们的大数据存储需求不断增长,正寻求如何从数据资产里获得效益。里程碑成果就是选择执行用例作为未来改进的基础,并整合企业数据仓库与其它的数据存储。

 

这一阶段企业的主要特点:

  • 人:更多的人参与培训,学习大数据技术。大数据最佳实践正在被定义,但是还没正式实施;

  • 流程:在公司层面开始执行大数据实现流程,并建立最佳实践,进行数据库和数据管理维护;

  • 技术:在战术层面,Hadoop和MPP数据库大数据平台已经持续安装新的实现。数据规模增长可能超过1-10TB水平。Hadoop里的数据主要通过企业数据仓库和数据库中检索到的数据进行集成。数据增长正用新的存储资产和技术进行规划。应用程序正被设计成可以通过并行方式访问更大的数据集(Hadoop 和/或MPP数据库)。

 

第四阶段 - 战略整合

 

这个阶段等同于马斯洛的自我价值阶段,企业理解并实施了大数据。在这个点上的企业,大多数用例已经定义并实施,是理解收益和积极的投资回报率的价值主张。在这个水平,企业已经充分认识到它们的大数据存储需求,并积极主动地规划数据增长。除了大数据能力,(市场营销、竞争情报)分析和预测能力也已经开发,并在确定的用例中进行充分的预测分析。Hadoop和/或MPP数据库集群已经连接数据源,成功创建、实施。集成自企业数据仓库、数据库、日志文件和机器数据文件的结构化、半结构化、非结构化数据源的数据也已经被成功使用。

 

这一阶段企业的主要特点:

  • 人:许多员工参加了培训,具有大数据实践经验(Hadoop和/或MPP数据库)。总体来说,员工依照大数据最佳实践进行了培训。

  • 流程:在企业层面,流程和最佳实践都进行了充分定义,并且大部分都已经在日常工作中遵循。

  • 技术:大数据技术如Hadoop、MPP数据库、分析工具等全面实施,在一些项目和用例中正式运转起来,其它用例也逐渐在创建并实施。大数据存储技术体系已经建设并使用。应用程序通过MPP提供的能力,有效的利用大数据技术。

 

第五阶段 - 前瞻优化

 

与马斯洛的自我实现阶段一致,达到这个顶级水平意味着企业拥有一个有远见的、最优的大数据理解,并最大限度地获取全面效益。大数据能力都基于全面预测的用例。在这个水平,企业已经充分理解和规划它们的大数据存储需求,并通过实施软硬件处理大量的数据(500TB至 >PB规模)。企业已经创建、实施用例,并常规化地利用(企业范围内)大数据和预测分析能力。现在企业已经完全转变成“预测型企业”,使企业对客户事件有能力预测,而不是对事件做出反应。

 

这一阶段企业的主要特点:

  • 人:许多人都参加了大数据培训或者已经熟悉大数据或关系数据库。数据最佳实践已经充分定义并一直坚持使用。在人力资源培训方面,企业对待技术培训需求积极主动,富有远见。

  • 流程:在企业层面,最佳实践和大数据流程已充分定义,并作为掌握数据管理目标的常规化工作。

  • 技术:在这个企业水平,Hadoop、MPP数据库、企业数据仓库以及其它的技术已经充分连接并集成在一起,充分支持业务用例,实现全面的投资回报率。Hadoop、MPP数据库取代了关系型数据库,数据集市、数据湖现在也到了100TB至PB的数据规模。数据增长已经可以通过当前的资产和技术进行充分的规划、实现。应用程序已能够以并行方式运行更高数据量水平,以应对数据的快速增长。

 

据悉,马斯洛认为只有百分之一的人可以真正达到自我实现的第五阶段。至少从概念上来讲,大数据成熟度模型和马斯洛动机模型非常相似,都包括了一个五阶段演进模式。那么从两种模型的相似性来看,在大数据领域,是不是也很少企业能达到全面整合的水平?目前尚没有足够的经验数据来支持任何一种说法。所以说,无论是个人还是企业,达到自我实现阶段,获取利益,都是可能存在的。

 

大数据成熟度模型可以帮助你的组织:1)确定企业目前处于大数据成熟度的哪个位置;2)采取措施以达到下一阶段水平。从最初的发现、启动,到更多的战术采用、战略整合,到最后的前瞻优化,你的组织正处于什么阶段?可以明确的是,如果有这个意愿,你的企业就有能力成长,并主动地用更有效的大数据方法,建立自己的大数据。

 

(作者:Steve Thompson,翻译:新炬网络李剑杰,整理:DAMS,架构师联盟微信号:jiagoushi2015)