“晓”说数据管理——王晓征

  • 2015-08-20 10:28:57
  • DAMS原创

王晓征 / 浙江移动信息技术部总经理助理

► 电信行业数据管理现状

很多人现在给移动贴上的标签是“有钱花不完”、“高大上”、“高富帅”……同时也有更多人会在网上黑移动、骂移动……众说纷纭,而事实情况是在这个大数据时代来临的时候,我们的传统运营商也遇到很多挑战。我们内部也在谈三条曲线的问题:第一条是传统的业务,即语音短信;第二条是流量经营,我们的月2G、3G业务;第三条是数据化的业务。迎合时代发展,第一条曲线显然是在走下坡路,而第二、三条才是我们现在的主要业务。在这里,如何使用大数据进行变现就是我们现在要面临的问题。而在解决这个问题之前我们还有一个更麻烦的问题要解决,那就是如何管理我们的IT型数据,就目前来说,这个问题要比数据变现对我们的威胁更大,这也是我今天演讲的重点。


大数据时代的业务支撑面临“成本、管理、增值”三大数据管理压力。尽管我们现在的数据量跟其他BAT百度、阿里、腾讯这三大中国互联网公司不能比,但还是要与日俱增。我们目前支撑系统的总数据量已达到PB级别,以每年50%的速度递增,随着数据量的不断增长,资源投入、管理成本以及运营成本也在不断上升,而如何去控制、去管理是我们面临非常严峻的考验。第二块数据膨胀对我们的业务支撑带来了量变到质变的后果,对架构设计、架构演进以及系统运维能力带来巨大的挑战。我是来自IT 部的,IT部首先就是要保证我们整个系统的架构能够支撑这样庞大的数据量,而且系统也要在这么庞大的数据量的情况下去保持稳定。大家都知道BAT公司特别是阿里都在去“IOE架构”,因为去完之后他的分布式架构是走的比较快的。可是我们传统行业不可能走那么快,我们是处于一个IOE架构和去IOE架构的混合状态,如何解决这些问题是我们目前的挑战。第三块是变现的问题。数据是企业最核心的价值,面对巨量数据,如何有效进行数据的保值和增值,用以提升业务发展能力。尽管现在变现问题是个必要问题,但就目前而言还不是必须问题。


首先来看下我们在IT化飞速发展过程中面临的数据管理现状。

传统企业特别是运营商,有个很大特点就是IT系统的外包比较严重,这一点跟金融行业不太一样。金融行业的外包相对来说比较少,而我们这个行业的外包会比较多,这种过度外包的情况很容易导致IT核心能力丧失。这也是人之常情,如果我们自己去开发和维护,那么我们对这里面的组织架构一定是最了解的,此时如果加入了一个外包商,那么一般来说很容易产生“鬼子指挥伪军”的问题。这是我们也是电信行业当前都面临的一个问题。系统的规模逐渐增大,对系统的掌控越来越依赖于开发商。运营商很容易丧失对IT架构的掌控能力,特别是数据架构掌控能力,并导致运营商无法有效管控IT系统的开发、运行及维护。因此,核心能力的掌控,是我们做数据管理一个很重要的驱动。


接下来,我们讲几个浙江移动在数据管理方面存在的问题。


问题一:

如图所示,我们核心数据库的空间从2013年到2014年增长了如此多的数据,而在这种情况下我们系统的容量和压力需要如何去控制,系统又需要如何去维护,这些都会产生很多问题。直到我们实施了一定程度的数据生命管理之后,这个数据量才得到了有效的控制,不会无序增长。


问题二:

这个案例我相信很多公司都存在,上图是我们的一些核心表。第一个情况:明明是同样的一个字段,业务含义也是一样的,但是在不同的表中他的字段类型是不一样的,字段长度也不同。第二个情况:列名相同,列的数据类型相同,长度不同。第三个情况:列名定义没有统一标准,识别困难。这三个情况都是同一个原因所致,就是来自不同的开发商,或者同一个开发商不同的开发小组。如果开发由自己掌握,同时比较有规范的控制开发,就能避免这种情况的发生。传统行业,由于缺乏对开发过程的管理,导致落地的系统出现问题后很难分析原因所在。


问题三:

2013年,我们某个重要系统程序出现错误,运行过程中报表字段不一致,无法运行成功。这个项目在被改造的时候有A项目组进行改造,对数据模型进行了修改,但因为没有统一的数据管理,他的外围系统的数据模型没有人知道需要修改,直到这个系统上线后出现故障然后反查,才查出这个问题。这是数据管理失控的一个体现,也是我们面临的严峻现状。这些问题如果没有得到解决,谈大数据变现是没有根基的。

这张图显示的是浙江移动做的一些探索。我们希望通过对核心能力的掌控,管理好我们的数据,不断提高我们的数据质量,确保我们的数据安全性,有效控制数据管理成本,降低数据管理和运维压力。


在DAMA这个方法论中我们试图去找到适合我们传统行业去落地的一些情况,或者说是一些磨合的过程,以及一些实际落地的心得体会。

我在做数据管理工作的时候,看到这张图的感受是太完整,还有就是不知道从何做起。我们强烈的意识到培训的重要性。特别是对于传统行业来说,培训和宣传不做后面很多工作都是空白,因为没有一个沟通的基础,甚至是说双方没有一个可以交流的平台。

我们内部经过讨论把DAMA方法论纳入我们整体的架构管理工作中去融入。从企业架构角度来说,分业务、应用、数据、技术四大架构,其中数据架构是企业架构中的承上启下的核心组成部分。我们希望把数据治理和TOGAF方法论里面的数据架构产生某种互动,浙江移动的数据管理是以数据架构为主要突破口,而在这部分工作里我们要做的最多就是裁剪,其中有几个重点:数据质量、数据架构、数据开发、参考数据与主数据。这是我们认为的第一层次的裁剪,也是第一步可以迈出去的地方。

根据浙江移动IT系统数据管理现状以及项目开展阶段规划,对DAMA数据管理框架进行第二层次裁剪和补充。从这个角度来看,我们是需要把这些工作分门别类的开展,其中最大的重点是数据开发,这也是我们传统行业去做数据管理最能落地的一个点。


► 浙江移动的数据管理计划


我们的总体目标是:1、理解企业的信息需求,规范数据的生成以及使用;2、持续改进数据质量,保证数据安全,最大化数据价值;3、通过数据管理来提升核心能力掌控,加强对开发商管控力度,提升系统开发和维护质量,减少系统建设、实施及运维等各方面对于开发商的依赖。

我们的数据管理主要分为两个部分:IT域数据管理和DT域数据管理,我们称为“小数据”和“大数据”。这两个领域的工作有共同之处,也有差异所在。简单来说,在IT域管理里我们主要是做核心能力的掌控、数据基线的管理,希望严格的控制我们的数据开发过程。而在DT域,一方面是做统一的数据建模,另外一方面也是希望能够做好我们整个数据资产管理体系,做好数据的视图,同时也为后期的大数据变现打下基础。

根据TOGAF企业架构框架理论以及DAMA管理经验为指引,结合浙江移动业务支撑自身系统业务特点,对数据治理体系进行第三层次裁剪。最高层次是数据架构的蓝图及规划,而我们最开始入手的两块工作是数据模型运营和数据生命周期运营,这对系统运营、系统稳定性以及系统管控性的内部变现都是有很好的用处,然后我们再逐渐往数据质量、数据分布、数据存储设计去渗透,再包括第二阶段要做的逻辑模型、物理模型、数据生命周期策略设计。


接下来,我们说一下浙江移动数据资产管理项目开展计划。从横向来说,2014年从业务支撑起步,到2015年将成功经验应用到经营分析域,2016年进入大数据分析域,我们会做更深层次的管理。从纵向来说,2014年从数据资产管理和数据生命周期起步,到2015年开始涉足数据模型设计,再到2016年进入数据架构规划领域。如此类推,这样一步一步往前推进拓展工作。


最后再简单的提一下浙江移动在IT域和DT域的数据管理重点。

IT域数据管理的重点在于重掌核心能力。进一步主导技术架构、数据架构和应用架构的演进,摆脱现有的束缚,让局方重新取得核心能力掌控。

DT域数据管理的重点在两块工作:一是数据建模,即自主掌握ODS和DWD层数据建模能力以及元数据设计能力;二是数据运营,建设源数据分析,数据引入能力,加强数据的治理和管控工作,做好数据质量管理、安全管理。


► 实施阶段成果

结合浙江移动IT核心系统现状,2014年度数据管理工作重点围绕数据生命周期管理、数据模型管理两个方面展开。举个案例,我们曾经考虑过一个问题,就是数据到底要保留多久时间。作为一名DBA,他是不知道这个答案的。他们考虑的都是非功能性需求,比如这个数据库只要跑得快,跑得稳就好了,而对这里面的数据并不敏感,但最终这个压力却又是要让DBA来抗,所以矛盾就产生了。我们曾经组织过团队去和开发人员以及业务人员进行沟通想知道“数据到底要保留多久”,最好得到的回答都是不知道。这个问题其实我想说明的一点是我们必须要通过我们的工作流程去控制住这个数据管理。

按数据管理总体规划,浙江移动2014年数据管理项目的工作重点集中于数据生命周期管理以及物理模型梳理两部分。第一阶段就是要梳理好核心系统现状,建立数据资产运营管理体系以及优化架构设计。


接下来,简单的讲一下建立IT域数据资产管理的流程和审查标准。如图所示:

再往下,我们会讲到一些我们做的效果也不错的具体工作,不仅管理好了数据生命周期管理,而且直接产生了经济价值。

就充值方面而言,我们在做流程时往往只要保证业务部门的设计,而不保证客户感知。如果说我们在做数据管理,那就要把整个数据的血缘关系理清楚,这样才可以渗入更好的流程,从而保证用户感知。

在这里,我们有一个心得体会,就是说开发团队和数据架构师这两个角色是相对重要的,关键是有了开发规范,还得去推动它落地,如果不去推的话问题会更严重。

举个例子,我们在做数据资产管理时遇到一种情况,就是一个核心系统的连续性有问题,它经常在出现数据库时无法做应急切换,而我们又始终查不出来原因。后来我们做了数据管理,就由我们的DBA开发团队去分析,最后发现原因是这样的:如果数据库有问题则切换它的应急库,但是它判断数据库有问题的逻辑是要先到数据库里面去插一个sequence,这种情况下,数据库查不到sequence,因此也就不会被切换。这个问题最终是在数据治理的项目中得到解决。

通过数据治理解决数据分布的问题,我们核心系统的数据本来要保留很多份,后来经过我们优化之后如图所示从六份变成了三份,这也是我们在做数据治理之后产生的一些比较好的效果。

大数据主要有两块工作要做:一方面是数据生命周期管理和数据资产基线的管理,另外一方面是对我们后续的大数据变现奠定一个相应的基础。


► 后续展望


就目前而言,我们对数据管理开展的计划是从2014年的变革到2015年的突破再到2016年的深入。在这里,主要想跟大家讲一下,2015年我们要突破的两点有:1、在DT域复制IT域的成功经验;2、在IT域以数据标准化为核心开展数据逻辑模型掌控工作。2016年要深入的计划有三点:1、掌控IT系统核心能力和数据架构设计能力;2、进入数据标准化、参考数据管理领域;3、建立企业数据模型和参考数据体系。


最后想和大家分享的一个内容是关于数据管理开展的思考。第一点:传统行业的转型。如果我们要做DAMA,是否能达成一个共识就是传统行业做DAMA工作是不是都要有危机感。因为世界在不断变化,而很多传统行业的问题在于不知道自己处于一个危机状态。很多互联网行业谈颠覆式创新,当你谈到颠覆时已经来不及去做,我们能不能在颠覆之前就去做一些改革,这才是我们要面临的挑战。第二点:价值观。有的时候在传统行业做事情,领导会说你做这件事的价值是多少,你可以带来多少钱的收入。还有我们浙江移动一年里节省的投资情况等等,从这些角度来说,我们需要看到做一项工作的经济价值和管理价值。关于价值观,能不能在公司内部得到一个广泛的认同,这也是一种沟通和一种培训所能达到的效果。第三点:平衡。我们在做数据资产管理时往往会碰到这样一个问题,就是如此高大上的一个完整的DAMA方法论,我们在落地时要如何平衡工作效率和管理效益之间的关系。


(“中国数据资产管理峰会/DAMS 组委会”整理成文,架构师联盟微信号:jiagoushi2015)

加入架构师联盟

加入架构师联盟

友情连接

新炬网络

推荐阅读