IDCC2018|腾讯游戏大数365体育投注: 据管理负责人、高级工程师

2019-05-31 17:49

12月13日,2018数据资产管理大会在北京国家会议中心举行。本次大会由中国信息通信研究院、中国通信标准化协会(CCSA)主办,CCSA TC601大数据技术标准推进委员会承办,中国IDC圈协办。

会腾讯游戏大数据管理负责人、高级工程师刘天斯发表了“大数据资产管理在腾讯游戏的实践”的演讲,以下为演讲实录:

腾讯游戏大数据管理负责人、高级工程师刘天斯

腾讯游戏大数据管理负责人、高级工程师刘天斯

今天跟大家探讨的是大数据资产管理在整个腾讯游戏的一个实践,在正式开始之前,来一个简单的自我介绍,我叫刘天斯,目前就职于腾讯互动娱乐,负责大数据管理,右边是我个人的两本著作,大家有兴趣的话可以关注一下。

最近一段时间我比较关注大数据管理还有云计算、包括DevOps和AIOps领域,如果大家有一样的兴趣点,可以扫码微信,我们可以做深入探讨和交流。

开始之前,我们先了解一下整个腾讯游戏概况,我们的体量大家可以简单看一下,现在我们服务100款端游,90款页游,还有300多款手游,每天的量级是17000亿条,每天增量大概是260TB,总的存储是80P。我们采用的基础架构还是基于这样的资源、开源这样一个混合的方式,从立足我们的TDW,同样我们通过自研的方式,通过Bitmap这样的技术进行多元分析,它也是一个分布式计算的集群。

我们具体的服务场景是什么,大家对这个界面应该不会感到很陌生,如果大家也有玩腾讯游戏的话,对这样的界面应该是很熟悉的,这也算我们数据整个增值服务的一些呈现,包括玩家在游戏里面的历程、对战的战绩信息、个人中心、社区交友、任务系统,任务系统是基于我们实时能力构建起来的一个数据应用。

除此之外,对内部还有游戏的对账系统,游戏内的经济监控等一系列产品,我们整个资产管理体系这个架构图,大家可以看一下。

首先它分为几个层次,第一,最底层的元数据管理,大家知道元数据在整个资产管理是最核心的部分跟一个组件,我们会定制整个元数据的标准化,然后存储数据包含的业务元数据、技术元数据以及元数据的检索、开放等等,再往上就是资产管理,我们认为的四个核心部分,一个是增值评估,会定义跟评估整个数据价值的一个模型以及它呈现出来的数据报告,我们认为这是资产管理中非常核心的一个点。

第二个是数据的运营,这里涵盖了整个数据生命周期管理,包含数据的安全、质量、成本,同样我们也会采用DevOps和AIOps概念覆盖整个数据管理。

第三部分是数据治理,更多强调的是标准化、制度、流程等这一系列的内容。

最后一点就是数据的集成,从数据的采集、传输、整合、落地、存储,是整个生命周期管理,这里面我们涵概了从游戏上线开始一系列的标准化到最终落地整个生命周期的管理。

再往上一层就是我们的平台能力,既有的能力模型大家简单看一下,最顶层就是我们真正交给用户、交给我们内部用户的一些产品,比如我们做一些可视化的分析、营销活动的支持、消息推送、渠道管理等一系列的数据平台,这是我们整体的一个体系架构。

今天由于时间关系,我会重点抽这四点来跟大家进行探讨。(见图)。

怎么去评估我们整个资产管理建设的能力水平,我们这边基于能力模型总结出来一个“三好”,首先我们认为你要用好数据资产,二是管好数据资产,三是看好数据资产。

“看好”就是安全这个领域,数据是企业里面的核心资产,刚刚前面几位专家也提到了数据泄露或者出现敏感数据都被脱库了,这样对企业的损失是巨大的,甚至是灾难性的,所以我们认为看好是非常重要的一个点,所以今天我们单独把它抽出来说。我们会根据不同的职能业务定义提供相应的服务能力,相当于我们内部的平台建设都是参考这样的一个评估模型去建设的。

刚刚提到元数据的管理是非常重要的,在整个数据资产管理中是一个举足轻重的地位,我们来简单分享一下我们是怎么构建和设计的。首先我们定义好它的几个能力特点:一是它的异构适配集中存储,应用企业不同的发展阶段不同的时期肯定会出现各式各样的技术障碍,就会不可避免的会有各式各样的数据类型会随着整个企业的发展孵化出很多数据类型,比如说关系型的、NoSQL类型的,还有一些文本的,一些业务接口、业务系统等类似的非常多,怎样去采集并且适配这么多的类型,怎么对它做描述和定义难度是非常大的,所以我们定义了一层,这个做法和业界很多方案通用性是一样的。这里面我们会构建一个模型的桥接器实现智能转换,去适配和存储。