微票儿技术VP杨森淼这一连串的数据背后，有着什么样的支撑技术？日前，微影时代研发中心技术副总裁杨森淼做客“腾讯云会客厅”，对话腾讯云副总裁曾佳欣，解读了微票儿年增长4000%背后的大数据和云计算技术体系杨森淼表示，微票儿的核心在于利用大数据做精准营销及服务，通过卷积神经网络（CNN）、奇异值分解（SVD）等算法对 200TB 用户数据和行业数据进行分析，微票儿得以精准地把握用户需求，提升了票房转化率；同时，面对用户量高速增长时期高峰值、大流量的挑战，云计算资源的高伸缩性、安全性也是支撑不间断运营的必备条件微票儿会根据用户热度建议影院优化排片，首先通过数据分析用户位置和用户附近的影院，然后反哺上游，并为影院经理也开发微票专业版，帮助他们了解到自身影院数据，以确定排期和行业大盘。可以说我们的核心竞争力就是利用整个大数据来为电影行业、演出及体育行业去做服务、公司宣传片拍摄连接和营销目前微票儿产生的日志条目数上百亿条，业务累计的数据量不少于千万量级，之巧用对比拍风光，行业大数据则是以爆炸性的速度不断扩展，目前微票儿的大数据的数据存储总量已达200T算法从逻辑上来看，这个过程又包含了两个部分的算法1. 特征工程算法 特征工程是指为了提高算法准确性，对数据做的一系列数学变换。这部分工程尤为重要，不光考验算法工程师的数学能力，同样考验工程能力巨大的数据集合无法在单机上进行特征抽取的时候，就需要工程人员需要从单机算法设计成为并行特征抽取算法。微票儿特征抽取工程上多采用深度学习(Deep Learning)技术，这是因为深度学习天然的网络拓补结构更容易并行，并行存储也可以满足庞大数据量的存储需求当然，这些算法更多的是要去迎合使用场景。比如CNN（Convolutional Neural Network）和SVD（Singular Value Decomposition），这两种降维方法会因为业务场景不同而区分使用2. 目标结果算法通过特征工程算法得到的重要维度，交给“目标结果算法”来处理除了常规机器学习/深度学习算法以外，微票儿对于不确定数学的相关算法也有一些应用。因为许多场景下，精确估计表现并不是很理想，尤其当自变量解释能力不强的时候比如常用的 Regression 算法对于确定信息有着极高的预测能力，但是对于不确定信息来说显得比较无力。针对这类场景，微票儿采用了不确定信息的描述，诸如“Entrop(熵)”和“lyapunov”。因此，除了日常所需的数据存储和抽取集群以外，微票儿把算法重点放在更远的并行内存计算技术上杨森淼希望可以把深度学习计算并行在造价低廉的内存计算平台上（如Spark集群），可以在不减少输入参数和神经网络规模的前提下，更优地完成任务。为了抵消与高速“GPU”的速度差，微票儿使用了众多集群，并采用“伸缩”模式，训练过程结束之后，集群自动伸缩为一般模式,这样避免了与“GPU”集群一样的硬件必须消耗问题很容易看到，影视视频制作大数据平台不完全在云上。杨森淼比较了自建大数据平台和云大数据平台的优劣： 1. 自建大数据平台的优点用户根据自身需求规划建设完全贴合业务需求的大数据平台，暂且踢出了这一脚影视视频制作且平台建设与业务发展相互促进。影评动画片灌篮高手评论7，技术机构版本的升级、新技术的引入，资产管理、自动化运维、权限认证等系统研发完全由用户自己决定，可控性强。大数据平台技术团队对架构中每项技术都会有持续深入的研究，保障了平台的稳定及不断创新，增强了公司的技术影响力2. 自建大数据平台的缺点对平台技术团队成员的综合能力（学习能力、创新能力）要求较高。IT行业的特殊性、对团队成员的稳定性要求较高3云大数据平台的优点服务商有完善的解决方案体系，根据用户的具体需求及应用场景为用户提供合适的技术架构。每套技术架构又是一套完整的生态系统，除了大数据平台本身，还附有资产管理系统、自动化运维系统、监控报警系统、权限认证系统、安全保障系统、各层面HA等4. 云大数据平台的缺点提供给客户的每套解决方案往往不能完全贴合用户需求，加上技术架构各个组件及环节的定制封装，为用户增加了不同程度的学习及维护成本。当用户需要将一些前沿技术或第三方组件整合到云大数据平台时，服务商往往需要很长的时间甚至直接告诉用户暂没有这方面的研发计划微票儿根据业务场景选择自建平台或者云平台：业务数据仓库的建立目前还在本地物理集群，因为涉及业务数据量大，且计算及配置环节较多，对数据准确度要求较高。一些竞品分析预测、票房预测、舆情预测及用户行为分析等方面的分析、预测类计算，则是在云上完成的。一些实时计算及准实时业务服务，也大都在云上进行，这样可以最大程度的缩短由于网络或数据交互带来的时延。数据传输方面，关系数据T+1与T+0数据批量同步，百万级数据同步基本在1分钟内完成，流数据实时接收处理，秒级响应后续努力的方向，杨森淼表示，是如何发挥好在“大数据和社交”两个方面的核心优势，用“懂社交的大数据”把电影演出等娱乐产业和观众更好的连接在一起，比如腾讯云的优图人脸识别有效帮助了微票儿的数据采集，而这个能够更加丰富自身大数据，实现更好的洞察。
