创造价值－－数据分析引领产业革命创造价值
本次千人会大数据论坛有幸邀请到LinkedIn商业分析部资深总监张溪梦先生为大家带来《创造价值－－数据分析引领产业革命》的演讲。执行主持姜吉发。
姜吉发：师从白硕，计算机软件与理论专业博士学位。姜博士辛苦。以下是本次论坛的主要内容。
张溪梦 （Simon Zhang）LInkedIn商业分析部资深总监
我目前任职于美国职业社交网络LinkedIn公司。建立并率领LinkedIn商业分析团队支持公司所有与营收相关的核心业务，包括B2B业务：人力解决方案，市场解决方案，销售解决方案以及针对高端用户的高级订阅服务！商业分析团队利用LinkedIn得天独厚的海量数据开发了一系列革命性的数据分析产品，用以支持公司内部将近5000人（80%）以上的员工，涵盖全球B2B销售，营收类产品研发，市场推广，网络安全，客户服务，广告和销售运营，以及商业运营等部门。LinkedIn商业分析部门是一个高度整合统一的多功能分析团队，内部包含若干主要功能，例如数据基础设施（analytics infrastructure)，商业智能情报(BI)，商业分析洞察(Data Insights)，统计分析／机器学习/数据科学 (Stats/Machine Learning/Data Science)以及软件开发 (Engineering) 等各种功能。在加入LinkedIn之前，我在若干公司的分析部门任职，包括eBay，Petco，Epson等公司负责电子商务，零售，市场推广，销售等业务分析。
姜吉发：
讲座由25张ppt页面组成，张先生大约一分钟给出一张ppt页面，大家认真阅读，中间一般不做系统性提问。ppt播放完毕，是集中问答时间，大家踊跃提问，积极参与讨论。
张华平-北理工：
特别感谢张梦溪来自地球另外一端的分享，此时是美国的凌晨五点。
Simon Zhang 张溪梦：
希望与大家多交流，互相学习。
大家都很忙，能够参与这次活动是我的荣幸！感谢大家。
姜吉发：
张先生是大数据的一线实践者，他的讲解很接地气，较为系统的回答了大数据的做法和意义。
张华平-北理工：
我们洗耳恭听，不打岔了，一会听完后再发言互动...
Simon Zhang 张溪梦
今天我主要和大家探讨的是大数据分析的价值创造和输出的过程。
特别是在当下以及未来，数据作为一种新能源的应用远景。
姜吉发：
若觉得ppt页面未能尽其意，或担心不易理解，张先生可辅之以文本解释等。
姜吉发：
是说linkedin至少收录了400万个公司的网页信息么？
Simon Zhang 张溪梦
是，LinkedIn至少收录了400万以上，进行了数据标准化和确认的公司。这些公司都是公司内部通过一些列的数据科学和工程方法从每一个人的简历里面提取出来的。
姜吉发
简历里面其实可以挖掘出很多有用的东西。
姜吉发
用户增长和参与度增加，可以形成海量数据，基于海量数据的大数据分析，可以产生有用的产品和服务。
樊云红-中搜网技
良性循环
Simon Zhang 张溪梦
绝对是，每一个用户的简历中包含的信息太丰富了。而且这里还可以涉及到数据分析的不同角度和不同维度的问题，我们可以用这份简历的数据编织不同的价值鍊条。
大家可以看到，在这个循环中，数据是必不可少的一个重要组成部分，是LinkedIn业务模型和价值产出的基础之一。
我们这个部门主要负责与营收相关的各种服务。简单介绍一些LinkedIn 的商业盈利模式：
1. 人才解决方案：60%营收。
2.市场解决方案：20%营收。
3. 针对付费客户的高级订阅服务：19%营收。
4.销售解决方案：是我们新开发的产品线，在这个季度刚刚正式上线。
5.市场解决方案，包括广告，社交网络推广，Follow，等各种产品。
销售解决方案是从我们团队内部开发的一套支持企业销售大数据分析系统里面剥离出来的一个新业务。就是如何利用LinkedIn的数据刺激销售。销售解决方案，不但要帮助客户找人，还要帮客户找公司，找关系，找团队内部的联系。从而帮助公司或者企业主增加销售，我一会儿会谈到一个案例。
姜吉发：
您说的“客户”就是linkedin的服务对象——“公司”吧？
Simon Zhang 张溪梦：
LinkedIn的客户包括企业用户，也包括付费的个人用户
张涵诚-大数据培训：
没有支持到linkein自身的hr？
Simon Zhang 张溪梦：
我们的商业分析部门，目前有大约70人左右的一个团队，在年底左右，应该继续扩展。目前我们直接支持内部基本上与“钱”有关的所有部门。我们的团队间接支持HR。（以前我刚从LinkedIn开始工作的时候，直接用LinkedIn数据支持HR和内部招聘的部门。现在我们的大组里面有一个小组专门支持人力资源部）
夏明武-北京：
@Simon Zhang 张溪梦 张老师，数据分析部分本身应该也是归属于研发体系吧。LinkedIn是独立出来了吗？
Simon Zhang 张溪梦：
我们的部门是独立于上述六个部门之外的。
夏明武-北京：
独立出来，数据分析部门发展空间更大，挺好。
Simon Zhang 张溪梦：
@夏明武： 我们的商业分析部门是完全独立于研发之外的。这是一个非常好的问题。也是数据分析的一个本质性的问题。就是数据分析的“中立性”。
Simon Zhang 张溪梦：
分析决策，在我们的历史上一直是重要的部门，特别是在协调各部门的资源的过程中，分析部门的中立与公正是一种非常重要的素质。而且独立于其他组织之外，可以更易于做到举一反三，用数据分析完成跨部门的合作。
Simon Zhang 张溪梦
还有一个重要的点就是，我们的分析部门具有各种分析职能。这也很重要。分析就是预测，但是预测本身没有实际价值，预测完以后，改变才能产生价值！
Simon Zhang 张溪梦：
上面这张图只是想表达一个意思：大数据的“大”和“复杂”本身没有什么积极意义。最终用户不希望一个大型冰川，他们需要的是结果。“冰激凌” 或者说小数据。
Simon Zhang 张溪梦:
数据分析基础设施的建造是所有一切的基础，如何建立非常坚实的基础是以后业务成功的良好开端
Simon Zhang 张溪梦：
大家可以看到这个金字塔很高，很漫长。
Simon Zhang 张溪梦：
所以我们要利用各种技术把“金字塔”变成“菱形”。为什么呢？因为数据分析的基础部分会花掉分析师和数据科学家大部分时间。所以我们要反复把“金字塔”变成“菱形”。
Simon Zhang 张溪梦
然后把8个不同的步骤链接成个自动的“环”。也就是我们称只为的“数据产品”！
Simon Zhang 张溪梦：
数据产品要最终变成一个生态系统
Simon Zhang 张溪梦：
我们用数据可以精确的计算每一个公司对于linkedin的价值。
我们可以用社交网络数据预测谁是决策人。
我们找到正确的社会关系。
我们分析内部销售员工谁和这个决策人关系（影响力）最大。
我们用linkedin的数据讲一个简单有效而且真实的“销售故事”。
Simon Zhang 张溪梦：
我们用数据可以精确的计算每一个公司对于linkedin的价值。
我们可以用社交网络数据预测谁是决策人。
我们找到正确的社会关系。
我们分析内部销售员工谁和这个决策人关系（影响力）最大。
我们用linkedin的数据讲一个简单有效而且真实的“销售故事”。
Simon Zhang 张溪梦
看下张图，这5步以前在公司内部需要一到两个月，在三年之前我们开发了一个“魔术师”系统，所有的这些过程，今天只需要一个按钮，1分钟解决掉。而且，这个按钮已经被我们自己颠覆掉。取而代之的是我们主动为销售人员发送信息，从而令他们主动做决策。
Simon Zhang 张溪梦：
很简单，整个的工作就是把大数据变成最后的结果，“小数据”！
Simon Zhang 张溪梦：
下面再说一个大数据支持产品经理的案例。大家做互联网的，一定有A/B测试。
Simon Zhang 张溪梦
我们今天可以实时追踪2000个在线的a／b测试，同时观测650个以上的指标。
Simon Zhang 张溪梦
这些都可以在几分钟之内完成。
Simon Zhang 张溪梦：
以前，所有的数据分析工作都需要至少2个星期，或者最长的4，5个月。
Simon Zhang 张溪梦：
再看一个数据库市场营销的例子，我们目前有3.3亿以上用户，Marketer问的问题很简单，“谁会买？”，“谁会停止付费？”，“谁会点击广告？”......
Simon Zhang 张溪梦
我们用机器学习，把一个混沌的“宇宙”，反复精炼成一个很小的人群，然后给他们推送信息，帮助转化这些用户。我们2年以前这个模型体系上线的时候，增加330%在线销售。
Simon Zhang 张溪梦
最重要的一点，我们在背后建造的不是一些单一的模型，而是打造了一个制造模型的“机器人”。
Simon Zhang 张溪梦
这个机器人，会对数据进行自动整合，精炼，加工，用不同的算法（16种以上）比对在线的模型，如果新模型效果好，直接上线。这个系统称为Madoop，是我们的数据挖掘团队在刘绍波的带领下开发的。
Simon Zhang 张溪梦
这个模型能够做到的是反复增加小的Lift，然后每天，每周，每月都有促进。
Simon Zhang 张溪梦
再说说今天非常热门的“customer analytics”。
Simon Zhang 张溪梦
大家说说我们如何能够衡量“美”。
Simon Zhang 张溪梦
如果“美”是很难量化的，那么我们如何能够在很多纷繁的非结构化的用户“评论”中，系统的分析客户是否满意？
Simon Zhang 张溪梦：
还是要回到我们刚才说的这个“菱形”结构上面去，就是大规模的文本挖掘和数据分析“产品”化！
姜吉发：
数据分析的产品化具体指什么意思?指的是数据分析的每个步骤都有标准的规范的产出么？
Simon Zhang 张溪梦：
很好的问题！数据分析的产品化就是要把传统数据分析师，统计学家，数据科学家做的事情软件化！
Simon Zhang 张溪梦：
以前我们手动做的东西，需要大规模化软件化。
Simon Zhang 张溪梦：
做到“简单”，“迅速”，“有效”， “准确”！
Simon Zhang 张溪梦：
因为我们的用户是不关心“流程”的，他们需要的是结果，令人振奋的结果！
姜吉发
将隐形知识和技能转化为显性的产品。
Simon Zhang 张溪梦：
是的，我的讲解完了。
姜吉发
谢谢张先生的精彩分享！您辛苦了！
夏明武-北京
感谢张老师精彩分享。干货多多。
姜吉发
现在是大家系统地提问讨论时间。
张华平-北理工
张溪梦非常精彩！
Simon Zhang 张溪梦：
感谢大家花很多时间。我们多交流，互相学习。
姜吉发：
机会难得，大家有什么问题？
张华平-北理工：
溪梦，我有个问题针对后面的非结构化文本分析，目前LinkIn的英文做的不错，貌似中文也有，想具体了解一下中文处理这块？
关龙飞：
太棒了
Simon Zhang 张溪梦
中文处理这块对于Linkedin来说还是新的，因为我们今年刚刚开始中文本土化的过程，国内灵玖中科这方面做的不错。不过在沈总带领下，一定会有突破。
张华平-北理工:
LinkIn经常给我推荐一些我很多年未谋面的老朋友，实际上相关的数据有限，但推送的非常准。想知道主要依据的数据是什么？可能这些朋友仅仅也是一两面之缘.
姜吉发
群里有很多中文信息处理方面的资深专家，比方说华平博士，才春博士等等，大家可以展开国际合作交流。
Simon Zhang 张溪梦
@张华平： 关于认识的人的推荐，最重要的变量就一个——社交联系（connection）
Simon Zhang 张溪梦
我们有一个算法，可以发现相关联的人。背后的算法就是物理上的星体重力理论。
张华平-北理工
关心的是connection如何抽取到的，这里面其实是很隐形的关系。
Simon Zhang 张溪梦
Connection，就是一个表。 两列数据：（Simon， 吉发）……
Simon Zhang 张溪梦
背后存在Handoop，或者各种数据库里面
张涵诚-大数据培训
你们用handoop？还有什么bi？@Simon Zhang 张溪梦
Simon Zhang 张溪梦
Linkedin用handoop将近8年了。
Simon Zhang 张溪梦
我们的BI，用过各种解决方案，现在内部研发为主导，Tableau也有很多的部署。
张涵诚-大数据培训
可视化工具呢？自己开发？
Simon Zhang 张溪梦
对，因为传统的工具无法很好的实现规模化的意图，所以我们自己开发了一套东西。
Simon Zhang 张溪梦
还有就是ETL工具，也是自己开发的。
夏明武-北京
自己开发，针对自己的数据特点做优化，效果最好，维护、升级也方便。
Simon Zhang 张溪梦
有一个很重要的概念，就是我们老祖宗反复强调的。“工欲善其事，必先利其器！”我们内部的工程团队，在Jonathan的带领下，开发一系列的工具，为我们这个组支持5000内部员工打下了坚实基础。
姜吉发
您讲的这些专为linkedin内部的部门和人员服务的数据分析模型可以推广应用到其它的公司和相似场景么？
张华平-北理工
时间挺晚的了，特别感谢！受益良多。
Simon Zhang 张溪梦
@吉发：我觉得有很多共通性。其他公司是可以使用。
Simon Zhang 张溪梦
再次感谢大数据千人会，特别是吉发和各位同仁的邀请和组织。在这个群里，我看到很多优秀的同仁在数据分析领域的各种建树和努力。希望与诸位多交流学习！诸位晚安，我也要去上班了。
