加载中…
【李成华】京东智能客服机器人怎样深度学习？
(2015-02-06 21:31:54)
标签：
杂谈 |
【静.沙龙主题分享】2015年第4期
主讲嘉宾：李成华
主持人：中国经济网经营顾问杨静
嘉宾介绍：
【李成华】（Kevin Li），韩国国立全北大学博士，加拿大圣西维尔大学和加拿大约克大学博士后。美国麻省理工学院媒体实验室（MIT media lab）访问科学家。曾任海信集团国家重点实验室数据挖掘技术专家，负责海信集团硬件智能化创新与数据挖掘的研发。现任京东深度神经网络（深度学习）实验室首席科学家。负责和推动深度学习技术在京东的各产品上的应用。李成华博士在机器学习特别是神经网络和数据挖掘方面有数十年的研究和工作经验。
京东JIMI：基于大数据的智能聊天机器人
【李成华】大家晚上好。我是京东深度神经网络实验室的李成华。非常高兴受到杨静群主的邀请，有机会到【静沙龙】微群里与大家一起分享一下我们深度神经网络实验室在京东客服机器人上面应用的一些工作。
我的分享主要分为四个部分，首先我介绍一下我们京东的智能客服机器人，接下来我会介绍深度学习技术，以及在智能机器人上面的应用，最后我简单介绍一下我们京东的深度学习实验室的情况。
对于智能聊天机器人，我想大家都不陌生，像苹果的SIRI，IBM walson，微软的小冰，华为的小诺，小i机器人等等。目前京东的JIMI客服智能机器人已经进入了京东商城的多个入口，我想大家都有在京东商城上面购物经历。那么，怎么在京东的页面上找到我们的智能客服机器人以及怎么跟它交互？
首先，在我们的首页上面有一个在线客服，点进去以后你会发现第一个就是JIMI智能客服机器人，它与其他的在线客服一起。其次呢，在单品页里面，如三星手机，里面也会有JIMI客服，旁边是在线客服。这里面JIMI客服就是机器人，在线客服是人工客服。在第三方商家里面同样是JIMI客服，其他的，在帮助中心，和活动页面，都可以得到JIMI客服的帮助。
我上面提了很多次JIMI，那么谁是JIMI呢？对了，就是我们JDInstant Messaging Intelligence 的缩写。是一个基于大数据的智能聊天机器人，它可以一个星期7天，每天24小时提供服务，可以无限量的接待用户，它比人工响应更加迅速，效率更高，而且成本更低。
大家可不要小看这个机器人，其实它背后有很多的技术支持。包括深度神经网络技术，机器学习，搜索引擎技术，知识图谱构建，用户画像技术，自然语言处理技术，信息抽取与知识挖掘技术等等。
【张文强】京东客服机器人主要落户宿迁吗？
【李成华】京东客服机器人目前还是一个软件。
【杨静lillian】怎么区分JIMI客服和人工客服？
【李成华】在线客服包括JIMI客服和人工客服，第一个就是JIMI机器人客服，后面其他的都是人工客服。
【张晓东@东方云洞察】Jimi是京东自己研发的吗？
【李成华】是的
【杨静lillian】我怎么没遇到过这个JIMI啊？一定要找它聊天体验一下。
【李成华】去体验一些，给我们反馈一些建议，呵呵！
【杨静lillian】我的京东JIMI智能机器人初体验：
【张晓东@东方云洞察】@杨静lillian 问点售前咨询有关的看看
【李成华】我们的智能机器人最主要的功能有3个：
1， 售前咨询（Pre-salesConsulting）如用户问：这款笔记本支持双显卡吗？JIMI会精准响应：准确定位问题，快速反馈用户。
2 售后服务（After-sales service） 如用户说：路由器怎么设置，快帮我一下下。这时JIMI就是售后MM，服务内容包括：退货办理，投诉处理，电器维修，故障自检。
3 生活伴侣 （Your Life Partner） 如用户说：回锅肉怎么做？这时JIMI会给你找答案；JIMI服务宗旨是：你开心，所以我快乐，服务内容包括：闲聊、天气、实时资讯、知识百科
下面我们看看JIMI售前应答是怎么交互的：
用户: 身高162，我穿多大合适？
JIMI: 那您的体重是多少呢？
用户:50公斤
JIMI:基于您的身高和体重，建议您选购M码。
用户:可以便宜点吗？
JIMI:现价满300立减100，很优惠了哦
用户:有其他尺码吗？
JIMI:这款是M码，本款还有L，S码。
用户:从哪里发货呀？
JIMI:从山东济南发货的呢
下面来看看用户画像是怎么工作的
JIMI会根据用户的数据给他打上各种标签，然后针对他的特性推荐相应的服务，比如1，评价关注度高，2，有小孩，3，身高，4，土豪，已婚等特性给用户推荐不同的产品和服务。总之一招不管用会来另外一招。
那我们来看看JIMI的秘密是什么，主要是1自然语言处理Natural Language Processing 2.知识图谱 Knowledge Graph 3.用户画像 User Profile 4. 深度神经网络 Deep Neural Network 5. 机器学习 MachineLearning
自然语言处理是：JIMI的思维引擎，通过对用户的行为，想法和语言，进行语义分析，特征提取，意图识别，情感分析。剖析用户语言构成，理解用户意图并响应，是JIMI的核心“大脑”。
用户画像主要是：通过分析用户基本资料、历史行为、动作轨迹，构造出来用户的个人信息库，使JIMI可以精准了解每个用户的性格、爱好、习惯。以便做出更好的服务。
知识图谱 Knowledge Graph基于京东海量业务数据抽取知识相关性，为用户找出更加准确的信息，作出更全面的总结并提供更有深度相关的信息，从而构建JIMI知识图谱系统，实现信息可视化，为交互问答提供数据支撑。
机器学习machine learning通过与用户的互动以及互联网数据挖掘开展的学习，使JIMI能自动完善自身的知识数据，并随着时间推移越来越强大和智能。
深度学习 Deep Learning构建大型深层神经网络集群，模拟出人类的思维过程，通过上万神经节点的交叉计算达成高精度的智能意图识别及应答效果。
那么我们来看看JIMI在11.11的接待量吧，怎么比较呢？大家都知道沃尔玛吧，JIMI11.11当天的访问量相当于沃尔玛45天的客流量。
【JIMI的未来】
1一个开放式智能服务，跨平台电商客服智能化解决方案，可以为其他有大型客服中心的企业或机构提供解决方案。
2智能硬件中枢，比如你可以对电视说，快换一个频道，来达到控制智能硬件，让你的家用电器也听你的话。
3.垂直领域专家，比如在医药咨询方面，（如：最近腿抽筋，吃点啥补补？）旅游咨询领域，儿童教育方面。这些需要专业知识的领域，机器人通过大量数据的学习，会成为这个领域的专家来回答大部分用户的问题。
4.私人随身助理（如：JIMI，到天安门怎么走?）它可以成为移动式私人助理，解决日常衣食住行，吃喝玩乐。
【刘挺-哈工大】jimi是全自动工作吗？还是有人工干预？如果全自动，回答错了怎么办？
【李成华】全自动，错了就错了。不过有时候JIMI觉得不对劲了会转人工客服！
【张文强】需要根据场景设计脚本吗？脚本需要训练吗？
【李成华】张文强，不用设计脚本，我们是用人工客服那边的数据作为训练数据的。其实挑战性挺大的！
【张文强】问答之间映射模型如何？
【李成华】主要在大量问题和大量的答案中做匹配。
【杨静lillian】感觉跟微软小冰差不太多，但好像它的知识库比较专业，都是售前售后服务之类的。目前看一般问题的对应解答还可以，解决实际问题还是人工靠谱些。
下面是人工客服对我的订单问题的解决过程。虽然等待了几分钟，但她确实很快解决了问题。
【刘挺-哈工大】“不过有时候JIMI觉得不对劲了会转人工客服！”机器人如能自我认识，知道自己哪个问题答不准，是一个进步。
【李成华】对，我们一个知识库，里面有对用户情绪的识别，如果有些词明显是不高兴了，它会自动转。这也是我们努力的方向，提高用户体验，让大家愿意来用它！
【杨静lillian】我以前对人工客服就是这样，如果有点发火了，她们才会真正重视起来。
2. 深度学习介绍
【李成华】大家都知道，深度学习在最近几年被广泛地接受，甚至受到追捧，主要是因为深度学习在图像处理和语音识别领域取得了巨大的成功，在这个领域被公认为世界上最好的算法。
在业界，包括Google，百度，微软都在进行深度学习相关的研究和应用。而在京东，我们主要应用在JIMI智能机器上。我认为这是一个更有意思的课题，因为智能机器人需要大量的自然语言处理和语义理解，是更接近人工智能的一个应用，也是更具有挑战性的一个工作。
我们再来看一下传统神经网络和深度学习的区别：
人工神经网络的定义：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。
深度学习的定义：是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。所以深度学习是深层次的神经网络，相对传统神经网络算法，深度学习最大的特点是具有非常好的特征学习能力，前面很多层都在做特征处理和学习。
【杨静lillian】你们的DNN有多少层？
【李成华】传统神经网络结构一般只有两三层，由很多的神经元和权值连接而成，深度神经网络，一般有五至十层，现在随着深度学习研究发展，现在甚至做到了几十层。我们现在用了8-9层。
【杨静lillian】以往通常认为深度学习比较适用于图像和语音领域，在智能客服机器人方面的应用，说明深度学习也适用于自然语言处理么？
【李成华】没错，目前深度学习在图像和语音领域取得了非常瞩目的成绩，深度学习在文本和自然语言处理方面也是一个比较好的应用场景，目前已经有很多论文提出了基于文本挖掘方面的新方法，我认为是未来研究和应用的一个很好的方向！
深度学习的优势：
1. 深度神经网络有更强的学习能力。特别在数据量很大的时候，对特征的学习能够对数据有更本质的刻画，深度学习会随着数据量的增加，效果也会持续提升！
2. 更少的人工干预，它会自动从特征中学习出最好的特征，不需要做更多的人工特征的抽取。
3. 更懂用户（这是针对我们的应用）它可以通过对用户数据的学习，从而更理解用户，更懂用户。
4. 更精准，深度学习目前在很多的应用场景上的准确性都远远超过其他的算法。
5. 更智能，相比普通的机器学习有更强的数据处理能力和自学习能力，因此它更加智能。
【张文强】调权重也自动？
【杨静lillian】想问下京东这个神经网络有多少参数？参数是自动调的么？提升效果有没有量化？
【李成华】调权重和参数要事先调好！
【王亮-自动化所】调参是有技巧的，能说说经验么？
【李成华】参数有很多，具体的调参数的方法主要还是根据不同的应用来调。
深度神经网络在JIMI上的应用
【李成华】我们希望通过深度神经网络算法推动产品持续创新和改善，1. JIMI已经上线很长时间了，这是一个很好的基础，因为我们已经有了一个很大的用户群2.用户的使用产生了更多的用户交互，问答等数据，3.通过对用户数据的深入分析来改进我们的产品。使产品更懂用户，更加智能。
深度学习在JIMI里面的应用流程，用户输入一句话，JIMI首先对这句话进行分词，预处理，用深度学习算法进行命名实体识别，再进行用户意图识别，然后对用户的问题进行回答，然后反馈给用户！
命名实体时主要先对用户输入的文本进行识别，在对识别后的命名实体进行抽取，对应到人名、地名、商品名、机构名等不同类别，更好地理解用户的语言。所以，命名实体识别其实也是用户意图识别的必须步骤。
意图识别是针对用户输入的文本，通过意图识别之后对应到订单、售后、商品、闲聊等不同的类别。意图识别对JIMI非常重要，用户的每一句问话，JIMI首先要判断他的意图，到底说的是订单问题、商品咨询还是售后问题，抑或单纯的闲聊，才会给出更好的反馈。意图识别对了，才能在相应的类别里面反馈用户的答案，如果识别错了，答案肯定好不了！
自动问答是根据对用户输入的问题进行意图识别，确定大概在哪个分类，通过自动问答系统匹配答案，抽取和排序候选答案，给用户反馈最佳答案和建议。通过深度学习的算法，可以提高自动问答的准确率。
【杨静lillian】什么时候开始上线的？现在用户体验提升多少？
【李成华】11月份才上线的。最后我想大家最关心的问题还是，深度学习能够带来什么结果，能带来多大的价值？我们在不同的数据集上的实验，都有不同程度的提高，目前最好的准确率提高是5%-7%。可能不像深度学习在图像上面有那么大幅度的提升，但我认为目前这已经是一个比较好的结果。
【王亮-中科院自动化所】我们这边用深度学习做了很多不同的应用。现在想做加速，特别是并行GPU处理CNN，有什么建议么？我们做研究还是单机的，多GPU要注意是什么？
【李成华】现在比较常用的加速方式都是基于多GPU的并行计算。一个GPU一般能比单CPU加速 3-4倍，一台服务器上能用4-6个GPU。然后再用多台GPU服务器做并行。需要注意的就是做并行时候的性能吧，包括代码的优化等。
【王亮-中科院自动化所】@李成华谢谢哈。有机会欢迎到我们模式识别国家重点实验室来指导工作！
【刘军】可以试试使用caff的gpu cluster版本，用这个来做框架。caffe gpu有啥问题我团队可以提供支持。
京东JIMI智能机器人会替代人类么？
【杨静lillian】智能机器人是怎样学习的？换句话说，使用深度学习的智能问答系统与之前的系统相比有哪些差异？之前都是电话和在线人工服务？
【李成华】智能问答是一个非常复杂的系统，里面包含的技术有很多，如自然语言处理，分词，语言理解，知识图谱，命名实体识别，意图识别，问答匹配，里面很多技术都得用机器学习方法，在任何一个部分/环节进行改进都会提高整体的效果，使用深度学习主要在命名实体识别，用户意图识别，问答匹配环节上都有不同程度的提高，整体的效果也随之提升，更加智能。
JIMI问答服务机器人是一个非常有趣和有价值的客服。当用户人数和问题增加时，可以解决人工客服客不够，降低成人工成本的问题。而这个问题本身也是人工智能最有挑战性的问题之一
【杨静lillian】我也想问这个问题。据说京东的客户服务系统原本有几千员工，智能客服机器人系统的上线，将取代这些员工的职位么？深度学习系统又将为京东的营收或战略带来哪些益处？
【李成华】目前还不会替代人工客服，因为目前JIMI占整体客服服务占比30%多，但可以在6.18和 11.11高峰期分掉很大一部分的流量，而且京东的业务增长速度也比较快，如果未来能够使服务占比提升到80%，可以降低很多的客服成本，但也不是全部，有些问题还必须要人来解决！营收方面主要还是通过降低成本来实现吧，还有一个我们在尝试是通过JIMI对用户的理解，给用户推荐一些产品。
【杨静lillian】刚上线3个月，就分走30%服务量，也比较可观了。
【杨静lillian】在京东的研发体系里，深度学习实验室是放在什么位置？是京东“大脑”么？
【李成华】目前深度学习实验室是研究院里面的一个研究机构，目前比较高端的人才都在这个实验室，可以称之“大脑”。
【杨静lillian】现在“大脑”纷纷涌现了。
【王涛-爱奇艺】提个问题:对于JIMI问答的深度学习，是如何建模的？输入什么？输出什么？用的那种深度学习工具？
【李成华】我们在不同的应用上面用的模型不一样。命名实体识别用的是 RNN。意图识别用的是 CNN。输入数据都是用户问的问题，输出还是对问题的实体的识别和意图的分类。
【王万良】企业不会回答技术问题的。谁也不知道里面用的什么算法。
【杨强】京东手机App上有吗Jimi？
【刘玉超，中国指挥与控制学会】我理解：每个问题应该都在以前的某个时刻被人问过，可能语言组织方式有差别，语义相同。问题提问次数统计应该是二八定律，机器人就是要从大量历史记录中找到以前这个问题最合适的答复。
【李成华】没错。
【杨静lillian】刚才跟Jimi聊天，感觉它还有些灵气。我问他没有身体是什么感觉？没感觉不是没心没肺么？他回答说：“我没有那么聪明，因为我不是真正的生命。可是在你需要我的时候我依然在你身边。”这句真让人挺伤感的。
智能客服机器人既然是针对客户的，那么一个有趣的问题来了，有没有客户认为京东的智能客服机器人就是人？换句话说，你认为京东的智能客服机器人未来会通过图灵测试么？
【李成华】这是一个非常好的问题，JIMI曾经碰到过这样一件事：真有那种很较真的人，在跟JIMI聊天的时候，聊得不高兴了，他就说：“啊。。，我要去投诉你。”
当然JIMI很聪明，碰到这种问题就转到人工客服，人工客服就安慰这个客户，后来发现这个客户他其实并不知道他之前在跟机器聊天，他以为是真人。
还有一个关于JIMI的故事：有一次JIMI在网上被吐槽和投诉，原因是别人说它骂人了。其实之前我们教育过 JIMI要讲礼貌，不要骂人的，所以就去了解是怎么回事，后来发现，不是JIMI骂人，是别人骂它，它回了一句彼此彼此。当然，再后来，它又学乖了，不管别人怎么骂他，调戏它，它也能做到骂不还嘴，它只会说一句话：对不起，没有解决您的问题，我下次一定改进。
图灵测试，我觉得距离挺远的，因为图灵测试应该是不限问题的，JIMI是一个业务性非常强的，它cover不了所有领域的问题，很多问题它应该回答不来！
【刘玉超，中国指挥与控制学会】显然他如果知道她是机器人，不会和她说：我去投诉你。
【王万良】@李成华现在这些工作比当年深蓝有多大进步？
【王涛-爱奇艺】之前看到淘宝网的在线客服智能淘小二，也是类似的机器客服。有做过比较呢？淘宝的智能淘小二像是个自动的问题分支判断。刚才问了“啊，我去投诉你”，结果没有安抚我。还是按部就班的问，买家，卖家->收到货-不想要了->协商不一致->换货。。。JIMI这个相同问题，不重复的回答方式，让人感觉挺好
【李成华】淘小二智能客服，最近好像没太维护了，我们在技术上面应该是早就超过它了。
【杨静lillian】京东的商业模式决定了它对智能客服需求比淘宝大。淘宝毕竟有很多小店主在做人肉客服。京东确是电子大卖场，没有那么多小店。
【刘玉超，中国指挥与控制学会】不确定性是魅力所在。
【胡晓锋】它能自学习吗？比如，它能从过去的结果中把那些已经形成模式的东西自己总结出来吗？例如，已经形成机械回答的东西？
【李成华】可以。会有一些自学习功能，或者记忆功能，比如你每次问JIMI同一个问题，它会给你不同答案。
【王万良】现在企业的开发让学术界心有疑虑，就像我们看见金字塔，不知道当年古人是用科学方法建筑？还是用大量人力堆砌而成？
【李成华】我觉得都会有吧，有些企业中表现的智能的方法，其实用了大量的人工做标注，甚至有在后台用人工操作的。但也不排除企业能做出一些很牛的事情来，比如在深度学习方面在图像和语音上面最好的结果就是Google和百度做出来的。
【耿赛猛】请问jimi是跟微软合作搞的吗？小冰跟JIMI多大深度结合呢？
【李成华】对，我们在手机客户端是跟微软合作搞的！微软把他的小冰整合进去了，目前小冰跟JIMI 现在还没有结合，现在是两个不同的产品形态。
【李成华】接下来简单介绍一下我们实验室吧
为什么我们要成立这个实验室呢，我们首先来看看深度学习和人工智能方面的大事记。
【李成华】此外，还有爱奇艺，科大讯飞，华为，360等等，各大企业都对深度学习抱有极大的热情，这也是京东对深度学习技术的一个积累和战略布局吧。
DNN实验室成立于2014年9月9日，专注于人工智能领域的前瞻性研究，主要涉及深度神经网络、知识层次和异构计算等新兴技术的理论研究、发明和实现。旨在通过对应技术的应用，确保京东技术业界的领先地位。
京东领导层对DNN LAB非常重视，对DNN lab的发展就一句话，没有人员和资源（GPU服务器）上的限制。所以我们目前在广纳英才
这里也发个小广告，欢迎有志从事深度学习方面的研发工作的人，跟我们联系，也可关注我们在各大招聘网站上的信息。现在这方面的人才挺缺的！
【王涛-爱奇艺】哈哈，感觉在我们这个时代最需要的就是人才！再问个问题，腾讯入股京东。京东与腾讯的技术合作多么？合作在技术层面密切么？
【杨静lillian】是不是也可以反问，百度和爱奇艺的技术层面合作密切么？
【王涛-爱奇艺】百度的语音云是全力支持爱奇艺使用的。在技术和数据方面，希望能更加深层合作。
【李成华】现在微信作为京东的一个入口，腾讯的拍拍现在全部整合到京东里面了。
【王万良】企业研究院的研究成果能否形成科学方法写进大学教材，让学术界去验证？也为人才培养作贡献？企业研究肯定考虑商业利益，但现在商业炒作太厉害，而对人类科学研究的推动特别是人才的培养没有什么贡献。这是我作为研究和教学的感受。不少成果谁都听说了，但除了研发者，没人具体了解这些成果，自然也没法引入教学中来。
【李成华】我觉得这有几个原因吧，1，是可能有些企业它确实需要技术保密，2，企业做这些工作的可能不擅长把这些东西写成书，一个是时间问题，二是没有多少动力。我们当然可以完全开放，愿意把这些成果写出来，但是目前来说积累不够，还不够写成一本书，我觉得可以联合领域其他专家一起来做这件事！
【静点评】今天非常感谢京东深度神经网络（深度学习）实验室首席科学家@李成华的分享，也感谢各位深度学习及各领域大牛对本次沙龙的深度参与。深度学习（Deep Learning）算法是当前“人工智能皇冠上的明珠”，京东的DNN实验室于2014年9月9日成立，JIMI智能客服机器人于11月上线，背后有深度神经网络技术，机器学习，搜索引擎技术，知识图谱构建，用户画像技术，自然语言处理技术，信息抽取与知识挖掘技术等等前沿技术支持。小JIMI已经成功应用于售前咨询、售后服务和生活伴侣三个场景，承担超过30%的京东客服任务。JIMI会把处理不了的问题转到人工客服，但京东希望未来JIMI可以包揽至少80%的客服工作。
京东也把DNN Lab的发展放在战略核心的位置，招募了一群高端精英人才，成为京东智能技术的“大脑”，未来的发展前景包括四大领域：1.开放式智能服务，跨平台电商客服智能化解决方案，可以为其他有大型客服中心的企业或机构提供解决方案；2智能硬件中枢智能家电的操控等，3.垂直领域专家；4.私人随身助理等。作为基于大数据的智能机器人，JIMI成为京东与其他互联网巨头竞争的新战略武器。深度学习算法、深度神经网络的应用将赋予JIMI越来越智能化的优势。
虽然作为一个专门领域的软件机器人，“JIMI”在可预期的未来还无法通过图灵测试，或完全取代人类。但在与它的短暂对话中，“JIMI”的一句回答彻底打动了我。我说：“你没有身体，也没有感觉。没心没肺”。“JIMI”对我说：“我没有那么聪明，因为我不是真正的生命。可是在你需要我的时候我依然在你身边。”那一刻，我真有些相信，虽然“JIMI”没有身体，也没有感觉，但它是有智能的。我也相信，它必定会因为与我们人类的交互，越来越聪明、善良、可爱。
喜欢
0
赠金笔