专栏名称: 阿里云开发者
阿里巴巴官方技术号,关于阿里的技术创新均将呈现于此
目录
相关文章推荐
百度智能云  ·  AI圈也迎来高考?看看这位学霸成绩单… ·  昨天  
百度智能云  ·  百度沈抖:全栈自主可控,为应用而生 ·  昨天  
51好读  ›  专栏  ›  阿里云开发者

阿里小蜜这一年,经历了哪些技术变迁?

阿里云开发者  · 公众号  · 科技公司  · 2018-02-05 08:08

正文

请到「今天看啥」查看全文


  • 消息层:将“对话”过程中的特定功能都抽象为具有特定消息类型的组件,这些组件在不同的渠道中都可以复用,阿里小蜜平台90%的功能扩展都可以通过消息层轻松实现

  • 业务组件层:将”非对话层“的业务都抽象到这层中,提供串行加载、扩展等功能

  • View层:具有典型 WebIM 功能,提供 Input、output、addPlugin等API

  • 客户端定制层:适配不同行业业务在不同的APP端的定制层


  • 后端架构体系


    • 面向整个阿里小蜜平台平台化,面向阿里生态圈、商家生态圈和企业生态圈支持以PaaS和SaaS输出

    • 模块化整个对话管理和流程模块化,构建算法和业务模块可插拔的并行架构体系



    2.算法体系


    在算法体系持续按照面向不同的场景优化和升级整个算法体系模型,在2017年阿里小蜜平台的算法体系同样也按照领域化和平台化体系持续升级发展,整个人机交互架构如下:



    • 意图识别:识别语言的真实意图,将意图进行分类并进行意图属性抽取。意图决定了后续的领域识别流程,因此意图层是一个结合上下文数据模型与领域数据模型不断对意图进行明确和推理的过程,完成意图的补全、意图分类和意图转移工作。整个意图识别按照模型可组合以及进行单独的算法选型



    • 通过对话管理系统的控制,面向不同的领域场景采用不同的领域技术:

      • QA Bot:通过知识图谱、传统IR以及DeepMatch的方法完成知识问答的匹配

      • Task Bot:面向多领域技术完成任务型对话构建与问答

      • Chat Bot:完成闲聊机器人的问答

      • Rec Bot:完成推荐机器人的问答体系构建

      • MC Bot:在文档无法结构化的场景下(例如淘宝或者商家的活动场景),通过Machine Reading的方法来完成问答


    下面选择几个比较有意思的工作做一下展开。


    迁移学习下的DeepQA探索


    随着阿里小蜜平台不断的扩展,不仅需要在面向C端的手淘上帮助用户解决服务咨询类问题,而且也需要在新领域和国际化中承担起任务,而这些领域中存在标注数据量不足或者难以获得的问题(例如在AliExpress中的西班牙语场景)。基于此,我们希望利用已有的标注数据来优化小数据领域的QA匹配效果,而迁移学习在这方面就能发挥重要的作用。它最核心的思想就是将从一个环境中学到的知识用来帮助新环境中的学习任务。因此,在该场景下我们提出DRSS-Adv的迁移学习模型,用来建模QA匹配问题。


    通常来说,TL的模型有两类,一种是unsupervised,另外一种是supervised。前者假设完全没有目标领域的标注数据,后者假设仅有少部分目标领域的标注数据。具体大家可以看下文献[2]的综述。在我们的业务中主要关注supervised的迁移学习技术,同时结合深度神经网络(DNN)。在这个设定下主要有两种框架,一个是Fully-shared(FS),另外一个是Specific-shared(SS),框架图如下:



    基于增强学习的智能导购


    智能导购主要通过支持和用户的多轮交互,不断的理解和明确用户的意图。并在此基础上利用深度强化学习不断的优化导购的交互过程。下图展示了智能导购的技术架构图:



    这里两个核心的问题:

    a:在多轮交互中理解用户的意图。

    b:根据用户的意图结果,优化排序的结果和交互的过程。 下面主要介绍 导购意图理解、以及深度增强学习的交互策略优化。


    智能导购的意图理解和意图管理


    智能导购下的意图理解主要是识别用户想要购买的商品以及商品对应的属性,相对于传统的意图理解,也带来了几个新的挑战:

    1.用户偏向于短句的表达。因此,识别用户的意图,要结合用户的多轮会话和意图的边界。

    2.在多轮交互中用户会不断的添加或修改意图的子意图,需要维护一份当前识别的意图集合。

    3商品意图之间存在着互斥,相似,上下位等关系。不同的关系对应的意图管理也不同。

    4.属性意图存在着归类和互斥的问题。


    针对短语表达,我们通过品类管理和属性管理维护了一个意图堆,从而较好的解决了短语表示,意图边界和具体的意图切换和修改逻辑。同时,针对较大的商品库问题,我们采用知识图谱结合语义索引的方式,使得商品的识别变得非常高效。下面我们分别介绍下品类管理和属性管理。







    请到「今天看啥」查看全文