专栏名称: 数盟
数盟(数据科学家联盟)隶属于北京数盟科技有限公司,数盟致力于成为培养与发现“数据科学家”的黄埔军校。 数盟服务包括:线下活动、大数据培训。 官网:http://dataunion.org,合作:[email protected]
目录
相关文章推荐
51好读  ›  专栏  ›  数盟

案例分享|美团如何用NLP完成5大应用场景

数盟  · 公众号  · 大数据  · 2017-06-26 22:01

正文

请到「今天看啥」查看全文


回头来看,刚才提到了NLP的一些使用场景,那NLP具体研究的是什么呢?

“NLP(自然语言处理)可以定义为研究在人与人交际中以及在人与机器交际中的语言问题的一门学科。”

人和机器交互比较好理解,比如说百度搜索、美团APP搜索,这就是人和机器通过搜索关键词进行交互,比如说对话系统,做一些问答或聊天,这个也指人与机器在语音上的交互。

人和人交际可能不那么好理解,就是借助于机器设备人和人的交际。我说几个例子:比如说输入法,用户通过输入法输入想要的东西,然后再反过来用输入法去做,这里面要用到非常多的NLP技术;还有你去国外旅游,可以用APP实时翻译语音,然后跟外地人进行一次很好的沟通,这也是人和人之间的交流,会借助于设备,这就要用到很多NLP技术,这里可能比较抽象。

下面我就列一下,我所接触到的NLP研究内容,其实还有很多我没接触到的。

具体来说,是词法短语方面的分词、词性标注、命名实体识别、组块分析等,还有句法语义、篇章理解、系统应用等,这些都属于NLP研究的一些点。

NLP有一个特点,就是很多技术不容易成为技术或产品,比如知识图谱或信息检索。还有像对话、机器翻译这些,其实都是独立的NLP应用场景与系统。另外,在语音识别合成、OCR图片方面也会用到NLP。

在感知方面,语音图像要更深层的理解它里面的内容,其实都离不开语言的表述。所以,未来的趋势就是NLP会和这些语境作越来越多的融合,也就是说它的应用场景会非常多。这些只是一些关键词,在美团,可能不需要把所有这些东西都研究一遍。

接着,说一下我们在美团所做的事情,主要是分三块来做NLP的一些研究工作:

最下层的NLP需要很多依赖,比如大量的标注数据,这是限制深度学习在NLP领域发展的重要一点。因为这种NLP需要大量的数据,这个可能需要有一些人(专门)来做。还有机器学习的一些算法和深度学习的一些算法方向,我们技术研发在这做了一套深度学习的框架。还会依赖于我们内部处理的一些平台,以及数据存储的一些基础,这是最基本的东西。

再往上就是NLP的一些基础技术,分成四个维度:句法就是整个分析和句法的,语意在已表示和匹配,篇章在文本分类方面做一些研究,这是一些基础的技术。

其实NLP还和应用系统做一些专门的研发或者独立产品,比如说对话、翻译、图谱等等。

NLP支持的业务场景非常多,如搜索、推荐、广告、配送客服之类。

上图标红的内容,我接下来会专门举例来讲,也就是我们做出来的案例,会具体到块状分析和评论分析、客服、语意表示和匹配的一些应用。

NLP在美团点评的应用案例

我们就进入第三部分案例。

先说一下Query分析。最下层词语,比如说搜索五道口附近的钢铁侠3,最上面就会做一些成分识别。

成分是根据业务制订的一些标准体系,比如说五道口是一个地址的核心词,附近其实是地址的修饰词,钢铁侠3其实是店的核心词,店可以理解成商家的产品,比如说电影院里面某一个电影。

再往下就是结构、主体和泛化可做的东西比较多,比如说做一些拓展,五道口可能有华联等等,这个现在是基于图谱来做的。

其实,这个用处非常多,比如说举个例子,就是望京华联搜这个可能出不来结果,但如果做一个扩展之后就可以很顺利的找到它想要的一些结果。

从图谱方面的一些东西可以很好的应用。从内容方面的话,比如说钢铁侠3有一些相似的电影等等,这个其实也是我们的一些泛化。

再往上会对Query做一些概念的识别,主要是电影。







请到「今天看啥」查看全文