从“你妈逼你结婚了吗”的分词引发的思考

待字闺中 · 公众号 · 程序员 · 2016-11-27 19:37

正文

请到「今天看啥」查看全文

现在对中文自然语言处理的常用方法，且不说内部算法，基本是按照分而治之的逻辑，是研究分词，词性标注，语义标注，句法分析，语义分析，语用语境分析，语言生成，等等。然后，才是用这些方法或是模块或是子系统去解决具体的应用场景和问题，比如，信息检索，机器翻译，问答，理解，摘要，情感分析，等等。这种分而治之的做法，一直这么继承下来，大家玩的不亦乐乎。但是各种方法，都只是在尽力解决自己的局部问题，利用的都是对自己有利的信息，很可能是局部最优结果，很可能和其它模块是钟摆关系，比如，通用分词系统，追求的是分词的正确率，很少考虑分词的使用场景和来解决的具体问题。当将各个不同的方法整合起来用于一个具体问题和场景时，各个环节的方法引发的错误，很可能被关联的环节一个一个节放大，从而影响了对某个具体问题和场景解决的质量。