专栏名称: 创新工场

搭建创新工场和创业者的沟通交流平台，在这里，您可以学习创业相关的法务、市场、财务、HR等各个业务领域所需的知识干货，还有机会参与到工场举办的创业者培训、沙龙和其他各类活动中。

四两拨千斤！AI大牛周明率澜舟团队刷新CLUE新纪录，轻量化模型孟子一鸣惊人

创新工场 · 公众号 · 科技创业 · 2021-07-13 17:59

正文

CLUE，中文语言理解领域最具权威性的测评基准，涵盖文本相似度、分类、自然语言推理、阅读理解等共10项语义分析和理解类子任务。

该榜单竞争激烈，几乎是业内所有自然语言理解玩家必争之地。

腾讯、搜狗、华为、阿里达摩院等更是轮番霸榜刷新纪录。

而且随着大参数模型愈演愈烈，CLUE还渐有巨头垄断之势。

因为百亿、千亿甚至万亿参数的大模型，已然不再是创业或其他玩家可与之争锋。

万万没想到，澜舟科技-创新工场团队出手，四两拨千斤。

因为孟子，走的是基于轻量级、高效训练的研究路线，致力于构建十亿级别的小模型，充分发挥已有参数下的模型潜力，有利于快速、低成本地落地现实业务场景。

孟子预训练模型性能比肩甚至超越千亿大模型，在包含文本分类、阅读理解等各类任务上表现出色。

相对已有的中文语言模型，孟子模型实现了多项突破性进展：

1）坚持“小而精”的轻量化训练策略。实现在同等模型规模下，远超公开模型的性能。作为精巧的小模型，对标“巨无霸”，小模型性能超越千亿规模模型。
2）使用知识图谱增强模型，让 AI 真正获得知识。孟子模型具备顶尖的语言理解能力，在权威CLUE中文理解评测的总排行榜，以及分类排行榜和阅读理解排行榜均位列第一，刷新三项榜单世界纪录。总排行榜分数突破84分，逼近人类基准分数（85.61）。
3）灵活的领域和场景适应能力，方便快速定制和应用。基于T5-style的端到端生成的训练范式，同步适配BERT-style的判定式架构，既能理解也能生成。便于适配行业应用，覆盖广泛业务场景。

当然，随着孟子一鸣惊人，也必然能让 轻量化模型 研究来到聚光灯下。