最全！2019 年 NLP 领域都发生了哪些大事件？

正文

请到「今天看啥」查看全文

2019 年底，Gary Marcus 和 Yoshua Bengio 针对深度学习、符号人工智能和混合人工智能系统进行了激烈的辩论。

《2019 人工智能索引报告》最终发布了，它全面分析了人工智能的现状，可以让读者更好地了解人工智能领域的总体进展。

常识推理仍然是一个重要的研究领域，因为我们想要构建的人工智能系统，不仅仅要能够根据拥有的数据进行预测，还要能够理解并对这些决定进行推理。这种技术可以被用于人工智能对话系统，旨在使智能体可以与人类进行更加自然的对话。Nasrin Mostafazadeh 在一篇《The Art Of AI Storytelling: How One 30 Under 30 Scientist Is Teaching Devices To Make Assumptions》采访文中，针对尝试推理及其应用展开了讨论，其应用涉及故事描述和语言理解。

你还可以参阅论文《Explain Yourself! Leveraging Language Models for Commonsense Reasoning》，看看如何利用语言模型进行常识推理。

激活地图集是由谷歌和 Open AI 的研究人员开发的一项技术，旨在更好地理解并可视化神经网络中神经元之间发生的交互。

图 4：Inception V1 分类网络的激活地图集显示出了许多完全被实现了的特征（例如，电子产品、建筑物、食物、动物耳朵、植物和水的背景）

此外，2019 年图灵奖获得者 Geoffery Hinton 和 Yann LeCun 发表的获奖演讲（地址：https://fcrc.acm.org/turing-lecture-at-fcrc-2019）也值得一读，分享图灵奖这一殊荣的还有 Yoshua Bengio。

论文《Tackling Climate Change with Machine Learning》讨论了利用机器学习处理气候变化问题。

OpenAI 发表了一份内容丰富的报告《Release Strategies and the Social Impacts of Language Models》，讨论语言模型对社会的影响，包括有益的使用和潜在的技术滥用现象等主题。

情感分析技术仍然被广为使用。Mojifier  是一个很酷炫的项目，它可以通过观察一幅图像检测到其中的情感，并使用与检测到的情感相匹配的表情替换人脸。

使用人工智能技术开展影像学研究也是 2019 年的一大趋势。论文《Radiological images and machine learning: trends, perspectives, and prospects》很好地总结了这一研究领域的发展趋势和前景。

纽约大学的研究人员还发布了一个 PyTorch 实现的深度神经网络，用于提升影像学专家在乳腺癌筛查中的工作表现（详细可参考：https://medium.com/@jasonphang/deep-neural-networks-improve-radiologists-performance-in-breast-cancer-screening-565eb2bd3c9f）。MIMIC-CXR是一个重要的数据集，它包含胸部 X 光片和影像学文本报告的数据库。

纽约时报撰写了一篇关于 Karen Spark Jones 的文章（https://www.nytimes.com/2019/01/02/obituaries/karen-sparck-jones-overlooked.html），回忆她对自然语言处理和信息检索做的开创性贡献。

Open AI Five 成为第一个在电子竞技比赛中击败世界冠军的人工智能系统。

《全球人工智能人才报告》给出了世界范围内人工智能人才库和全球人工智能需求的详细报告。

DeepMind 团队开设了一个非常棒的播客，订阅者可以讨论最前沿的人工智能话题。地址：

https://deepmind.com/blog?filters=%7B%22category%22:%5B%22Podcasts%22%5D%7D）

在人工智能的潜力方面，Demis Hassabis 接受了「经济学人」的采访，在采访中他谈到了一些具有未来主义的想法，比如利用人工智能扩展人类的思维，也许可以为重要的科学问题寻找解决方案。

2019 年，机器学习在健康领域的应用也取得了重大的进展。例如，马萨诸塞州的研究人员研发出了一种可以像人类一样准确地发现脑出血的人工智能系统。

图 5：通过人工智能系统分析得到的脑部扫描结果

Janelle Shane 总结了一组「奇怪」的实验，展示了机器学习如何以有创意的方式进行有趣的实验。有时，这种实验需要真正理解人工智能系统到底在做什么（和没有做什么）。其中的一些实验包括生成「假蛇」图像和讲笑话。

图 6：蛇的种类

《Earth to exoplanet: Hunting for planets with machine learning》一文尝试使用 TensorFlow 平台上构建的机器学习模型寻找行星。

OpenAI 在《Better Language Models and Their Implications》一文中讨论了发布大规模无监督语言模型的影响（包括潜在的恶意用例）。

一篇名叫《Using Nucleus and TensorFlow for DNA Sequencing Error Correction》的 Colab 笔记本针对如何将 Nucleus 和 TensorFlow 用于「DNA 序列纠错」给出了一个很棒的简介。关于使用深度学习架构进行 DNA 探索的更多细节，请参阅博文：https://blog.floydhub.com/exploring-dna-with-deep-learning/

图 7：我们将基于共识的 DNA 序列纠错任务形式化定义为一个多类别分类问题。通过使用 Nucleus，我们构建了一个基因组范围内的归一化碱基技术矩阵。TensorFlow 让我们可以训练能够训练一个神经网络，来预测位于窗口中间位置的正确碱基。

Alexander Rush 是一名哈佛大学的自然语言处理研究者，他撰写了一篇关于张量问题的重要文章《Tensor Considered Harmful》，并指出了现有的库怎样暴露出了这些问题。他还提出了关于张量索引命名的建议。

三、工具和数据集

这部分将重点介绍与软件和数据集相关的事件，它们对自然语言处理和机器学习的研究和工程大有助益。

Hugging Face 发布了一种广受欢迎的基于 PyTorch 的 Transformer 程序库「pytorch-transformers」。它让许多自然语言处理从业人员和研究者们可以轻松地使用最先进的通用框架（例如，BERT、GPT-2 和 XLM 等）。如果你对如何使用 pytorch-transformers 感兴趣，请参阅 Roberto Silveira 的教程（https://rsilveira79.github.io/fermenting_gradients/machine_learning/nlp/pytorch/pytorch-transformer-squad/），该教程介绍了如何使用该库进行机器理解。

图 8：Hugging Face 的 pytorch-transformers

2019 年，谷歌发布了 TensorFlow 2.0，引入了一些新的特性。关于最佳实践的更多信息请参阅：https://medium.com/tensorflow/effective-tensorflow-2-0-best-practices-and-whats-changed-a0ca48767aff。Francois Chollet 也撰写了一篇关于这些新特性的详细概述：https://colab.research.google.com/drive/1UCJt8EYjlzCs1H1d1X0iDGYJsHKwu-NO。

同时，新发布的 PyTorch 1.3 也包含大量的新特性，包括命名张量和其它的前端改进。

Allen 人工智能研究院发布了「Iconary」，这是一个可以和人类玩猜图游戏的人工智能系统。这项工作结合了视觉/语言学习系统和常识推理。同时，他们还发表了一种新的常识推理对比基准「Abductive-NLI」。

spaCy 发布了一个新的代码库，将 Transformer 语言模型合并到 spaCy 中，从而能够提取特征并在 spaCy NLP 工作流程中使用它们。这项工作是基于 Hugging Face 开发的 Transformer 库构建的。Maximilien Roberti 也撰写了一篇关于如何将 fast.ai 的代码与 pytorch-transformers 结合起来的博文《Fastai with Hugging Face Transformers (BERT, RoBERTa, XLNet, XLM, DistilBERT)》。

Facebook 人工智能团队发布了「PHYRE」，这是一种用于物理推理的对比基准，旨在通过结合各种物理难题来测试人工智能系统的物理推理能力。

图 9：PHYRE-B Tier 示意图

斯坦福自然语言处理小组发布了用于自然语言分析的 Python 代码库「StanfordNLP 0.2.0」。你可以在超过 70 种不同的语言上进行不同类型的语言分析（例如：词形还原和词性标注识别）。

GQA 是一个可视化问答数据集，用于支撑与视觉推理相关的研究。

exBERT 是一种可视化工具，用于探索 Transformer 语言模型的嵌入和注意力机制，原论文为《exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformers Models》。

请到「今天看啥」查看全文