主要观点总结
本文主要介绍了GenEx系统的工作原理和其核心作者陈杰能的研究历程。GenEx系统是一种能让AI具有'想象力'的系统，通过想象出来的观测探索生成式世界，旨在模拟人类大脑对世界的认知方式和理解机制。文章还提到了陈杰能从医疗图像到具身智能的转变，以及他关于空间智能和心智模型的研究。陈杰能认为，心智模型是具身智能体的重要组成部分，能帮助智能体在真实世界中进行有效决策。
关键观点总结
关键观点1: GenEx系统的工作原理
GenEx系统由两个相互关联的组件构成：一个是想象世界，它能动态地生成可供探索的三维环境；另一个是具身智能体，它与这个环境相互作用，以完善自身的理解和决策能力。这两个组件共同构成了一个共生系统，使得人工智能能够以类似于人类认知过程的方式进行模拟、探索和学习。
关键观点2: 陈杰能的研究历程
陈杰能的研究重点从医疗图像转向空间智能和具身智能。他利用计算机视觉技术，研究如何帮助智能体更好地理解物理世界并进行有效决策。他的工作涉及多个领域，包括医学影像处理、多模态大模型、空间智能和心智模型等。
关键观点3: 心智模型在具身智能中的应用
陈杰能认为心智模型是具身智能的重要组成部分，能帮助智能体在真实世界中进行有效决策。他关注如何将心智模型应用于具身智能，特别是如何利用生成式世界探索者的能力，让智能体具备人类的想象力，从而更有效地探索和理解物理世界。
正文
以下是 AI 科技评论与陈杰能的对话。
AI 科技评论：您正式读博前发布的 TransUNet 至今引用量已超5000，当时是如何想到这个 idea 的？
陈杰能：
当时我正在进行另一个项目，目标是对物体边缘的语义进行建模，就有了序列建模的idea，即序列学习（Sequential Learning），Transformer 虽然全局学习比较好，但难以捕捉物体边缘的局部细节。
在2020年底，Transformer 已经证明了在分类任务中表现较好，但对于它能否做密集预测，大家都还在探索中。为了解决这一问题，我就想结合 Transformer 和 UNet 的优势，从实际效果来看，UNet 更擅长处理局部信息，Transformer 则擅长处理全局和预期信息，它们是一个实现局部细节还原并兼顾长距离建模的最佳组合，能够很好地支持多种任务。
后来，我继续把 TransUNet 扩展到 3D 层面，也进一步将其应用于多癌筛查。TransUNet在今天仍是一个经典的架构，广泛应用于分割模型和扩散模型等任务中。
AI 科技评论：那您是如何接触计算机视觉，并决定扎根医学影像领域的？
陈杰能：
2017 年下半年我在慕尼黑工业大学交换，3D 视觉学者 Daniel Cremers 是其中一位授课老师，巧的是他也是我现在的导师 Alan Yuille host过的博士后。当时的计算机视觉课程内容偏几何和理论，我被前沿科研吸引，回来后便决定参与视觉的研究，便在同济的陈广老师课题组研究车辆检测。
2019 年暑研，我机缘巧合联系到 Alan Yuille，他与约翰霍普金斯医院合作癌症早筛项目，有抑癌因子 P53 发现者等知名医生参与。他们虽不是 AI 研究者，但也意识到 AI 在医疗领域的潜力，这领域有规模化的机会，同时还能切实地帮助到每一个普通人，这便吸引我钻研医学影像领域。
AI 科技评论：所以您又加入达摩院医疗 AI 团队实习了。可以分享一下做 CancerUniT 的故事吗？
陈杰能：
负责人吕乐是我在约翰霍普金斯计算机系的学长，他的导师Gregory D. Hager和我的导师本身就有合作，我们认识的比较早。
当时在医疗AI领域，大家都在做单一病种的研究，达摩院希望我能加入去做多癌筛查。具体而言，我们希望开发了一个 AI 模型，能通过单次CT筛查找出八种癌症并诊断14种亚型，这八种癌症是国内最高发病率高致死率的癌症，涵盖了接近80%的患癌病人。
医疗AI领域涉及众多方向，其中疾病筛查无疑是优先级最高的，尤其是针对癌症、阿尔茨海默症和慢性病等主要疾病。癌症因其发病率和死亡率双高，我认为更值得在我精力有限的情况下优先攻关，也被我认定为一个黄金问题。
对我来说解决这个黄金问题就像是攀登一个更高的山峰，如果它能早一些解决，就能帮助到更多的人、使许多家庭受益，我很有热情，希望能贡献我的微薄之力加速这个进程。我推进工作的过程中，我和我的合作者一起明确了问题的定义，也搭建了一个高敏感性高特异性的基础模型，现在，达摩院正在进一步扩展我当时开发的多癌模型，我期待这系列模型能尽早在社会中发挥实际作用。
