专栏名称: AI科技评论
「AI科技评论」是国内顶尖人工智能媒体和产业服务平台,专注全球 AI 业界、学术和开发三大方向的深度报道。
目录
相关文章推荐
爱可可-爱生活  ·  今日推介(第1795期):通过问题复杂性视角 ... ·  22 小时前  
爱可可-爱生活  ·  【50个最热门的大语言模型(LLM)面试问题 ... ·  昨天  
爱可可-爱生活  ·  [LG]《Kinetics: ... ·  昨天  
人工智能那点事  ·  粉丝已破百万!北大“韦神”突然开号?评论区成 ... ·  2 天前  
51好读  ›  专栏  ›  AI科技评论

人工神经网络太简陋了,《Sicense》新作揭露,神经元树突也隐含计算能力

AI科技评论  · 公众号  · AI  · 2020-01-15 14:44

正文

请到「今天看啥」查看全文


  • 在神经元细胞体上,所有的信号在这里进行加权和计数,如果总和超过某个阈值,则神经元会发出一系列的电脉冲(动作电位),这些电脉冲会直接刺激邻近的神经元。
  • 大约在同一时间,研究人员意识到,单个神经元可以起到逻辑门的作用,类似于数字电路中的逻辑门(尽管截止目前我们还不清楚大脑在处理信息,在多大程度上是这样的)。例如,如果神经元仅在收到足够数量的输入后才触发,实际上就是一个“与”门。
    因此理论上,神经元网络可以执行任何计算。
    但显然这种模型是存在局限性的。在这种模型中, 神经元将坍缩为空间中的一个点,它没有任何内部结构 。另一方面这个模型也忽略了一个事实:流入给定神经元的数千个输入是沿着不同的树突进入神经元细胞体的,而这些树突本身所起到的功能可能差异巨大,或者更为具体来说,这些树突内部本身可能存在一些计算功能。
    这种模型在80年代开始改变。
    神经科学家 Christof Koch 等人通过建模(后来也得到了实验的支持)表明,单个神经元内部不能表达为单个或统一的电压信号;取而代之的是,电压信号沿着树突进入神经元胞体内时会降低,并且通常对细胞的最终输出没有任何贡献。
    信号的不一致性,意味着单个的树突可能在彼此独立地处理信息。 这与先前的神经元假说是有矛盾的;在先前的神经元假说中,神经元只是简单将所有东西加在一起。
    这项工作促使了Koch以及耶鲁大学医学院的Gordon Shepherd等人开始对树突结构进行建模。基本的思路就是,神经元不再只是充当一个简单的逻辑门,而是一个复杂的多单元处理系统。
    后来 Mel 等人进行了更加细致的研究,他们发现: 1)树突能够产生局部尖峰;2)树突具有自己的非线性输入-输出曲线;3)树突有自己的激活阈值(这个阈值与神经元整体阈值不同);4)树突本身可以充当 AND 门或其他单元。
    Mel等人认为,这意味着可以将单个的神经元构想为 two-layer 的神经网络:树突充当非线性计算子单元,收集输入并吐出中间输出;这些输出信号将在细胞体中进行结合,然后决定整个神经元的反应。
    当然,截止目前为止,我们还并不清楚树突水平的活动,是否会影响神经元的放电以及邻近神经元的活动。不过,不管如何,局部处理在整个神经元系统中的作用已经毋庸置疑。在计算能力上,神经元要比我们想象的强大很多。






    请到「今天看啥」查看全文