专栏名称: 大数据实验室
宽客俱乐部旗下美国大数据实验室,大数据研究应用。
目录
相关文章推荐
大数据文摘  ·  26 天倒计时:OpenAI 即将关停 ... ·  21 小时前  
数据派THU  ·  ACL’25 | ... ·  2 天前  
INTERNATIONAL IDEAL 筑梦求职  ·  德勤认可的Data证书,留学生0门槛拿 ·  14 小时前  
INTERNATIONAL IDEAL 筑梦求职  ·  德勤认可的Data证书,留学生0门槛拿 ·  14 小时前  
51好读  ›  专栏  ›  大数据实验室

神经网络的前世今生及应用

大数据实验室  · 公众号  · 大数据  · 2017-08-05 07:43

正文

请到「今天看啥」查看全文




五、深度学习的发展前景




后期深度学习的研究预计将在局部最优、计算复杂度、网络的设计优化等方面继续开展,可能出现更多种类、更大规模的数据集(如Feifei Li目前推动的视觉基因组Visual Genome)。同时,深度学习需要借助大量的训练数据,而人类却能仅通过有限样例学习到新的概念和类别,有很多研究者期望通过One-Shot Learning来解决这种机器和人之间的差异。


在硬件方面,针对深度学习优化的新指令集与计算芯片已成为研究热点,体系结构领域的顶级会议ISCA 2016收录的57篇论文中,9篇与深度学习相关,评分最高的论文是寒武纪处理芯片。以FPGA(Field-Programmable Gate Array,现场可编程门阵列)为主的专用处理芯片也已进入业界视线,期望能降低成本和功耗。


尽管深度学习已经遍地开花,但我们也应该清醒地意识到,这未必就是通往人工智能的唯一途径,离全面实际应用还存在着距离。Google的图像标注系统将黑人标注成大猩猩引发了巨大的社会争议,特斯拉无人驾驶汽车最近的车祸也一再提醒人们,人工智能即便只有很微小的错误率,在实际生活中也可能会造成惨祸。因此,人工智能的研究依然漫长而艰难。




延伸阅读:


人工智能&神经网络的前世今生


来源:德智资本(triwise)

文/图 蓝志豪 [email protected]




人工智能的时代




在技术飞快进步的时代,下一个计算平台,可能将是量子计算机与人工智能的结合的产物。


如果计算能力能强大到这种地步,人们将不再需要随身携带一个计算设备,世界上只需要一个强大的人工智能就够了。


离线而非在线的云数据才是未来的机会所在。这也是机器人可以进入的领域,因为它能够移动,利用机器人身上装的传感器,它可以感知到周围的真实环境,在与环境互动的过程中学习。


在计算机科学中,这个过程被称之为感应、计划及执行。如果利用云计算去执行这件事情,很难与真实世界产生互动,就像被困在一个玻璃瓶中一样。但如果利用机器人直接与真实世界互动产生数据,那将能从中获得真实世界的信息反馈。




机器学习




机器学习是指用某些算法指导计算机利用已知数据得出适当的模型,并利用此模型对新的情境给出判断的过程。 由此看来,机器学习的思想并不复杂,它仅仅是对人类生活中学习过程的一个模拟。


而在这整个过程中,最关键的是数据。 机器学习和大数据是如此密不可分的。不得不说在这一点上计算机是远远比不上人脑的。 人类学习能力的可怕之处在于,能够通过极其有限的样本归纳出泛化能力极高的准则。 只要数据量足够大,机器学习算法的选择反倒没有那么重要了。


机器学习根据所处理数据种类的不同,可以分为有监督学习,无监督学习,半监督学习和强化学习等几种类型。 实践中应用较多的也就是前两种。 所谓监督学习,就是说数据样本会告诉计算机在该情形下的正确输出结果,希望计算机能够在面对没有见过的输入样本时也给出靠谱的输出结果,从而达到预测未知的目的。 根据输出结果是离散值还是连续值,监督学习可以分为分类问题和回归问题两大类。


机器学习在文字、语音、图像识别,大数据分析、搜索,预测等方面有着广泛应用。 而无监督学习,是指数据样本中没有给出正确的输出结果信息。

接下来将简单地介绍一部分人工智能相关的一部分算法。




线性回归




回归就是通过数据学习数量关系,然后利用这个数量关系去做预测。回归的策略是跳过逻辑分析,让计算机直接从数据中学习数量关系。这正是机器学习(统计学习)的核心思想。


在一个回归模型中,需要关注或预测的变量叫做因变量(响应变量或结果变量),选取的用来解释因变量变化的变量叫做自变量(解释变量或预测变量)。


做回归分析,确定变量后要根据具体问题选择一个合适的回归模型,常用的回归模型有线性回归,多项式回归,逻辑回归等。线性回归是最简单实用的回归模型。


线性回归的数学基础


自变量X,因变量Y,观测值是:


回归方程是


k,b是是待学习的参数,ε为残差。

简单来说是找到一条直线y=kx+b来进行模拟,使得所有样本点尽可能落在这条直线的附近。


然而来自现实的数据是有误差的,真正的考验是无法保证所有的样本点都精确满足回归方程。


其实这里可以通过高等数学中的只是进行弥补:用误差ε取到极小,通过最小二乘法(Ordinary Least Square, OLS)。求解使得εi(i=1,2,…,n)的平方和极小化的k,b:


多元线性回归本质也是一样,只是自变量和参数的个数变为多个。


从数理统计的角度来看,需要满足以下条件:

  1. 误差ε是一个期望0的随机向量;

  1. 对于解释变量的所有观测值,ε的各个分量有相同的方差,且彼此不相关;

  1. 解释变量与随机误差项彼此相互独立;

  1. 解释变量之间不存在精确的线性关系;

  2. 随机误差项服从正态分布。

    然而现实中,无论数据是否满足模型假设,都可以通过最小二乘法去得到参数。

    (Anscombe's quartet,图片来自维基百科)


    以上对四组观测数据,虽然用线性回归将得到完全相同的模型,但是此时的模型的有效性就很难解释了。

    检验一个回归模型之前需要对数据进行验证:

    1. ε是否近似满足平均值为0的正态分布

    1. 因变量值是否独立

    2. 是否存在离群点、强影响点

      所以可以看出来,最最核心的事情就是数据的预处理和数据是都合理。



      贝叶斯公式



      设A和B是两个事件,那么贝叶斯公式为:

      其中:

      • P(A)和P(B)表示A和B各自发生的概率

      • P(A | B)表示已知B发生时,A发生的条件概率

      • P(B | A)表示已知A发生时,B发生的条件概率

        贝叶斯公式因其独立性假设而得名,不论模型训练或者预测分类,计算都是线性的,因此计算量很小、结果也精确,所以它是公认的数据挖掘十大算法之一。








请到「今天看啥」查看全文