兴华配资

新华资讯网 网站股票配资 资讯列表 资讯内容

LSTM之父再度炮轰Hinton:“本田奖”不应颁发他,颁奖词有六大错误

2020-04-26| 发布者: 新华资讯网| 查看: 144| 评论: 3|来源:互联网

摘要: 原标题:LSTM之父再度炮轰Hinton:“本田奖”不应颁发他,颁奖词有六大过错来历:量子位重视前沿科技量子位晓...

兴华配资原标题:LSTM之父再度炮轰Hinton:“本田奖”不应颁发他,颁奖词有六大过错 来历:量子位

重视前沿科技 量子位 晓查 发自 凹非寺 量子位 报导 | 大众号 QbitAI

晓查 发自 凹非寺

量子位 报导 | 大众号 QbitAI

兴华配资LSTM之父Schmidhuber又来了,他和深度学习三巨子的战役从来没有中止过。

这次他把枪口对准了最德高望重的Hinton。

兴华配资这一切要从半年前的一次颁奖说起。

兴华配资上一年9月,Hinton取得了当年的“本田奖”,该奖由本田轿车创始人建立,用于赞誉对科技做出重大奉献的人士。而Hinton获奖的原因当然是他在AI范畴做出的前驱性研讨。

兴华配资毫无意外,Schmidhuber又站出来反对了。

兴华配资经过半年的预备,Schmidhuber引经据典,用近百篇参阅文献证明,本田奖颁给Hinton便是个过错。

Schmidhuber说:“咱们有必要中止将某个创造过错地归于或人。”前次他和GAN之父Goodfellow的论争也是这个主题,总归万物根据LSTM。

细数本田奖“六宗罪”

Schmidhuber在这篇长文中指出,AI中的一些重要技能,比方反向传达、无监督算法、Dropout等等都并非Hinton的创始。

本田奖的颁奖词夸大其词,把其他人的研讨效果算在了Hinton头上,存在着六处严重过错。

兴华配资Hinton创造晰许多技能,使AI得以更广泛地运用,其间包含反向传达算法,该算法构成了AI深度学习办法的根底。

兴华配资Schmidhuber:

兴华配资Hinton和他的搭档们为深度学习做出了某些重要的奉献。可是,上述说法是彻底过错的。

兴华配资他是反向传达论文的三位作者中的第二位,但他没有说到3年前Paul Werbos主张用这种办法练习神经网络。

并且Hinton的文章乃至都没有提及Seppo Linnainmaa,这是网络中闻名的信誉分配算法(1970年)的创造者,该算法也被称为“主动微分的反向形式”。

兴华配资2002年,他为受限玻尔兹曼机(RBM)引入了一种快速学习算法,使他们能够学习单层分布式标明,而无需任何符号数据。这些办法使深度学习能够更好地作业,并引发了当时的深度学习革新。

兴华配资Schmidhuber:

兴华配资Hinton的无监督深度神经网络预练习与当时的深度学习革新无关。在2010年,咱们的团队标明,能够经过简略的反向传达对前馈神经网络(FNN)进行练习,并且配资公司 重要的运用底子不需要进行无监督的预练习。

兴华配资2009年,Hinton和他的两名学生运用多层神经网络在语音辨认方面取得了重大突破,直接导致了语音辨认的明显改善。

Schmidhuber:

兴华配资这是十分具有误导性的。我的实验室有两篇论文都运用到了神经语音辨认中,分别是LSTM和CTC。

兴华配资咱们的团队在2007年 成功地将经过CTC练习的LSTM运用于辨认。到2015年,当算力变得满意廉价时,CTC-LSTM大大改善了Google的语音辨认,简直一切的智能手机都支撑这种功用。

2012年,Hinton和别的两名学生证明晰深度学习比现有的最新技能辨认图画中的目标要好得多,彻底改变了计算机视觉。

兴华配资Schmidhuber:

计算机视觉革新靠的是Fukushima、LeCun等一大批70年代学者开展的卷积神经网络。Hinton团队2012年在ImageNet上的成功很大程度上要归功于GPU加快CNN运算,

咱们的瑞士团队于2011年草创建了第一个根据GPU的尖端CNN——DanNet,在Hinton之前就证明晰本田奖阐明的这一点。

兴华配资在IJCNN 2011上,DanNet赢得了比赛,并成为第一个在国际比赛中超越人类的视觉辨认模型,而与Hinton常常协作的LeCun团队取得了第二名。

Hinton还创造晰一种被广泛运用的新办法,称为“dropout”,该办法经过防止特征检测器的杂乱合作来削减神经网络的过拟合。

兴华配资Schmidhuber:

兴华配资可是,“dropout”实际上是Hanson新近的随机Delta规矩的一种变体。Hinton在2012年宣布的论文并未引证这一点。

此外,咱们现已在2011年证明,dropout配资公司 赢得计算机视觉比赛并取得超越人类的效果并不是必要的 ,仅有真实重要的使命是使CNN在GPU上更深、更快。

“在全球很多的根据AI的技能服务中,毫不夸大地说,假如没有Hinton创造的效果,那将是不可能的。”

兴华配资Schmidhuber:

大多数闻名的AI运用都是其他人的效果,比方计算机视觉、语音辨认、言语处理、手写辨认、机器人技能、游戏、医疗印象等。

其间2~6都依赖于咱们的LSTM。2016年,谷歌数据中心TPU四分之一以上算力都用于处理LSTM。LSTM现已成为20世纪引证最多的AI论文。

最终,Schmidhuber必定了Hinton和他的搭档们对神经网络和深度学习做出了重大奉献。

可是他以为:

Hinton最有目共睹的作业是推行了其他人创造的办法,并且在论文里没有引证来历,一个重要的创造者应该奖赏创造它的人,而不是是推行它的人。

兴华配资本田应该纠正这一点,而不应让企业公关行为歪曲了科学现实。

兴华配资不幸的是,Hinton不信任前人的重要作业,这不应该成为博士生的典范,做研讨要不惜一切代价防止一点点的抄袭。这篇文章也是对Hinton和某些其他奖项的宛转批判。

网友怎么看

很快这篇长文就在Reddit上的机器学习板块引起热议,而这现已不是第一次网友为Schmidhuber争辩,都快要成为AI界的“月经贴”了。

兴华配资有些网友早已对Schmidhuber的自说自话感到厌烦。

兴华配资他觉得前次来Reddit宣扬Schmidhuber观念便是小号,这类文章实在太多了,一遍遍看到相似论题让人感到庸俗,主张将评论封闭。

兴华配资也有网友上来就硬核“打脸”:

兴华配资比方ResNet赢得ImageNet比赛时,Schmidhuber就出来发文说ResNet不过是HighwayNets的一种变体,实际上仅仅前馈LSTM。他还说Hochreiter在1991年初次发现梯度消失问题。

兴华配资后来,有人挖出Lang和Witbrock在1988年宣布的一篇论文现已发现了这一点。

兴华配资每个人的主意都是对现有事物的改善,假如不断追溯下去,那么神经网络的源头是不是还要追溯到牛顿和莱布尼兹身上呢。

不过也有一些人对Schmidhuber标明了解,由于LSTM确实被广泛用在语音辨认使命中。而本田奖的赞誉词里把他的创始归功于Hinton,确实让人难以承受。

兴华配资能够意料,未来Schmidhuber配资公司 AI创始性研讨的争辩还会继续下去,你支撑他吗?

参阅链接:

兴华配资http://people.idsia.ch/~juergen/critique-honda-prize-hinton.html

https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/

作者系网易期货配资 ·网易号“各有情绪”签约作者

— 完 —

怎么重视、学习、用好人工智能?

每个作业日,量子位AI内参精选全球科技和研讨最新动态,汇总新技能、新产品和新运用,整理当日最热职业趋势和政策,查找有价值的论文、教程、研讨等。

一起,AI内参群为我们供给了沟通和共享的渠道,更好地满意我们获取AI资讯、学习AI技能的需求。扫码即可订阅:

了解AI开展现状,捉住职业开展机会

兴华配资AI社群 | 与优异的人沟通

量子位 QbitAI · 头条号签约作者

兴华配资վ'ᴗ' ի 追寻AI技能和产品新动态

喜爱就点「在看」吧 !

(声明:本文仅代表作者观念,不代表新浪网态度。)

兴华配资文章关键词: 网络文化

用微信扫描二维码共享至老友和朋友圈

' + _substr(uids[i].name, 0, 14) + '

' + _substr(uids[i].v_reason, 0, 16) + '



分享至:
| 收藏
收藏 分享 邀请

最新评论(0)

Archiver|手机版|小黑屋|新华资讯网  

GMT+8, 2019-1-6 20:25 , Processed in 0.100947 second(s), 11 queries .

Powered by 新华资讯网 X1.0

© 2015-2020 新华资讯网 版权所有

微信扫一扫