当前位置:首页 > 物联网

长石分享 - 吴恩达对话Yann LeCun:从相识Hinton到深度学习崛起

作者:it技术知识网 阅读次数: 时间:2019-06-27 08:41:10

摘要:全文6195个字,估计读的专业课程15分钟深入研究的时间深度学习。AI,对话包含了一些视频安德鲁·Ng和丹尼尔·深度学习的,它已被他与GeoffreyHinton,YoshuaBengio,IanGoodfellow,AndrejKarpathy等人对话的YouTu是视频的前披露。

全文6195字,估计读的15分钟

特殊课程深入研究深度学习。AI,对话包含了一些视频安德鲁·Ng和丹尼尔·深度学习的,它已被他与杰弗里·辛顿,约书亚·本焦,伊恩·古德费洛,安德烈Karpathy等人的谈话在YouTube视频之前披露。。最近,深度学习。AI版本安德鲁吴对话亚·莱卡视频,几乎人介绍这种视频内容。

视频链接:

https://开头WWW。YouTube的。COM /手表?V =&JS12eb1cTLE功能= youtu。be

安德鲁·吴:嗨晏,你研究了很久的神经网络,我想听听你在自己的故事说:你是怎么开始做人工智能?它是如何建立神经网络?

亚·莱卡:我从小就在“智能”非常感兴趣,如人类智慧的出现,人类进化等。

而且我也有兴趣在科学和技术,空间等主题。我最喜欢的电影是“2001太空漫游”,其中有一款智能机,太空旅行,人类的进化和其他的东西让我着迷。当智能机的概念,真正吸引我。

后来我在第二年学习电气工程专业,可能是当工程学院,我偶然发现了一种哲学的书,里面已经认识到麻省理工学院语言学家诺姆·乔姆斯基(乔姆斯基)和瑞士儿童发展研究知名心理学家皮亚杰(皮亚杰)辩论。

\

围绕先天语言和培育的主要机制这一辩论。我们知道,乔姆斯基宣称,人类有语言,因为有大量的脑结构内单位,是收购的先天机制,皮亚杰儿童语言发展是通过学习而获得对。双方已经聚集了一批支持者为他辩护。

麻省理工学院专注于感知西蒙帕尔特(西摩帕佩特)的观点表示支持皮亚杰的观点,他说感知器(感知)是第一个学习的机器,但我以前从来没有听说过。我读了一篇文章,说:“你可以学习机”美妙动听。

于是,我开始寻找任何一本书我能找到的,与几所大学图书馆讨论感知机。然后我意识到,在这个区域50年中,许多论文,但到20世纪60年代,与西蒙和讨论共同撰写一本关于感知终止。

安德鲁·吴:那大概是哪一年?

亚·莱卡:约1980年。

因此,数学则几所大学教授,我做了一些神经网络项目。但是,没有人可以讨论80年代和我在一起,因为基本上这个区域为不存在,很少有人研究感知。我只能做自己的实验,写了很多仿真程序,阅读了大量的书籍神经科学。

的工程课程结束后,我学会了芯片设计。一些项目之后,我觉得我需要做这方面的研究,以解决最重要的一类问题:如何培养一个多层神经网络。20世纪60年代的文学明确表示,这不是解决的一个重要问题。我也读了很多文章,你知道理学cognitron纸福岛邦彦提出了分层结构,非常类似于卷积网络,但目前还没有类似的反向传播学习算法。

论文链接:http:// WWW。rctn。组织/布鲁诺/公/纸/ Fukushima1980。PDF格式

后来,我遇到了一小群人在法国,他们有兴趣,但他们称之为自动网络(自动机网络)。他们向我展示了一些研究论文的Hopfield网络。要知道,这个网络不是特别受欢迎,但它与联合存储第一神经网络。在80年代早期,这些研究再度热衷于神经网络,主要是物理学家,如凝聚态物理学家一些研究团体,也有一些心理学家。这一次,工程师和计算机科学家不参与神经网络的讨论。

他们还向我展示了预印纸刚刚发布的“最优知觉推理”另一篇文章,这是玻耳兹曼机上的第一篇论文,作者是杰弗里·ê。韩丁和泰伦斯·J。Sejnowski。本文讨论提出的隐单元多层神经网络不仅仅是一个简单的分类功能更强大。我马上说,我想我需要看到这些人,因为我也是在这些问题很感兴趣。后来,当我参加一个研讨会博士学位的同事组织,当泰伦斯作了讲话,我也遇到过韩丁。

那是在1985年,这个车间是一个非常有吸引力的,有早期的理论神经科学领域的许多研究者。当时,我还遇到了后来带我到贝尔实验室的人。

在车间里,我跟泰伦斯类似BP算法我的工作,然后大卫?。鲁梅哈特,杰弗里·ê。韩丁,罗纳德·?。Williams还没有发表三篇论文(“边向后传播的错误陈述”指的是纸)和泰伦斯是韩丁的朋友,经常交流。所以,当泰伦斯已经做了反向传播相关的工作,但他没有告诉我。

于是,他回到美国告诉韩丁,法国有一个孩子做同样的工作,我们。然后几个月后(6月),法国有另一次会议,寒春是作主旨发言,他介绍了玻尔兹曼机反向传播。

演讲结束后他周围约50人,而他的第一句话主办方说,“你知道有一个叫亚·莱卡它的孩子?“ - 当时,他在法国版我的论文的论文集阅读,他知道一点法语,再加上数学公式,他能够了解反向传播。因此,我们一起吃了午餐,并成为好友。

安德鲁·吴:所以你独立重新创建反向传播?

亚·莱卡:是的,或者说我们都知道的链式法则的重要性,也就是学者的最优控制说,伴随态方法(伴随态法),这是非常重要的。那就是回传播是真实环境的“发明”:20世纪60年代的最优控制研究。“在不同级别的使用梯度”在本质上,反向传播,而这个概念在不同时间在不同的上下文中重复。但是鲁梅哈特,欣顿和威廉姆斯的论文,使这个概念再次成为流行。

安德鲁·吴:让我们快进几年,你工作了一段时间,在AT&T贝尔实验室的一项重要工作期间发明了LeNet。我在课程中提到它,当我在贝尔实验室的一名暑期实习生,听说你的工作。您能不能给我们讲关于AT&T,它更多的故事LeNet?

亚·莱卡:其实我的博士后科研卷积神经网络中开始,我被一群加拿大多伦多大学的杰夫·辛顿的。我写了前面相关的代码,并提出了第一批实验。

没有MNIST,我画用鼠标一些字符,数据放大技术增加的数据量,然后使用该数据集来测试模型的效果。

我比较了完全连接的神经网络,但不连接到本地网络的共享参数,以及本地连接和网络,这是第一代卷积神经网络的共享参数。

型号上有良好的效果小规模的数据集,性能更好,并且没有过拟合的卷积结构。当我在1988年10月进入了贝尔实验室,我做的第一件事是扩大规模的模式,因为有一个更快的计算机。

就在我进入实验室几个月,我的老板拉里·杰基尔(他后来成为贝尔实验室的董事)问我:“我们应该以第一台计算机在你来之前,你想要什么?“我们在一点点,我们有一个太阳4,是最好的电脑,所以我对他说,”如果(在实验室)也有一个字会像。“因此,他们下令之一,所以我想拥有一台电脑!

你知道,我们是多么地共用一台电脑的整个系统,但现在我有一台电脑!当时拉里对我说,“在贝尔实验室,你会不会保存,因为已知世界的钱。“ 这是太棒了。而且,他们已经工作了一段时间的信认任务,他已经积累了“巨大的”数据集,称为USPS,有5000个训练样本。于是我马上训练的神经网络卷积,你可以把它叫做一个LeNet,实现对USPS数据集很好的效果 - 不是试图实验室或外部人员的所有方法更好。

然后,我们就知道,我们取得了一些成绩。在这种情况下,短短三个月内离开我加入了贝尔实验室。

这是卷积神经网络的第一个版本,我们使用了卷积运算用的步骤(步)的运动,但没有单独的子采样(子采样),也不细胞层(池),换句话说每个卷积直接在采样。这样做的原因是设计来计算量,因为我们无法承受每个点都有一个卷积。

第二版本具有单个卷积,汇集和下采样层,这是一个LeNet。我们发表了一系列论文,神经计算和NIPS。

有趣的是,我对在NIPS的文件作了讲话,杰夫·韩丁是在礼堂。当我回到自己的座位上(我只是坐在他旁边),他说,“你的讲话发出一个信息:如果你尽一切合理的选择,模型可以成为。(如果你做的所有感知事物,它的实际工作。)“

安德鲁·吴:可以肯定的是以后,这项工作继续创造历史,这个想法开始被用于读取支票。

亚·莱卡:是的,当时的技术开始在AT&T的内部应用程序,但在外部几乎没有使用。

我觉得很难解释为什么,但我认为有这样一些因素:

首先,是80年代末,没有互联网,我们已经基于FTP的电子邮件,也没有真正的互联网。

其次,使用相同的软件或硬件平台都没有两个实验室。有些人使用工作站,有的用电脑,有没有类似的Python或MATLAB这样一个框架,人们应该自己写代码。

里昂 - 鲍威和两个人,我用了大约一年半的时间,基本上写了一个神经网络模拟器。而且因为没有MATLAB或Python,你必须写你自己的解释(翻译)来控制你的模型,所以我们要自己写的Lisp解释,LeNet它完全后台计算和Lisp,写的值。

结构和框架像现在,有不同的模块,可以将它们相互连接起来,然后将所有这些框架(火炬,PyTorch或TensorFlow)的人现在熟悉的微分计算具有以下功能:。

然后我们有一组工程师开发出一系列的应用。这是一群非常聪明的人,比如一些原来是一位理论物理学家,后来去了贝尔实验室的工程师做。

克里斯·伯吉斯是其中之一,谁后来在微软研究院有一个杰出的职业生涯。克雷格·诺尔就是其中之一。我们与很多优秀的人才合作,以这种特殊的概念变成现实。

我们一起开发了许多应用,如字母识别系统,它是用来识别的字母序列,而不是单个字母卷积神经网络和相似的条件随机场(CRF)模型的组合。

安德鲁·吴:是的,我看了那件LeNet纸,让通过神经网络的数据,然后让出来承认由联合信自动机。

亚·莱卡:是的,说起卷积神经网络的前半部分,这是本文中最精彩的部分全文。少数人的另一半阅读。我们正在谈论的序列级别判别下半年学习(discriminantive学习)和不规范化(标准化)过程中的结构预测,很像CRF。

这是一个非常成功的方法。NCR是AT&T的团队的子公司是能够读取检查ATM机等设备我们的“客户”的产品,负责我们的嵌入式系统。该系统是当天部署到一家大银行,但我们在一间高档餐厅吃饭队庆祝,有消息传来说,AT&T决定分家重组。

\

在1995年那个时候,拆分后,AT&T成为三家公司,分别是AT&T,朗讯科技和NCR。工程队被分配到朗讯科技,产品团队被分配到NCR。不幸的是,AT&T的律师使用其无穷的智慧,然后决定专利卷积神经网络(是的,卷积神经网络是专有的,但幸运的是它在2007年,已经过期)指向NCR,然而,NCR没有人知道是什么最终卷积神经网络。

所以人们NCR专利的神经网络卷积的手,但不知道他的主人是什么。而我们另一家公司,它再也不能与神经网络卷积的相关研究。

安德鲁·吴:除了那些时代的神经网络很火,你是在神经网络中的“神经网络的冬天”也能保持信心,那是什么感觉?

亚·莱卡:在某种意义上我坚持,另一种观点我不。我始终认为,这种类型的技术将回到前列,人们会想尽办法在现实生活中应用它们,我的心脏always're症结。但在1996年,AT&T的拆分,我们所有的字母标识的工作基本停滞,我被晋升为部门主管,我只好找话题可以为球队做。

互联网仍处于发展初期,我所持的观点:随着互联网的兴起,我们必须找到转移到电子世界的方法中,纸的所有信息,所以我就开始了一个名为的DjVu旨在压缩扫描文件,以便项目它们能够被分布在互联网。该项目是在一段时间非常有趣,取得了一定成效,但什么AT&T不知道用它做。

安德鲁·吴:是的,我有这样的印象,该项目旨在帮助研究网上传播。

亚·莱卡:是的,我们扫描整个诉讼NIPS,然后发布在互联网上,展示这项技术如何工作。我们可以把压缩成几KB高清晰度的扫描页面。

安德鲁·吴:你在一个非常早期的作品(卷积神经网络)显示出来的信念现在已经风靡计算机视觉领域,并继续影响其他地区,谈谈您是如何看待这整个过程。

亚·莱卡:我刚才提到,我很早就预见到这种情况的发生。首先,我始终认为,这种方法可以做到这一点,尽管它需要快速的电脑和大量的数据,但我一直认为这是正确的做法。

\

我在贝尔实验室时,他亲眼目睹朝着越来越强大的方向机继续取得进展,贝尔实验室的时候,我们已经设计了芯片运行卷积神经网络,我们使用两种不同的芯片高效运行卷积神经网络,因此我们看到芯片的性能提升,我们相信这将是一个持续的过程。

然而,在90年代中期,在神经网络的兴趣逐渐下降,所以这个过程不会立即发生。1995年和2002年这6,7年,几乎没有一个相关的研究。

微软在21世纪初,他们做了卷积神经网络的中国文字识别,法国和其他地方,也有一些小的是谁的工作人脸检测的人,但规模很小。

我最近发现,有很多团体实质上是由卷积神经网络是非常相似的提出的想法,但还没有进行医学图像分析来进行。

大多数的这些想法卷积系统的背景下,因此它并不适用于专业领域。我的意思是,卷积神经网络的研究后,研究人员都没有真正意识到它的力量,但仍卷积神经网络已经发展。

你知道有很多人提出的想法是相似的,或每隔几年理念的提出是相似的,但经过ImageNet挑战出现在2012年,研究人员感兴趣的变化非常快。在2012年在佛罗伦萨ECCV年底召开ILSVRC 2012年是一个非常有趣的事件,是有关于ECCV ImageNet车间,每个人都知道杰弗里·辛顿队亚历克斯Krizhevsky以极大的优势赢得了比赛,大家都在等待亚历Krizhevsky讲话,大多数人不知道什么会议委员会AlexNet。

我的意思是,他们听我讲这个网络中,CVPR 2000年的会议,但大多数人不重视它。一些高级研究人员知道AlexNet,大多数年轻人在社区,不知道它。

然后亚历克斯Krizhevsky了讲话,他没有解释,什么AlexNet因为他来自于机器学习领域,每个人都已经知道AlexNet架构。很多人都愣住了,因为你可以看到,当在亚历克斯Krizhevsky演讲,人们思想观念的改变,包括非常资深的人在外地。是的,计算机视觉领域是自那时以来的变化。

安德鲁·吴:所以今天你仍然保留了纽约大学的教师和公平仍然工作。我知道你对如何研究公司独特的视角,你可以分享?

亚·莱卡:我认为Facebook在过去四年的经验是我已经给予了自由按照自己认为最合适的方式来建立公平的最佳体验,因为这是内部的Facebook的第一个研究机构。

Facebook是一个工程为中心的公司,目前已重新调整生存或者一些短期问题。当时公司成立近10年来,该公司成功上市,那么几乎开始思考未来10年的问题。他们告诉我,对未来10年扎克伯格的想法,有什么问题将成为重要。

当时,Facebook的存在不是问题。对于大型企业,还是对于Facebook只有5000名员工,这是一个转折点,它可以开始考虑未来10年的问题,以为关键技术的发展。

马克和他的团队的思想,AI将成为一个重要的社会网络技术,而这正是Facebook的使命。于是,他们探索使用多种AI。他们建立了一个小型的内部团队,并取得了在人脸识别良好的效果和网络卷积等几个方面,从而激发他们的兴趣。于是,他们开始尝试聘请了一批年轻的科研人员,AI收购一家公司,还有其他类似的举措。最终,他们决定在现场聘请资深专家,创建了一个研究机构。

最初,这种做法遭遇有点文化冲击,因为公司使用的研究方法和项目很不同。人们会问,为什么你比别人更长的时间,范围是大于其他?研究人员对研究的领域,他们希望选择非常保守。在很早的时候,我知道,研究应该是开放的,我们不仅要鼓励,但也应该要求研究人员发表的研究成果,并在熟悉的尺度来衡量这些成果,使我们必须学会这些研究的机会。

马克和CTO,迈克说Facebook是一个开放的公司,我们也有很多方面的收入提供。我们的CTO曾致力于开源,除了公司有很多的人,太。它可以说是刻打开骨头的Facebook。

因此,也许它给了我们建立的开源研究机构的信心,Facebook的,不像知识产权一些其他公司有执着追求这种文化使得我们更容易与大学合作,在工业界和学术界可以覆盖。

如果你看一下刊登在过去的四年中我的文件,你会发现,大部分的纸与我的纽约大学学生写的,因为我做了很多Facebook的实验室组织,指导研究方向,但我还没有亲自参与研究项目,让自己的名字出现在纸上。我不在乎纸。你会想留在幕后,不想竞争和实验室。

安德鲁·吴:人谁想要进入人工智能领域,你有什么建议?

亚·莱卡:现在我刚刚进入人工智能领域已经有了很大的不同。我认为,现在越来越多的人坚持是很容易达到一定的水平,例如,有易于使用的现成的工具,TensorFlow,PyTorch其他计算机将是相对便宜的,卷积网络将能培养,在家循环网络。此外,您也可以在网上学习。所以,你看现在的高中学生都在做AI,我觉得这是很大的。现在,从越来越多的人,同学们开始机器学习,人工智能兴趣。

我的建议是,如果你想要做的AI,我们应该高度参与,例如,以促进开源项目,或达到某些标准算法。比如寻找他们认为重要的文件,该文件复制算法,收入增长。如果你写一些有用的东西,你会关心。通过这种方式,您可能会收到一家意大利公司工作的报价,或者参加一个项目像博士学位。

几乎人:转载自

推荐阅读

长石分享| 基准伙伴比尔·古利:投资者更注重创业者的能力表示的故事,

长石分享| 彼得泰尔谈战略和竞争

长石分享| 杰夫·贝索斯保持秘密做出决定,重点突出

本文链接:长石分享 - 吴恩达对话Yann LeCun:从相识Hinton到深度学习崛起

友情链接:

大悲咒经文 佛经 观音心经