预糊化纤维厂家
免费服务热线

Free service

hotline

010-00000000
预糊化纤维厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

李飞飞高徒AndrejKarpathy为大家答疑解惑_[#第一枪]

发布时间:2021-06-07 17:33:53 阅读: 来源:预糊化纤维厂家

编者按:李飞飞高徒Andrej Karpathy2015年在斯坦福大学获得计算机科学专业博士,2016进入OpenAI工作,主要研究兴趣为:深度学习,生成模型和强化学习。2011至2015年先后在Google Brain,Deepmind及各大DL实验室实习过,在学习与工作方面经验颇丰。本文是他在Quora为广大机器学习研究领域学子答疑解惑,希望对大家有所启发。

学习篇您是如何学习研究ML/DL的?在学习DL过程中,您最喜欢的书籍有哪些?

我曾经在数据科学周刊的访谈中谈论过这个话题。我们长话短说,我以前是想做量子计算这一块儿,之后觉得稍有点灰心丧气,并且意识到AI是我想要研究的最重要的“元”问题。

在我攻读博士学位期间,DL方面没有太多可供参考的书籍。现在有Ian Goodfellow等深度学习方面的书籍及其他资料来源(例如,许多演讲,CS231n等)。

我个人不太过分依赖参考书。我喜欢Bishop的书,在读博期间曾从头到尾读过好多遍,还有Sutton的强化学习(Reinforcement Learning)一书,这本书我在几周内快速翻阅了一遍,反复实践有关ReinforceJS章节的知识。不过,遗憾的是,这本书在策略梯度(Policy Gradients)这一块儿讲得略少,而我们在研究中用到这方面的知识还是蛮多的,不管怎样,这本书都为我在DL方面的学习打下了良好的基础。

到现在为止,我发现,想要学会许多知识的诀窍就是反复实践已经学到的理论知识,正所谓实践出新知嘛。无论何时,当我读到一些知识,我会想象着自己已经理解透彻了,然后强制自己反复实践,这种方法总会给我带来新的有趣的洞见。这是我最爱的学习方法。

您个人偏爱哪一种深度学习框架?

在读博期间,我在学习深度学习框架过程中经历过几个转型期。起初是使用Matlab,当时每个人都使用这个软件。不过,遗憾的是,Matlab不是一种真正的语言,当时所有人都为此嘲笑我,所以我转而学习Python/numpy,手写出我自己所有的反向传播算法代码。不过,不幸的是,numpy不适用于GPU,因此,学习Python也行不通。

之后,我开始学习Torch,我当时非常喜欢这个计算框架,到现在还是很喜欢。Torch比较简单:你可以在CPU或GPU上透明地以各种方式操作Tensor 对象,并且可以使用这种简易的深度学习专门转化器。你几乎可以理解所有的内容,并对所学到的知识进行检测,改善,都是行得通的。

我现在使用TensorFlow,OpenAI的所有研究者都在使用这种系统。说实在话,我觉得我的代码变得越来越复杂。相比使用Torch,我现在要花费很多时间来排除故障。我现在还处于学习阶段,不过,我觉得现在遇到的难题都是暂时的。

我们再探讨的深入一些,我感觉到在学习TensorFlow的过程中,自己放弃了很多东西(比如,我不能再轻而易举地处理原始梯度,不能全面检测代码库,不能再简单地运用任意命令代码创建网络层,此外,编写代码要花费更多的时间),但是,我的收获付出并不对等。尽管这样,我选择TensorFlow就像下了一个长期的赌注,现在正在这条路上变得越来越专业。如果你不想做出太疯狂的选择,喜欢自己小型,敏捷,透明,快速的代码,Torch依然是个不错的选择。

您是如何学习强化学习(RL)的?

关于RL,我在博客上放过一些相关

IC整型机价格

钻孔组合机床批发

瓶体价格

弹性挡圈货源