Andrej Karpahty 在 UC Berkeley AI Hackathon 2024 颁奖典礼上的主题演讲
OpenAI 创始成员之一 Andrej Karpathy 在 UC Berkeley AI Hackathon 2024 颁奖典礼上分享了他对人工智能领域的见解,并强调了当前人工智能领域正经历着前所未有的快速发展,类似于 1980 年代的个人电脑革命。他认为,大型语言模型 (LLMs) 正成为新的计算范式,类似于个人电脑中的中央处理器,并正在改变我们与技术互动的方式。Karpathy 还强调了项目和实践在人工智能领域取得成功的关键作用,并分享了他个人经历中的一些成功案例。 ➡️ 人工智能领域正在经历快速发展,大型语言模型 ( LLMs ) 正在成为新的计算范式,类似于个人电脑中的中央处理器。 ➡️ LLMs 将在未来改变我们与技术互动的方式,并可能在数字和物理世界中自动化许多任务。 ➡️ Karpathy 还强调了项目和实践在人工智能领域取得成功的关键作用,并分享了他个人经历中的一些成功案例,例如他早期在 YouTube 上发布的游戏编程教程,最终帮助他发展了教学事业。 ➡️ 他还强调了 “一万小时定律” 的重要性,并鼓励听众投入大量时间进行实践,以积累经验和专业知识。 ➡️ Karpathy 认为,项目可以帮助人们深入学习,并鼓励他们将项目发布到网络上,以提高工作质量并获得反馈。 ➡️ 他总结说,人工智能领域充满了机遇,并鼓励听众继续进行项目开发,并努力将他们的工作转化为现实世界的改变。 原文 大家好,非常感谢你们的邀请,我很高兴能来到这里。我非常喜欢黑客马拉松,这里充满了能量和创造力,年轻人们尝试做很酷的事情,一起学习和创造,这对我来说是最喜欢的地方。我参加过很多黑客马拉松,所以今天能在这里和你们交流真的很高兴。 首先,当他们邀请我时,我没想到这次活动规模会这么大,这确实超出了我的预期。这个黑客马拉松的规模确实很大。我想开始说的是,这对于 AI 来说并不寻常。我在 AI 领域已经有大约 15 年的经验,所以我可以自信地说,它已经发展了很多。对我来说,AI 以前只是几百个学者聚在一起开研讨会,讨论一些数学的细节。这是我进入 AI 领域时所习惯的。那时候,当你训练神经网络时,你会用 MNIST 数据集中的小数字,训练受限玻尔兹曼机,用对比散度来训练网络,然后仔细检查网络的第一层是否训练正确。我知道这听起来很久远且没什么意义,但那时候的氛围确实不同,现在情况变得有些失控了。但看到今天的能量,15 年后的今天,AI 发展成了现在这个样子,所以这也是我认为这次活动规模如此之大的原因。 Nvidia 是制造 GPU 的公司,这些 GPU 用于我们神经网络的所有繁重工作,现在是美国最有价值的公司,并且已经接管了市场。这就是我们今天所处的时代,为什么有这么多像这样的黑客马拉松,我认为这非常了不起,但确实是前所未有的。对于许多刚进入 AI 领域的人来说,这是一个非常独特的时刻,这并不寻常,非常有趣也非常独特,现在有很多事情在发生。我认为根本原因是计算的本质在发生变化,我们正进入一个新的计算范式,这是非常罕见的。我几乎觉得这像是 1980 年代的计算机时代重现,但这次不是中央处理单元执行字节指令,而是大型语言模型 (Large Language Model) 处理 Token(小字符串片段)。除此之外,我们有 Token 窗口而不是字节的内存,还有其他等价物。所以它有点像计算机,这就是为什么我称之为大型语言模型操作系统(LLM OS)。我曾在推特上更详细地讨论过这个。我认为这是一个新计算机,我们都在学习如何编程,了解它的优势和劣势,如何将其融入产品,以及如何充分利用它。...