Andrej Karpathy

本文来自 Andrej Karpathy 的 blog，我这里将其翻译为了中文。 作者表达了对计算器的深深喜爱，尤其是作为一种技术产品和象征的意义。计算器不仅仅是一个简单的工具，它代表了一种极简、用户友好的技术哲学，与现代技术产品日益复杂、依赖性强、用户体验糟糕的趋势形成鲜明对比。作者认为，当前的技术产品越来越偏向于复杂的、依赖网络和用户数据的商业模式，损害了用户的隐私和自主权。作者呼吁消费者和开发者反思这种趋势，并以计算器为理想，推动技术回归简单、可靠和用户至上的方向。 计算器的优点： 计算器是一个自给自足的设备，不依赖外部网络或服务。 它通过太阳能或电池供电，不需要复杂的设置或更新。 计算器的功能简单直接，不收集用户数据，也不要求创建账户或登录。 这种技术产品在过去、现在和未来都能稳定运行，完全属于用户自己。 与现代技术的对比： 现代技术产品通常依赖互联网、需要账户注册、权限管理，并且频繁更新。 许多设备和应用程序通过数据收集、订阅模式等手段，逐渐侵蚀用户的隐私和控制权。 作者提到 CO2 监测器等现代设备，要求用户提供精确位置信息、创建账户等，来说明现代技术的复杂性和用户不友好性。 技术与资本主义的关系： 作者认为，现代技术的复杂性与资本主义公司追求最大化股东价值的目标有关。 通过数据收集、订阅服务等手段，公司可以在售卖产品的同时，持续从用户身上获利。 这种趋势导致技术产品变得越来越依赖用户数据，侵害用户的隐私和自主权。 对未来技术的期望： 作者希望技术产品能够像计算器一样，简单、可靠、用户至上。 他呼吁消费者通过抵制复杂、依赖性强的产品，来影响市场趋势。 开发者则应在设计产品时，考虑到用户体验和自主权，避免过度优化商业利益。 我爱计算器 2024年9月8日 前几天，我随意逛书店时，偶然发现了一本书：《总和帝国：掌上计算器的崛起与统治》。翻阅它的过程中，我突然有了一个强烈的感悟：我真的……爱……计算器。这里的“计算器”并不是指你今天可以购买和使用的实体设备，而是一种技术的结晶，也是一种哲学的象征。请看： 计算器是个奇妙的发明。通过手指操作，它仿佛成为你大脑的插件，扩展了你在算术方面的能力，让你思维更敏捷。而更神奇的是它的工作方式。计算器是一个完全独立的物理设备，它几乎不依赖外部技术环境。它只需要一点光（感谢它前面的太阳能板），或者电池，这些都很容易获得。你只需要花钱买它一次，它就永远属于你。只要按下“开机”键，它随时可以为你服务。如果你把这个小巧的设备带回几千年前，交给当时的人们，它也会正常工作，简直像是奇迹。 让我们对比一下我们现在习以为常的技术。计算器不需要联网，也不需要蓝牙权限。它不会询问你的位置信息，也不需要你创建账户或登录。它不会频繁提示你更新软件版本。你不必升级到什么带有正弦、余弦功能的“高级计算器+”版本。它不会硬着头皮变成一个多功能平台，也不需要你的信用卡信息，更不会追踪你的使用数据。它不会随机弹出窗口要求你评分或反馈，也不会在暗网上泄露你的数据或自动订阅什么通讯邮件。更不会因为服务器宕机而无法使用。所有的计算都在设备上完成，完全私密、安全，不会被记录。计算器就是你大脑的算术工具。它过去能用，现在能用，未来也能用。你买了它，它就是你的。它没有其他的附加要求，它只做它该做的事——如此完美。 相比之下，这款有上千好评的二氧化碳监测器却要求我必须创建账户、下载它的应用，并开启位置服务，才能告诉我房间内的二氧化碳含量。 那么，为什么我们的技术正逐渐变得如此复杂、臃肿，对用户不友好，充满反模式？一个常见的类比是，在资本主义经济中，公司可以被看作是在法规限制下，最大化股东价值的优化问题。如今的这些现象，是不是公司为了实现目标而过度优化的结果？为什么要卖产品，当你可以通过租赁来持续获利，并且最大化信息控制权，收集并货币化所有客户数据？政府是否在应对这些不利于用户的行业行为、外部成本和垄断问题时已经落后？作为消费者和开发者，我们应当记住并深刻感受技术本来的样子。技术可以像计算器那样简单、纯粹。也许不是所有的产品和服务都能做到，但它可以作为一种理念，一种可以不断追求的理想。作为消费者，我们可以更加意识到这种趋势，并通过影响公司利润来抵制这种趋势。而作为开发者，我们可以为优化目标增加一个意识形态的约束项。只有这样，我们才有可能找到真正的全局最优解。 这是一个资本主义经济中公司的数学模型，它可以被看作是解决一个二次规划优化问题。 以下是一些我觉得有趣且有启发的相关内容： Internet of shit 没有工业的技术 科技法官 过度追求效率使一切变得更糟

本文来自 Andrej Karpathy 的 blog，我这里将其翻译为了中文。 在这之前先介绍一下文章标题里一个名字：Licklider，他的全名是 J. C. R. Licklider 是计算机科学和互联网发展的先驱，他的愿景和研究为现代交互式计算和全球计算机网络（即互联网）的诞生奠定了基础。他不仅在技术上有远见，预见了图形计算、时间共享系统、网络计算等概念，还通过资助和管理关键项目推动了这些技术的实现。他的工作直接影响了诸如 ARPANET（互联网的前身）、人机交互界面、以及人工智能的早期发展。 早期生平与教育背景 Licklider 于 1915 年出生于美国密苏里州圣路易斯。他在华盛顿大学获得了物理、数学和心理学的学士学位，并在罗切斯特大学获得了心理学硕士和博士学位，专攻心理声学。 职业生涯与学术贡献 他早期在哈佛大学和麻省理工学院（MIT）任职，参与了 SAGE 项目（半自动地面环境），这是冷战时期的计算机辅助防空系统。 在 MIT，他负责了人机交互的研究，并在 1960 年发表了具有里程碑意义的论文《人机共生》，预见了未来计算机与人类合作的方式。 推动互联网的先驱 Licklider 是互联网概念的最早提出者之一，1962 年他在一系列备忘录中提出了 “Intergalactic Computer Network” 的设想，这一设想后来演变为 ARPANET。 他在 ARPA（高级研究计划署）担任信息处理技术办公室（IPTO）主任期间，资助了多个关键项目，包括 MIT 的 Project MAC 和斯坦福大学的研究，这些项目推动了时间共享技术和网络计算的发展。 人机共生与人工智能 Licklider 的研究重点是如何通过计算机增强人类智能，而不是完全取代人类。他提出的 “人机共生” 概念预见了计算机将承担繁琐的任务，从而帮助人类在科学和技术思维中做出更高层次的决策。 他还对人工智能持谨慎态度，认为计算机虽然可以在未来某天主导思维过程，但在短期内，人类仍然会设定目标并进行评估。 计算机网络与全球通信 Licklider 的愿景不仅限于个人计算机的交互式使用，他还预见了全球计算机网络的潜力。他的 1968 年论文《计算机作为通信设备》详细描述了计算机网络将如何支持跨地域的合作和交流，这一设想成为了现代互联网的基础。 其他贡献 Licklider 还在心理声学领域做出了重要贡献，提出了 “双重音高感知理论”，并进行了有关双耳语音去遮蔽效应的研究。 他是互动小说游戏公司 Infocom 的创始成员之一，推动了计算机游戏领域的发展。 Licklider 的远见卓识不仅影响了计算机科学的技术发展，还改变了人们对计算机在社会中的角色的理解。他的工作为现代计算机网络、人工智能和人机交互奠定了基础。 本文摘要 Licklider 在其 1960 年的文章《Man-Computer Symbiosis》中，提出了计算机作为“智能增强”工具的概念。他认为，虽然完全自动化（即人工智能，AI）可能是未来的终极目标，但智能增强（IA）这一阶段将持续足够长的时间，值得深入思考和研究。Licklider 还预测了计算机在人类生活中扮演的角色，尤其是军事和日常任务中的应用。然而，许多当时的预测由于技术和数据的限制未能实现，今天的计算机技术发展方向与他预期的有所不同。 智能增强与自动化的对比 Licklider 认为，计算机在未来会逐步从智能增强工具过渡到完全自动化。然而，尽管当时的研究对人工智能和广义人工智能（AGI）充满乐观，实际进展远未达到预期。今天，AI 领域的主流方法（如大语言模型，LLMs）在当时是不可想象的，因为当时的计算能力和数据规模都无法支持。...

本文中 Andrej Karpathy 提出了一个革命性的观点：神经网络不仅仅是机器学习工具箱中的另一个工具，而是软件开发方式的根本性转变，即从传统的“Software 1.0”过渡到“Software 2.0”。Software 1.0 依赖于人类编写的明确指令，而 Software 2.0 则基于数据集和神经网络架构，通过训练来生成程序。Karpathy 认为这种转变不仅提高了软件性能，还改变了编程范式，使得数据集的管理和优化成为软件开发的核心。 ➡️ Software 1.0 vs. Software 2.0 Software 1.0: 由人类程序员使用编程语言（如 Python、C++）编写明确的指令，逐行代码确定程序行为。 Software 2.0: 使用神经网络的权重表示程序，由数据集和神经网络架构定义，训练过程将数据集“编译”成最终的神经网络。 ➡️ 转变实例 视觉识别: 从工程化特征和机器学习模型（如 SVM）转变为使用大规模数据集和卷积神经网络（CNN）。 语音识别和合成: 从预处理和传统模型（如高斯混合模型和隐马尔可夫模型）转变为完全依赖神经网络（如 WaveNet）。 机器翻译: 从基于短语的统计技术转变为神经网络模型，特别是在多语言和弱监督环境中。 游戏: 从手工编码的程序（如围棋程序）转变为神经网络模型（如 AlphaGo Zero）。 数据库: 使用神经网络替代传统数据管理系统组件，提高速度和节省内存。 ➡️ Software 2.0 的优势 计算同质性: 神经网络主要由矩阵乘法和 ReLU 组成，简化了实现和优化。 易于硬件实现: 简单的指令集使得神经网络更容易在定制 ASIC 和神经形态芯片上实现。 恒定运行时间和内存使用: 每次前向传递所需的 FLOPS 和内存使用量是恒定的。 高度可移植: 矩阵乘法序列比传统二进制文件或脚本更容易在不同计算配置上运行。 灵活性: 可以通过调整网络结构和重新训练来快速适应新的性能需求。 模块融合: 可以通过反向传播优化相互交互的模块，提升整体性能。 ➡️ Software 2.0 的局限性 可解释性差: 大型神经网络的工作原理难以理解。 潜在的失败模式: 可能出现非直观和尴尬的错误，或“静默失败”，如训练数据中的偏见。 对抗样本和攻击: 反映了这种技术堆栈的非直观特性。 ➡️ 编程范式的变化...

本文来自 Andrej Karpathy 在红杉组织的 AI Ascent 2024 上的演讲视频，我用 Claude3 opus 提取了 Karpathy 提到的核心观点。 核心观点 目前各家公司都在努力构建一个 “LLM OS”，包括获取外围设备（文本、图像、音频等）作为输入，用LLM作为CPU，并连接到现有的软件基础设施上。未来可能会出现一些默认应用（如 Windows 系统自带的 Edge 浏览器），但也会有一个生机勃勃的生态系统。 目前 LLM 生态系统包括完全开源的模型(如Pythia、LLaMA等)、只开放权重的模型和专有模型。未来可能会类似于操作系统生态（如 Windows系统、Mac系统、Linux操作系统，而Linux 有无数的分发版本）。 规模化训练这些模型非常困难，是一个非常复杂的分布式优化问题。实际上，目前这方面的人才相当稀缺。 模型规模是最重要的，但还需要很多其他细节，如数据集准备、算法优化等。单纯给钱和算力还训练不出 SOTA（“State of the Art"的缩写，意为"最先进"或"最高水平）模型，还需要很多专业知识。 扩散模型和自回归语言模型是概率建模的两种形式，可能存在将二者统一的空间。目前模型能效还比人脑低几个数量级，未来可能的改进方向包括针对性的计算架构、低精度训练、稀疏性等。 马斯克管理公司的特点包括保持团队小而精干、办公室氛围紧张忙碌、鼓励无用会议早退、与基层工程师直接沟通、果断消除瓶颈等。 Karpathy 更关心 AI 生态系统的健康发展，而非某家公司。他希望生态像珊瑚礁一样丰富多彩，对巨头垄断持谨慎态度。 字幕详情 1 00:00:03,190 --> 00:00:06,535 我很高兴介绍我们的下一个也是最后一个演讲者, Andrej Karpathy. 2 00:00:06,894 --> 00:00:08,737 Karpathy可能不需要介绍. 3 00:00:08,797 --> 00:00:11,941 我们大多数人可能在YouTube上长时间观看过他的视频. 4 00:00:12,901 --> 00:00:17,588 他以深度学习研究闻名. 5 00:00:17,667 --> 00:00:22,452 他设计了斯坦福大学的第一个深度学习课程, 是OpenAI创始团队的一员. 6 00:00:23,454 --> 00:00:28,795 领导了特斯拉的计算机视觉团队, 现在又成为一个神秘人物, 因为他刚刚离开了OpenAI....