感谢大家在 HN 和 Twitter 上的评论和问题！我们临时组织了一个 Twitter Space 讨论这个话题，有超过 1000 名人工智能工程师 参与。《人工智能工程师的崛起》还在其他 播客中被提及。

我们正在见证应用人工智能的世代转变，这得益于基础模型的能力提升以及开源和 API 的普及。

许多曾经在 2013 年需要 5 年 和一个研究团队才能完成的 AI 任务，现在只需要在 2023 年查阅 API 文档并花一个下午的时间就能实现。

“从数量上看，人工智能工程师可能会比机器学习工程师/大语言模型工程师多得多。即使从未训练过任何模型，也可以在这个角色中取得成功。” - Andrej Karpathy

然而，细节决定成败——在成功评估、应用和产品化人工智能时面临许多挑战：

• 模型： 从评估最大的 GPT-4 和 Claude 模型，到最小的开源 Huggingface、LLaMA 和其他模型

• 工具： 从流行的链式、检索和向量搜索工具如 LangChain、LlamaIndex 和 Pinecone，到新兴的自主智能体如 Auto-GPT 和 BabyAGI（由 Lilian Weng 提供的概述）

• 新闻： 每天发表的论文和模型数量激增，跟上这一切几乎成为一项全职工作。

我非常认真对待这件事。我认为这是一项全职工作。软件工程将产生一个新的子学科，专门应用人工智能并有效利用新技术，就像“站点可靠性工程师”、“DevOps 工程师”、“数据工程师”和“分析工程师”的出现一样。

这种新兴角色的最佳版本似乎是：人工智能工程师。

我知道的每家初创公司都有某种 #discuss-ai Slack 频道。这些频道将从非正式的小组转变为正式的团队，就像 Amplitude、Replit 和 Notion 已经做的那样。成千上万的软件工程师在公司时间或在夜晚和周末在公司 Slack 或独立的 Discord 上为 AI API 和开源模型的生产化工作，他们将专业化并趋向于一个称谓——人工智能工程师。这将是未来十年需求最高的工程职位。

人工智能工程师可以在 Microsoft 和 Google 等大公司，Figma（通过 Diagram 收购）、Vercel（例如 Hassan El Mghari 的病毒 RoomGPT）和 Notion（例如 Ivan Zhao 和 Simon Last 的 Notion AI）等前沿初创公司，以及独立黑客如 Simon Willison、Pieter Levels（来自 Photo/InteriorAI）和 Riley Goodside（现在在 Scale AI）中找到。他们在 Anthropic 做提示工程 赚取 $300k/年，在 OpenAI 做软件赚取 $900k。他们在 AGI House 在周末开发创意，并在 /r/LocalLLaMA 分享技巧。他们共同点是，将人工智能的进步快速转化为被数百万用户使用的实际产品。

没有一个 PhD 的身影。在发布 AI 产品时，需要的是工程师，而不是研究员。

我是在关注这种趋势，而不是引发它。在 Indeed 上有十倍于 机器学习工程师 职位的 人工智能工程师职位，但“人工智能”增长率更高，这让我预测这种比例将在五年内倒置。

所有职位名称都有缺陷，但有些是有用的。我们既对无休止的关于 AI 和 ML 之间区别的语义争论感到警惕和疲惫，也深知普通的“软件工程师”角色完全能够构建 AI 软件。然而，最近一个 Ask HN 问题关于如何进入 AI 工程领域 说明了市场上仍然存在的根本认知：

大多数人仍然认为 AI 工程是一种机器学习或数据工程的形式，因此他们推荐相同的先决条件。但我 保证，上述所有高效的 AI 工程师都没有完成相当于 Andrew Ng 的 Coursera 课程的工作，他们也不知道 PyTorch，也不知道 Data Lake 和 Data Warehouse 之间的区别。3。

在不久的将来，没有人会推荐通过阅读《Attention is All You Need》开始AI 工程，就像你不会通过阅读福特 Model T 的示意图开始驾驶一样。当然，理解基础和历史总是有帮助的，有助于你找到尚未普及的想法和效率/能力提升。但有时候你可以通过使用产品并通过经验了解它们的特性。

我不指望这种课程表的“翻转”会在一夜之间发生。人们天生就想充实简历，填写市场地图，并通过引用更深入的主题以更权威的方式脱颖而出。换句话说，提示工程和 AI 工程在很长一段时间内将让具备良好数据科学/机器学习背景的人感到逊色。然而，我认为供需经济学最终会占上风。

• 基础模型 是“少样本学习者”，表现出 上下文学习 和 零样本迁移 能力，这些能力超出了模型训练者的原始意图。换句话说，创建模型的人并不完全知道它们的能力。那些不是大语言模型研究人员的人能够通过花更多的时间与模型相处，并将它们应用于研究价值低估的领域（例如，用于撰写文案的 Jasper）来发现和利用这些能力。

• Microsoft、Google、Meta 和大型基础模型实验室已经垄断了稀缺的研究人才，本质上提供“人工智能研究即服务”API。你不能雇用他们，但你可以租用他们——如果你有一端的软件工程师知道如何使用他们。世界上大约有 5000 名大语言模型研究人员，但有大约 5000 万名软件工程师。供给限制决定了一个“中间”类的人工智能工程师将崛起以满足需求。

• GPU 囤积。当然，OpenAI/Microsoft 是第一个，但 Stability AI 强调他们的4 4000 GPU 集群，开启了初创公司 GPU 军备竞赛。

  

  从那时起，新初创公司如 Inflection（$13 亿）、Mistral（$1.13 亿）、Reka（$5800 万）、Poolside（$2600 万）和 Contextual（$2000 万）筹集了大量种子轮资金，以便拥有自己的硬件。Dan Gross 和 Nat Friedman5 甚至宣布了 Andromeda，他们的 $1 亿、10 exaflop GPU 集群专为他们投资的初创公司而设。全球芯片短缺6 正在 反射性地 导致更多的短缺。在 API 另一端将有更多的容量供人工智能工程师使用模型，而不是训练它们。

• 火，准备，瞄准。与其要求 数据科学家/机器学习工程师 在训练单个领域特定模型之前进行费力的数据收集工作，然后将其投入生产，不如让 产品经理/软件工程师 进行大语言模型的 prompt，构建/验证产品创意，然后获取具体数据进行微调。

  

  假设后者比前者多 100-1000 倍，并且由大语言模型 prompt 原型的“火，准备，瞄准”工作流程让你比传统的机器学习快 10-100 倍。那么，人工智能工程师将能够以 1000-10000 倍更低的成本验证 AI 产品。这是瀑布与敏捷的重演。人工智能是敏捷的。

• Python + JavaScript。数据/人工智能传统上极为 Python 中心化，最早的人工智能工程工具如 LangChain、LlamaIndex 和 Guardrails 也出自该社区。然而，JavaScript 开发人员至少与 Python 开发人员一样多，因此现在的工具越来越多地迎合这个广泛扩展的受众，从 LangChain.js 和 Transformers.js 到 Vercel 的新 AI SDK。市场规模扩展和机会至少扩大了 100%。

• 生成式 AI 与分类器 ML。“生成式 AI”7 作为一个术语已经不再受欢迎，取而代之的是其他类比，如“推理引擎”，但在简明地表达现有 MLOps 工具和 ML 从业人员与最擅长使用大语言模型和文本到图像生成器的全新、截然不同的人群之间的差异时仍然有用。现有的机器学习可能专注于 欺诈风险、推荐系统、异常检测和特征存储，而人工智能工程师则在构建 写作应用程序、个性化学习工具、自然语言电子表格和类似 Factorio 的可视化编程语言。8

每当一个子群体出现，它有完全不同的背景，说着不同的语言，产生完全不同的一组产品，并使用完全不同的一组工具，他们最终会分裂成自己的群体。

6 年前，Andrej Karpathy 写了一篇非常有影响力的文章，描述了 软件 2.0 - 对比了通过手工编码编程语言精确建模逻辑的“经典堆栈”和通过机器学习的神经网络近似逻辑的新堆栈，使软件能够解决比人类建模更多的问题。他今年跟进指出，最热门的新编程语言是英语，最终填补了他在原文中留空的灰色区域。