# AI 工程师的崛起 [译] - Link: https://paooo.com/ai-study/7069/ - Published: 2024-03-13T12:19:13+08:00 - Author: 宝玉的分享 ⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点 * AI 工程师的核心不是训练模型，而是把开源模型与 API 快速产品化。 * GPT-4、[Claude](https://paooo.com/aigc-news/)、LangChain、LlamaIndex、Pinecone 等工具降低了 AI 应用门槛。 * 作者预测 AI 工程师需求将快速增长，未来职位占比可能反超传统机器学习工程师。 ### 新兴技能的出现催生了一个新职称：要掌握这些技能，我们需要超越简单的命令行编程，转而开发 _软件_。 --- **我们正见证了一场每代人仅见一次的 AI 应用“向右转变”**，这种变化是由新兴技能和基础 模型的开源/API 的普及推动的。 阅读目录 - [新兴技能的出现催生了一个新职称：要掌握这些技能，我们需要超越简单的命令行编程，转而开发 软件。](https://paooo.com/ai-study/7069/#%e6%96%b0%e5%85%b4%e6%8a%80%e8%83%bd%e7%9a%84%e5%87%ba%e7%8e%b0%e5%82%ac%e7%94%9f%e4%ba%86%e4%b8%80%e4%b8%aa%e6%96%b0%e8%81%8c%e7%a7%b0%e8%a6%81%e6%8e%8c%e6%8f%a1%e8%bf%99%e4%ba%9b%e6%8a%80%e8%83%bd) * [AI 与 ML 工程师的角色逆转](https://paooo.com/ai-study/7069/#ai-%e4%b8%8e-ml-%e5%b7%a5%e7%a8%8b%e5%b8%88%e7%9a%84%e8%a7%92%e8%89%b2%e9%80%86%e8%bd%ac) * [AI 工程师为何成为新兴职业](https://paooo.com/ai-study/7069/#ai-%e5%b7%a5%e7%a8%8b%e5%b8%88%e4%b8%ba%e4%bd%95%e6%88%90%e4%b8%ba%e6%96%b0%e5%85%b4%e8%81%8c%e4%b8%9a) * [1+2=3: 代码在软件 2.0 向软件 3.0 演化中的关键作用](https://paooo.com/ai-study/7069/#123-%e4%bb%a3%e7%a0%81%e5%9c%a8%e8%bd%af%e4%bb%b6-20-%e5%90%91%e8%bd%af%e4%bb%b6-30-%e6%bc%94%e5%8c%96%e4%b8%ad%e7%9a%84%e5%85%b3%e9%94%ae%e4%bd%9c%e7%94%a8) * [汇聚时刻 – AI 工程师峰会](https://paooo.com/ai-study/7069/#%e6%b1%87%e8%81%9a%e6%97%b6%e5%88%bb-8211-ai-%e5%b7%a5%e7%a8%8b%e5%b8%88%e5%b3%b0%e4%bc%9a) * [我们是建造者](https://paooo.com/ai-study/7069/#%e6%88%91%e4%bb%ac%e6%98%af%e5%bb%ba%e9%80%a0%e8%80%85) 在 **2013** 年，很多 AI 任务需要 5 年时间和一个研究团队 才能完成，而现在在 **2023** 年，只需要阅读一下 API 文档，抽出一个下午的时间就能搞定。 ![AI 工程师的崛起 [译]](https://paooo.com/wp-content/uploads/2024/02/a81555af-0b76- 4a61-9b53-595e3d47580a_1005x317.webp) 就像我们在 Twitter Space 上讨论的那样，API 的边界是可以穿透的 – AI 工程师可以选择 去调整或托管模型，而研究工程师也可以选择利用 API 构建新应用！不过，他们各自的专长 和主攻方向是十分明确的。 > _“就数量而言，AI 工程师可能会远远多于机器学习工程师或大语言模型工程师。一个人在 > 这个角色中可以非常成功，甚至不需要亲自训练任何模型。”_ – Andrej Karpathy 不过，挑战总是藏在细节之中 – 在成功评估、应用和产品化 AI 方面，我们面临着无尽的挑战： * **模型：** 从评估最大型的 GPT-4 和 Claude 模型到小型的开源 Huggingface、LLaMA 和其他模型 * **工具**: 从最流行的链式检索和向量搜索工具（例如 LangChain、LlamaIndex 和 Pinecone） 到新兴的自主[智能体](https://paooo.com/trends/)领域（比如引人注目的 Auto-GPT 和 BabyAGI，强烈推荐阅读 Lilian Weng 的总结） * **新闻**: 此外，每天发布的论文、模型和技术方法的数量呈现出 指数级增长，随着兴趣 和投资的增加，保持最新进展几乎成了一项全职工作。 我认真并且实际上将此视为一份全职工作。**我确信这** **_就是_** **一份全职工作**。 我相信软件工程会催生一个新的专业领域，这个领域将专注于 AI 的应用并有效利用新兴技术。 就像我们看到的“网站可靠性工程师”、“运维工程师”、“数据工程师”和“分析工程师”的出现 一样。 这个新兴角色中最受期待且不那么尴尬的是：**AI 工程师** 1。 我所知的每个创业公司都有一个 `#discuss-ai` Slack 讨论频道。这些频道将从非正式小组 发展成为正式团队，就像 Amplitude、Replit 和 Notion 已经做到的那样。无数的软件工程 师，无论是在公司时间还是在业余时间，都在 Slack 或独立的 Discord 中努力使 AI API 和开源模型商业化，他们将走向专业化，并最终共同拥有一个称号——AI 工程师。**这很可能 会成为这十年内最受追捧的工程职业。** AI 工程师的身影无处不在，从 Microsoft、Google 这样的科技巨头，到像 Figma（通过 Diagram 收购），Vercel（比如 Hassan El Mghari 开发的火爆 RoomGPT）以及 Notion（例如 Ivan Zhao 和 Simon Last 推动的 Notion AI）等领先的初创企业，再到独立黑客如 Simon Willison、 Pieter Levels（Photo/InteriorAI 的创始人）和 Riley Goodside（现任 Scale AI 员工）。 他们在 Anthropic 从事提示工程，年薪达 300k 美元；在 [OpenAI](https://paooo.com/tag/openai/) 开发软件，年薪高达 900k 美元。他们利用空闲周末在 AGI House 探索新想法，并在 /r/LocalLLaMA2 分享心得。他们共同的特点是，将 AI 的最新进展迅速转化为数以百万计用户使用的实用产品。 而且，他们中没有一个是博士。**在 AI 产品的开发和推广方面，你需要的是实干的工程师， 而非理论研究人员**。 ## AI 与 ML 工程师的角色逆转 这里我想指出的是一个已经出现的趋势，而不是我在开创这个趋势。在 Indeed 网站上，“机器 学习工程师”的职位数量是“AI 工程师”的十倍。然而，由于 AI 领域的增长速度更快，我预测 这种比例在未来五年将会完全颠倒。 ![AI 工程师的崛起 [译] - 配图 2](https://baoyu.io/images/ai/the-rise-of-the-ai-engineer/ 28975621-0539-4b0b-9b3c-186d240513e2_600x400.svg) 来自 HN Who’s Hiring 的每月职位趋势图 虽然所有的职位名称都不是完美的，但有些名称确实有其用处。我们对于 AI 和 ML 之间的 语义辩论感到既警惕又厌烦。我们很清楚，即使是普通的“软件工程师”也完全有能力开发 AI 软件。不过，近期在 HN 上的一个问题“如何成为 AI 工程师”揭示了市场上仍然存在的一个 普遍观念： ![AI 工程师的崛起 [译]](https://paooo.com/wp-content/uploads/2024/02/fdceef7d-fac9- 4660-8bf4-fb5944ff17ab_806x992.webp) 2023 年 6 月的截图：HN 上对“如何成为 AI 工程师”问题的最受欢迎回答 现在，大多数人还是将 AI 工程视为机器学习或数据工程的一种。因此，他们建议学习相似 的基础课程。但我可以_肯定地告诉_你，我所提到的那些杰出的 AI 工程师们_没有_一个人 完成过与 Andrew Ng 在 Coursera 上的课程相当的工作，他们也不熟悉 PyTorch，甚至不清楚 数据湖 (Data Lake) 和数据仓库 (Data Warehouse)3之间的区别。 **未来，没有人会建议** **_通过阅读《注意力就是一切》(Attention is All You Need)_**** 来开始学习 AI 工程，** 正如你不会通过阅读福特 T 型车的设计图纸来学开车一样。当然， 了解基础知识和历史总是有益的，这有助于你发现一些尚未被普遍认识的创意和效率/能力上 的提升。但有时候，你只需_直接使用_产品并通过实践来理解它们的特点。 我并不认为这种课程内容的转变会一夜之间发生。出于人性，人们总是希望自己的简历更加 丰富、在市场上更具竞争力，并通过引用更深层次的话题来彰显自己的权威。也就是说，对于 那些拥有扎实数据科学/机器学习背景的人来说，Prompt Engineering 和 AI 工程还需要很_ 长时间_才能得到认可。但我相信，最终市场的需求和供给规律会发挥作用。 ## AI 工程师为何成为新兴职业 * **基础模型** 被视为“少样本学习者 (few shot learners)”，它们展现了 在上下文中学习( in-context learning) 和 零样本迁移 (zero shot transfer) 的强大能力，这些能力甚至 超出了模型创造者的预期。也就是说，_创造这些模型的人并不完全清楚它们的全部潜力_。 非大语言模型 (LLM) 研究人员可以通过更多地与模型互动，并把它们应用于研究较少关注 的领域（比如 Jasper 在文案创作上的应用），来挖掘并利用这些潜能。 * **微软 (Microsoft)、谷歌 (Google)、Meta 以及其他大型基础模型实验室已经独占了稀 缺的研究人才**，它们基本上提供了一种“AI 研究即服务”API。你可能雇不到这些人才， 但可以租用他们的服务 — 只要你团队中有懂得如何利用这些服务的软件工程师。尽管全球 大约只有 5000 名大语言模型研究者，但软件工程师的数量却高达约 5000 万。供应的局限性 使得“AI 工程师”这一新兴职业类别应运而生，以迎合日益增长的需求。 * **GPU 囤积现象**。显然，OpenAI/Microsoft 首当其冲，但 Stability AI 通过强调他们 拥有的 4000 GPU 集群 开启了初创企业之间的 GPU 军备竞赛。 * ![AI 工程师的崛起 [译]](https://paooo.com/wp-content/uploads/2024/02/3a5b2c3c- 4c5b-44cb-af75-818946b1adc5_1464x694.webp) * 还记得 2022 年 10 月 的情形吗？ 自从那时起，新兴公司如 Inflection (13亿美元)，Mistral(13 亿美元)，Mistral (1.13 亿美元)，Reka (5800万美元)，Poolside(5800 万美元)，Poolside (2600 万美元) 和 Contextual( $2000 万美元) 筹集巨额种子资金以购买自己的硬件设备已成常态。Dan Gross 和 Nat Friedman5 甚至宣布了他们的 Andromeda 计划，这是一个价值 1 亿美元、计算能力达 10 艾弗洛普（ exaflop）的 GPU 集群，专门为他们所投资的初创公司提供支持。目前全球的芯片短缺6 正在 反过来加剧这种短缺现象。在 API 界限的另一边，AI 工程师将拥有更多的能力去_使用_模型， 而非亲自训练它们。 * **先行动，再准备，最后瞄准。** 与其让_数据科学家/机器学习工程师_在将单一领域 特定模型投入生产前进行繁重的数据收集，不如让_产品经理/软件工程师_直接使用大语言 模型（LLM），构建并验证产品概念，之后再根据具体数据进行微调。 ![图像链接](https://paooo.com/wp-content/uploads/2024/02/6035ddd2-418d-421d-aebd- 6893c32bb6dd_1579x266.webp) 图像链接 想象一下，如果后者的数量是前者的 100 到 1000 倍，那么以提示为基础的大语言模型（LLM） 原型的 “先行动再调整” 工作流程，能让我们的工作速度比传统机器学习（ML）快 10 到 100 倍。这意味着 AI 工程师可以以更低的成本（大约低 1000 到 10000 倍）来验证 AI 产品。 这就像是重温瀑布式开发与敏捷开发之间的对比，AI 正在成为敏捷开发的新形式。 * **Python + JavaScript**。在数据/AI 领域，Python 一直占据着主导地位，首批 AI 工程 工具，如 LangChain、LlamaIndex 和 Guardrails，都源自这个社区。但是，JavaScript 开发者的数量至少与 Python 开发者一样多，因此现在的工具越来越多地迎合这一更广泛 的受众，从 LangChain.js 和 Transformers.js 到 Vercel 的新 AI SDK 都在扩展它们 的服务范围。这意味着市场的总体机会至少增长了 100%。 * **生成式 AI 与分类器 ML**。虽然 “生成式 AI” 7 这个术语渐渐不再流行，转而被诸如“ 推理引擎” 这样的词汇所替代，但它在区分现有的 MLOps 工具和 ML 从业者与新兴的、 与众不同的大语言模型和文本到图像生成器使用者之间的差异方面，仍然有其独特的表述 价值。与之前专注于欺诈风险、推荐系统、异常检测和特征库的 ML 世代不同，如今的 AI 工程师们正忙于开发写作应用、个性化学习工具、自然语言处理的电子表格和类似 Factorio 的可视化编程语言。8 每当出现一个具有独特背景、使用不同语言、创造全新产品集合并采用一套截然不同工具的 亚群体时，它们最终都会形成自己独立的群体。 ## 1+2=3: 代码在软件 2.0 向软件 3.0 演化中的关键作用 六年前，Andrej Karpathy 发表了一篇颇具影响力的文章，阐述了软件 2.0的概念。他将传统 的手工编码编程语言与新兴的“机器学习”神经网络作了对比。传统语言精确模拟逻辑，而神经 网络则通过近似模拟，使软件能解决更多超出人类模型能力的问题。今年，他又进一步指出， 现在最受欢迎的新编程语言是英语，填补了他最初文章中留下的一个灰色空白区域。 ![AI 工程师的崛起 [译]](https://paooo.com/wp-content/uploads/2024/03/094e6082-1e2d- 46de-ba73-f555341bcd34_895x519.webp) > 最新消息：Karpathy 对此发表了看法，但表示了不同意见！ 去年，随着人们开始使用 GPT-3 和 Stable Diffusion，Prompt Engineering 成为了一种关于 职业变革的流行观点。AI 创业公司被戏称为“OpenAI 包装器”，同时，LLM 应用程序显示出 对提示注入和逆向提示工程的脆弱性。这是否意味着它们没有竞争优势？ 2023 年的一个显著趋势是**重塑人类编写代码的作用**，以此来增强和补充大语言模型（LLM） 的能力。这一趋势从价值超过 2 亿美元的 Langchain 大型企业到Nvidia 支持的 Voyager都有 所体现，凸显了代码生成和复用的重要性。我最近参与了一场与 Harrison 的链条对比 AI 智能体的网络研讨会，在会上我深入讨论了代码核心应用与 LLM 核心应用的主题。 ![Image](https://paooo.com/wp-content/uploads/2024/03/55d13fad-b282-4d9c-9258-d63a507ee002_2736x1494. webp) Image 软件架构的主要分歧在于：“建立在智能之上的软件”与“智能化软件”。 虽然 Prompt Engineering 曾被过度宣传，但它仍将持续存在。在软件 3.0 应用中重现的软件 1.0 范式不仅是一个充满机遇和混乱的领域，也为许多初创公司提供了发展空间： ![AI 工程师的崛起 [译]](https://paooo.com/wp-content/uploads/2024/03/6a51a8e5-59d3- 4e36-a0b7-d8f88ba5c028_1196x861.webp) 如果你不进行市场定位，那你还算是一名风险投资家吗？ 显然，未来的编程不会仅限于人类所写。我最近参与的项目，如 smol-developer、更广泛应用 的 gpt-engineer，以及其它代码生成工具，比如 Codium AI、Codegen.ai 和 Morph/Rift， 都预示着它们将成为 AI 工程师的标准工具。随着人类工程师逐渐掌握利用 AI 的技巧，AI 在工程设计领域的应用也会日益增多。直到将来的某一天，当我们抬头仰望，我们可能已经 分不清楚人类与 AI 的界限了。 ## 汇聚时刻 – AI 工程师峰会 对于需要交流思想和技术的构建者来说，我们在举办了几个月的小型聚会后，现在正式宣布 举办首个独立且以构建者为中心的 AI 会议：**AI 工程师峰会**！ ![AI 工程师的崛起 [译]](https://paooo.com/wp-content/uploads/2024/03/25e79b47-293b- 42f8-8770-70ca1b59e67b_500x308.webp) 欢迎浏览我们的专属网站 – ai.engineer！ 如果你对本文内容感同身受，我们期待将顶尖的 AI 工程师、创始人和投资者汇集一堂，共同 探索最新技术、参与或指导工作坊。在这里，你可能找到从实用新工具到下一位新同事或合作 伙伴的一切。 这是一个**关键的会议**，我们将讨论过去一年在这个通讯和我们的播客中涵盖的所有内容， 以及更多： * AI 用户体验 * AI 开发工具 * AI 基础设施 * AI 智能体 * 新的大语言模型工具，包括 Langchain、向量数据库等 * 开源模型（训练、微调、推理、评估） 我在运营社区方面拥有丰富的经验，但这是我第一次组织一个 500 人规模的会议。为此，我 与Reactathon的Ben Dunphy合作，我们将在旧金山（及在线 – 他上一次的会议吸引了超过 20,000 名远程参与者）举办这场最佳的 AI 工程师会议。 **期待你的加入 ai.engineer!** _我们正在同时招募演讲嘉宾和赞助商（欢迎与我们取得联系！）。_ ## 我们是建造者 关注行业动态的人可能已经发现，我们逐步调整了 Latent Space 播客和简报，以更好地服务 于 AI 工程师这一群体。对我来说，最令人振奋的是能够针对这些对技术充满乐观并富有实践 精神的听众服务。Marc Andreesen 最近指出，大部分公众关于 AI 的讨论充斥着极端的恐惧 和偏执。他批评了那些专门从事“AI 安全专家”、“AI 伦理学家”、“AI 风险研究员”等职业的 人，他们似乎总是传递悲观情绪。与此同时，还有一些不太严肃的加速主义者和令人难以忍受 的 foomer threadbois，他们在 Twitter 上整天谈论遥不可及的乌托邦未来，却鲜少行动。 **AI 工程师将会驾驭并运用 Shoggoth**。 我们要让这成为可能。 --- _更多讨论可以在 Hacker News 和 Twitter 上找到。_ **\*作者的话**: 我特别感激我的联合主持人 Alessio Fanelli 来自 Decibel，以及 Sarah Guo 和 Pranav Reddy 来自 Conviction，他们对这篇文章的草稿提出了宝贵的意见和支持。 当然，还要感谢 Ben Dunphy 同意与我共同创办 AI 工程师会议 系列活动和社群。非常感谢！* 1 我们考虑过一些职称，比如“基础模型工程师”，“AI API 开发者”，“大语言模型（LLM）工程 师”，但这些都不够口语化。相对来说，“提示工程师”听起来简洁，但却没能全面涵盖我们正在 见证的 Code Core, LLM Shell 的发展。还有一个称呼是“MLOps 工程师”，不过这个职位通常 被认为是一个长期专注于基础层面机器学习问题的著名群体 — 我们会在文章后面对此进行详细 讨论。最后，“AI Tinkerer”这个由 Alex Gravely（Copilot 的有争议的？发明者）推广的 称呼，听起来颇有趣味性，但似乎不够正式。 2 我在 GitHub 上的 AI 播客、新闻简报和社区资源列表是持续更新的。 3 并且可能还不足以在白板上讲解 Transformer。 4 关于 Stability 和 AWS 在集群上的关系，目前还有很多讨论，因此最好是听听 Emad 本人 怎么说。 5 我正在尝试为它们创造一些数字化缩写。g12n？ 6 目前，我们面临的主要是 Nvidia 芯片的短缺问题。正因如此，George Hotz 的 Tinycorp 在使流行的开源模型能够在 AMD 显卡上运行方面显得尤为重要。此外，Mosaic 的 LLMFoundry 同样报告了 AMD 显卡的兼容性。 7 值得庆幸的是，现在有了“Gen AI”。 8 当然，如果能够将两个学科完美结合，就能创造出像 Character.ai 这样的杰出成果。它是 由 Transformer 论文的合著者创立的，有效地利用了大语言模型 (LLM) 的生成能力。 🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航） **HuggingFace ↗** HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大 模型等实用方向。 **LangChain ↗** 开发由语言模型驱动的应用程序的框架。 **Anthropic ↗** Anthropic：人工智能安全和研究公司，面向大语言模型场景提供便捷实用的在线功能支持， 涵盖智能工具等实用方向 ❓ 常见问题解答（FAQ） AI 工程师和机器学习工程师有什么区别？ 文中强调，AI 工程师更偏向用现成模型、API 和开源工具做应用与产品化；机器学习工程师 则更常涉及模型训练、评估与底层优化。两者边界可交叉，但主攻方向不同。 不会训练模型也能做 AI 工程师吗？ 可以。文章明确提到，一个人即使不亲自训练任何模型，也能在 AI 工程角色中非常成功。 关键能力是评估模型、组合工具、快速构建产品，并把最新进展转化为可用功能。 学习 AI 工程应该先学什么？ 作者认为不必把《Attention is All You Need》或传统课程当作唯一入口。更有效的方式是 直接使用模型、API 和开源工具，在实践中理解能力边界，再补充必要的基础知识。 🔬 语宙深潜追问 · 进阶实操拆解 AI工程师最该补哪些核心能力？ 重点不是训练大模型，而是产品化能力：提示设计、RAG、评测、数据管道和部署监控。能把 模型接进真实业务，并持续迭代效果，才是核心竞争力。 一个下午做出AI产品，瓶颈在哪？ 原型很快，但真正耗时的是数据清洗、权限控制、成本优化和效果评估。能跑通 demo 不难， 难的是让它稳定、可维护、可交付。 🗳️ 读者观点微投票 · 您的实战立场是？ AI工程师会成为新一代热门岗位吗？ 🕸️ 语宙向量知识图谱 · 语义强关联深度内链 [💻 所属权威专题：Claude & AI 编程 / MCP →](https://paooo.com/topics/claude-mcp-coding/) * [人工智能辅助程序员的三种类型 [译]](https://paooo.com/ai-study/7095/) * [AI 与训练 AI 替代自己的工人的矛盾 [译]](https://paooo.com/ai-study/8661/) * [吴恩达：AI 智能体工作流引领人工智能新趋势 [译]](https://paooo.com/ai-study/8662/) * [“提示工程师”：一个即将过时的职业 [译]](https://paooo.com/ai-study/8625/) [🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战 分享专栏，聚焦海外一手 AI 技术动态与工程实践。 [📄 Markdown 纯净版](https://paooo.com/ai-study/7069/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)