# 构建产品副驾驶（Copilot）的痛点 [译]

- Link: https://paooo.com/ai-study/8615/
- Published: 2024-10-20T12:17:27+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 构建产品副驾驶不是线性流程，而是探索、实施、评估到产品化的反复迭代。
 * 六大痛点集中在提示工程、编排、多轮工作流、测试评估、安全合规和开发者体验。
 * 工具机会主要在提示编写/调试、效果追踪、自动化评测，以及一站式 AI 集成方案。

###  直译

2/4/2024

阅读目录

 * [直译](https://paooo.com/ai-study/8615/#%e7%9b%b4%e8%af%91)
    - [构建副驾驶的过程](https://paooo.com/ai-study/8615/#%e6%9e%84%e5%bb%ba%e5%89%af%e9%a9%be%e9%a9%b6%e7%9a%84%e8%bf%87%e7%a8%8b)
    - [痛点](https://paooo.com/ai-study/8615/#%e7%97%9b%e7%82%b9)
    - [工具的机遇](https://paooo.com/ai-study/8615/#%e5%b7%a5%e5%85%b7%e7%9a%84%e6%9c%ba%e9%81%87)
 * [反思](https://paooo.com/ai-study/8615/#%e5%8f%8d%e6%80%9d)
 * [意译](https://paooo.com/ai-study/8615/#%e6%84%8f%e8%af%91)
    - [构建副驾驶的过程](https://paooo.com/ai-study/8615/#%e6%9e%84%e5%bb%ba%e5%89%af%e9%a9%be%e9%a9%b6%e7%9a%84%e8%bf%87%e7%a8%8b)
    - [挑战](https://paooo.com/ai-study/8615/#%e6%8c%91%e6%88%98)
    - [工具发展的机遇](https://paooo.com/ai-study/8615/#%e5%b7%a5%e5%85%b7%e5%8f%91%e5%b1%95%e7%9a%84%e6%9c%ba%e9%81%87)

![一张展示工程师们正在构建机器人的插图。](https://paooo.com/wp-content/uploads/2024/
10/buildingcopilot.webp)

一张展示工程师们正在构建机器人的插图。

_这篇文章是我们论文《构建你自己的产品副驾驶（Copilot）：挑战、机遇与需求》的非正式
总结。更多详情请见预印本。感谢我的合作者们，来自 Microsoft 的 Chris Parnin、Gustavo
Soares、Rahul Pandita、Jessica Rich 和 Sumit Gulwani。_

---

各地的公司正在推出_副驾驶_——利用大语言模型 (LLMs) 来协助任务的 AI 助手。例如，Office
副驾驶帮助你使用 Word 和 Excel，GitHub 副驾驶帮助你编写代码，Intuit Assist 在 TurboTax
中帮助你报税，Adobe Firefly 帮助你生成和编辑图片，Dropbox AI 回答有关你文档的问题。

![一个展示两个副驾驶示例的截图。左边是 Excel，右边是 Windows。](https://paooo.com/
wp-content/uploads/2024/10/productcopilots.webp)

一个展示两个副驾驶示例的截图。左边是 Excel，右边是 Windows。

鉴于生成式 AI 被整合到产品中的突然激增，我们想知道软件工程师构建这些产品的**过程**
是什么，有哪些**痛点**，以及工具有哪些**机遇**。

为此，我们对来自各种公司、正在研发副驾驶的 26 名开发者进行了半结构化访谈。我们定性
分析了他们的回应以识别主题。然后，我们与工具构建者进行了两次焦点小组会议，会议内容
包括回顾我们的访谈发现和头脑风暴可能的解决方案。

####  构建副驾驶的过程

鉴于大语言模型的非确定性特性，它改变了典型的软件开发过程。我们模拟了我们访谈中的
开发者所遵循的高层过程：探索、实施、评估和产品化。它不是线性的，而是杂乱且迭代的。

![一个展示构建副驾驶的高层过程的图表，包括每个步骤的示例活动。](https://paooo.com/
wp-content/uploads/2024/10/buildingcopilotprocess.webp)

一个展示构建副驾驶的高层过程的图表，包括每个步骤的示例活动。

例如，产品团队需要承担额外的风险。他们必须识别他们认为使用大语言模型可行解决的业务
场景，尝试各种技术以看看是否有效（例如，大语言模型、嵌入、向量数据库），评估是否
足够好，然后他们必须将其推送给实际用户。

所有这些任务中的每一个都给开发者带来了痛点。

####  痛点

我们将开发者在构建副驾驶时面临的痛点归类为 6 个基本主题：

 *  **提示工程**耗时并需要大量的试错。此外，解析输出是乏味的，需要在使用更多上下文
   和使用更少的 token 之间找到平衡。另一个问题是管理提示、提示模板、什么有效、什么
   无效，以及为什么对它们进行了更改。正如一位开发者所说，_“这更多是一门艺术而非科学”_。
 *  **编排**多个数据源和提示并非易事。系统尝试检测用户的意图并通过多个提示引导工作
   流程，但这增加了失败案例的表面积。规划和多轮工作流也受到追求，但证明更难以控制。
   正如许多开发者告诉我们的，它会_”脱轨”_。
 *  **测试**是软件开发的基础，但涉及到大语言模型时变得艰难。每个测试都是一个不稳定
   的测试。一些开发者进行多次单元测试并寻求共识。其他人试图构建可以用来衡量提示或
   模型如何影响结果的大型基准，但这需要专业知识并且成本高昂。什么时候算是_”足够好”_？
 *  **最佳实践**是许多开发者寻求的，他们通过关注 Twitter 标签或阅读 arXiv 论文来
   学习，但这并不可扩展，他们也不知道哪些资源是好的。该领域发展迅速，需要开发者_”
   抛弃他们所学的一切并重新思考。”_
 *  **安全、隐私和合规**是每个人心中的担忧。它需要防护栏以防止副驾驶造成损害，但
   你也不能收集关于其使用方式的遥测数据，因为这会引起用户数据的隐私问题。安全审查
   是软件工程师正在经历的一项新的、通常是乏味的任务。
 *  **开发者体验**是任何参与构建副驾驶的人的痛点。虽然有新工具，如 Langchain，但
   它们经常不会超越原型。例如，提示通常只是源代码中的字符串变量。开发者不得不学习
   并比较许多新工具，而不是专注于客户问题。然后他们必须将这些工具粘合在

一起。

####  工具的机遇

在我们与专业工具构建者的焦点小组会议中，我们确定了几个工具、流程和技术的机遇，以
帮助开发者构建副驾驶。

 * 需要对提示进行编写、验证和调试支持。例如，一个提示 linter 可以提供快速反馈。开发
   者还请求一个常见任务提示片段的库或_”工具箱”_。此外，追踪提示更改的效果将具有巨大
   价值。
 * 缺乏透明度和控制经常让用户感到困惑。例如，用户通常不清楚 AI 可以访问哪些信息或
   可以执行哪些操作。
 * 开发者希望自动化方法来衡量他们的 AI 或一个捕捉用户反馈的工具。不幸的是，开发者
   也表达了不想学习统计学或机器学习指标，如 BLEU。
 * 为项目整合 AI 的一站式解决方案仍然是一个挑战。开发者正在寻找一个快速入门的地方，
   从游乐场过渡到 MVP，将他们的各种数据源连接到提示中，然后高效地将 AI 组件移入他们
   现有的代码库。

---

这仍然是产品副驾驶的狂野西部。看到软件工程将如何通过新流程或工具在接下来的几年内
演变，将会非常有趣。

---

###  反思

直译过程中，有几个方面的问题需要注意并在意译中进行调整：

 1. **专业术语和概念的翻译**：在直译中，尽管保留了原文的术语（如 LLMs, embeddings, 
    vector databases），但对于中文读者而言，这些术语可能仍旧难以理解。在意译时，可以
    在第一次出现这些术语时提供简短的解释或等价的中文术语，以增强文章的可读性。
 2. **文本流畅性和表达习惯**：直译的结果在一些地方可能读起来不够流畅，或者表达方式与
    中文习惯不符。例如，”prompt engineering is time consuming” 直译为 “提示工程耗时”，
    在中文中可能更自然的表达是 “构建提示过程耗时且复杂”。
 3. **上下文的清晰度**：有些句子在直译后可能会失去一部分上下文的清晰度，比如在讨论痛点
    时，需要更明确地指出这些痛点是在开发副驾驶的过程中遇到的，以及它们为什么会成为痛点。
 4. **例子和比喻的本地化**：”wild, wild west of product copilots” 这样的表达在中文中
    可能没有直接的对应表达，需要找到更符合中文读者习惯和文化背景的比喻来替换。

---

###  意译

2024 年 2 月 4 日

![一张展示工程师们正在构建机器人的插图。](https://paooo.com/wp-content/uploads/2024/
10/buildingcopilot.webp)

一张描绘工程师们正在建造机器人的图画。

_这篇文章是我们关于《构建你自己的产品副驾驶：挑战、机遇与需求》论文的非正式概述。
详细信息请参阅预印本。感谢我在 Microsoft 的合作伙伴：Chris Parnin、Gustavo Soares、
Rahul Pandita、Jessica Rich 和 Sumit Gulwani。_

---

全球各地的公司正纷纷推出_副驾驶_——这些基于大型语言模型 (LLM) 的 AI 助手旨在帮助人们
完成各种任务。例如，Office 副驾驶能帮你处理 Word 和 Excel 文件，GitHub 副驾驶协助
编程，Intuit Assist 在 TurboTax 中助你报税，Adobe Firefly 助你创作和编辑图片，而
Dropbox AI 则回答有关文档的问题。

![一个展示两个副驾驶示例的截图。左边是 Excel，右边是 Windows。](https://paooo.com/
wp-content/uploads/2024/10/productcopilots.webp)

两个副驾驶示例的截图，左侧是 Excel，右侧是 Windows。

鉴于生成式 AI 正快速融入各种产品，我们希望探索软件工程师在构建这些产品时的具体**
流程**、遇到的**挑战**，以及开发工具的**潜在机遇**。

为此，我们对从事副驾驶开发的 26 名来自不同公司的开发者进行了半结构化访谈，通过定性
分析他们的反馈识别出一系列主题。接着，我们又举办了两场与工具开发者的焦点小组讨论
会，讨论访谈结果并集思广益寻找可能的解决方案。

####  构建副驾驶的过程

大型语言模型的非确定性特质，使得传统的软件开发流程发生了变化。我们根据访谈总结出
开发者遵循的高层流程：探索、实现、评估和产品化。这个过程不是线性的，而是充满混乱
和迭代的。

![展示构建副驾驶高层过程的图表，包括每个步骤的

示例活动。](https://paooo.com/wp-content/uploads/2024/10/buildingcopilotprocess.
webp)

比如，产品团队需要面对额外的风险。他们得确定那些他们认为可以通过大型语言模型解决
的业务场景，尝试各种技术（比如 LLM、嵌入技术、向量数据库）以验证其可行性，评估其
效果是否达标，然后向终端用户推出产品。

开发者在执行这些任务时遇到了各种各样的挑战。

####  挑战

我们将构建副驾驶过程中开发者面临的挑战归类为六大主题：

 *  **提示工程**不仅耗时，还需要反复试验。解析输出的过程也很繁琐，需要在提供更多
   上下文信息和减少 Token 使用之间找到平衡。还有就是管理提示、提示模板、哪些有效、
   哪些无效以及对它们所做更改的原因等问题。一位开发者形容，_“这更像是一门艺术而不是
   科学”_。
 *  **编排**多个数据源和提示的过程复杂。系统尝试侦测用户意图并通过多个提示导向工作
   流程，但这增加了失败的可能性。规划和多轮工作流程同样备受期待，但实际操作起来更加
   困难。正如许多开发者所说，过程很容易_”偏离轨道”_。
 *  **测试**是软件开发的基础，但在涉及到大型语言模型时变得格外困难。每次测试都可能
   出现不稳定的结果。有的开发者会进行多次单元测试并寻找一致性。还有些人尝试建立大型
   基准测试来评估提示或模型变化的影响，但这既需要专业知识也需要成本。什么时候算是_”
   足够好”_成了一个问题。
 *  **最佳实践**是许多开发者寻求的，他们通过关注 Twitter 标签或阅读 arXiv 论文来
   学习，但这种方法无法扩展，且难以判断哪些资源是可靠的。这个领域发展迅速，让开发
   者感到需要_”放弃他们已有的所有知识并重新思考”_。
 *  **安全、隐私和合规**是每个人都在关心的问题。需要设置防护措施来防止副驾驶造成
   损害，但同时不能收集用户数据的遥测信息，因为这会触及用户隐私。进行安全审查成了
   软件工程师的一项新的、通常很繁琐的任务。
 *  **开发者体验**是所有参与构建副驾驶的人的一大挑战。虽然有如 Langchain 这样的新
   工具，但它们通常难以超越原型阶段。比如，提示往往只是源代码中的字符串变量。开发
   者必须学习和比较许多新工具，而不是专注于解决客户问题。然后，他们还需要将这些工具
   整合到一起。

####  工具发展的机遇

在我们与工具开发专业人士的焦点小组讨论中，我们发现了几个用于帮助开发者构建副驾驶
的工具、流程和技术的机遇。

 * 对于提示的编写、验证和调试需要更多的支持。例如，一个提示校验器可以提供即时反馈。
   开发者还希望有一个包含常见任务提示片段的库或_”工具箱”_。此外，追踪提示变更的效果
   也极具价值。
 * 用户经常因为缺乏透明度和控制而感到困惑。例如，对于用户来说，AI 可以访问哪些信息
   或能执行哪些操作常常不明显。
 * 开发者希望有自动化的方法来衡量他们的 AI，或是一个可以捕获用户反馈的工具。遗憾
   的是，他们也表示不愿意学习统计或机器学习的指标，比如 BLEU。
 * 为项目整合 AI 的一站式解决方案仍然是个挑战。开发者正在寻找一个可以快速入门、从
   原型过渡到最小可行产品 (MVP)、将各种数据源与提示连接起来，然后高效地将 AI 组件
   融入现有代码库的解决方案。

---

这仍是产品副驾驶的探索初期。未来几年，软件工程的演变，无论是通过新流程还是新工具，
都将是非常值得关注的现象。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Copilot ↗**

微软推出的网页版Copilot助手。

**Adobe Firefly ↗**

Adobe Firefly：Adobe旗下的创意生成模型，数，面向AI 绘画生成场景提供便捷实用的在线
功能支持。

**LangChain ↗**

开发由语言模型驱动的应用程序的框架。

❓ 常见问题解答（FAQ）

构建产品副驾驶最难的环节是什么？

文章指出最难的不是单点模型能力，而是把 LLM 融入真实产品流程：提示工程反复试错、多个
数据源与提示的编排、评测不稳定，以及安全隐私和合规要求叠加，导致整体落地复杂度很高。

为什么说副驾驶开发像“狂野西部”？

因为这一领域变化快、工具碎片化、最佳实践不稳定。开发者既要不断尝试新模型和新工具，
又缺少统一的方法论与可复用的调试、评测、追踪体系，所以很难形成成熟标准。

企业做 Copilot 应该优先补哪些工具能力？

优先补提示编写与调试、提示变更追踪、自动化评测、用户反馈收集，以及从原型到 MVP 再到
代码库集成的一站式流程能力。这些能力最能缓解开发者在落地中的核心痛点。

🔬 语宙深潜追问 · 进阶实操拆解

Copilot 评测体系该怎么搭？

先按真实任务拆成准确性、可用性、引用一致性和安全四类指标，再用金标集+回放流量做离
线评测，最后接入线上 A/B 与人工抽检，避免只看单次回答质量。

企业 Copilot 最容易踩哪些坑？

常见是需求过早产品化、上下文接入不全、权限与审计缺失、以及把模型当搜索引擎。建议
先限定高频场景，补齐数据治理和失败兜底，再逐步开放能力。

🗳️ 读者观点微投票 · 您的实战立场是？

企业级 Copilot 落地，先拼提示工程还是评测体系？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[💻 所属权威专题：Claude & AI 编程 / MCP →](https://paooo.com/topics/claude-mcp-coding/)

 * [构建企业级大语言模型应用的秘诀：GitHub Copilot 的实践之路 [译]](https://paooo.com/ai-study/7058/)
 * [我们是如何利用大语言模型 (LLM) 改进 GitHub Copilot 的探索之旅 [译]](https://paooo.com/ai-study/7074/)
 * [得物实战揭秘：AI Coding工具如何突破数仓开发’失忆’痛点，Harness工程引领新范式](https://paooo.com/aigc-news/17361/)
 * [现代大语言模型应用架构 [译]](https://paooo.com/ai-study/7022/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/8615/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
