Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: AI 代理中间件:不完美的临时解决方案 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
AI 代理中间件:不完美的临时解决方案 [译]
Prompt 语宙 > 强化 AI 学习 > AI 代理中间件:不完美的临时解决方案 [译]
强化 AI 学习

AI 代理中间件:不完美的临时解决方案 [译]

宝玉的分享
最近更新: 2026年7月22日 下午1:27
AI智能体 ChatGPT Gemini Google Gemini OpenAI
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • AI 代理中间件主打统一调用、监控、缓存和密钥管理,但文章认为它只是临时方案。
  • 以 AIConfig 为例,可在同一流程中编排 Gemini Pro 与 GPT-4,并支持流式输出与回调。
  • 作者的核心结论是:这些能力不必依赖中间件,借助更优雅的框架和协议也能实现。
{ "name": "NYC Trip Planner", "description": "Intrepid explorer with ChatGPT and AIConfig", "schema_version": "latest", "metadata": { "models": { "gemini-pro": { "model": "gemini-pro" }, "gpt-4": { "model": "gpt-4", "max_tokens": 3000, "system_prompt": "You are an expert travel coordinator with exquisite taste." } }, "default_model": "gemini-pro" }, "prompts": [ { "name": "get_activities", "input": "Tell me 10 fun attractions to do in NYC.", "metadata": { "model": "gemini-pro" } }, { "name": "gen_itinerary", "input": "Generate an itinerary ordered by {{order_by}} for these activities: {{get_activities.output}}.", "metadata": { "model": "gpt-4", "parameters": { "order_by": "geographic location" } } } ]}
import asynciofrom aiconfig import AIConfigRuntime, InferenceOptionsasync def main(): # Load the aiconfig config = AIConfigRuntime.load('travel.aiconfig.json') # Run a Google Gemini prompt (with streaming) inference_options = InferenceOptions(stream=True) await config.run("get_activities", options=inference_options) # Run a GPT-4 prompt (same API!) await config.run("gen_itinerary", options=inference_options)asyncio.run(main())
from aiconfig import CallbackManager, CallbackEventimport pprintasync def custom_callback(event: CallbackEvent) -> None: """ This is a custom callback that prints the event to stdout. Args: event (CallbackEvent): The event that triggered the callback. """ print(f"Event triggered: {event.name}") pprint.pprint(event, width = 150)callback_manager = CallbackManager([custom_callback])config.set_callback_manager(callback_manager)

现有的监控、模型路由和提示管理架构尚不足以应对挑战。

阅读目录
  • AI 代理中间件面临的问题
  • 更佳选择 —— 框架替代代理
    • 与代理中间件的对比
  • 框架扩展
    • 评估
    • 本地实验
    • 治理与版本控制
  • 为什么存在这么多代理中间件?
  • 重视协议,超越框架

让我们来谈谈现在的情况。在大语言模型的操作流程中,正逐渐出现一个新概念:AI 代理中间件。

AI 代理中间件是一种特殊的服务,它作为桥梁连接着您的应用程序和模型推理提供商,比如 OpenAI、Hugging Face 等。这种中间件在生成式 AI 开发流程中扮演着关键角色,负责整合以下几个重要步骤:

  • 使用统一的 API(通常是改编了 openai.chat.completions API,加入了自定义的 baseUrl)来调用各种不同的模型,如 LLaMA、GPT 系列、Mixtral。
  • 监控使用情况、响应时间、成本等。
  • 对推理请求进行缓存和流量控制。
  • 管理用于模型推理的 API 密钥。

AI 代理中间件位于你的应用和模型推理服务提供商之间。
AI 代理中间件位于你的应用和模型推理服务提供商之间。

然而,我们认为这种架构并非解决这些问题的最佳方案。相反,我们提出了一个观点 — 并通过实践证明 — 这些中间件所提供的功能,可以通过避开中间件、采用更为优雅的框架和协议来实现。

AI 代理中间件面临的问题

AI 代理尝试解决的动机问题是既实际又重要的:

  1. 关注点分离: 将模型特定逻辑从应用程序代码中分离出来。
    让应用程序可以通过相同统一的 API 接口调用不同的模型,避免了处理特定于模型的 API 的需要。这样,开发者可以在同一个应用程序流程中调用不同的模型,同时使用相同的 API(例如,使用 GPT-4 处理复杂的提示,使用 LLaMA 或 Mixtral 处理简单的提示)。
  2. 监控 应用程序使用生成式 AI 的情况、响应时间和成本。
  3. 缓存 推理请求,采用语义缓存,并控制请求频率。
  4. 管理不同推理服务提供商的 API 密钥

把这些功能集成到一个代理中间件中,引入了一系列新的且可避免的问题:

  • 单体设计 – 监控、可观测性和缓存在现有的软件开发流程中已经是独立的、成熟的概念,每个领域都有其专用的系统。它们不应该被一个代理服务所整合。
  • 安全风险:在应用程序与模型提供商之间增加了这一不必要的服务层,导致了额外的安全隐患,需要通过加密请求和用户特定数据来解决。
  • 延迟和难以调试:代理使得与大语言模型 (大语言模型) 提供商的通信需要两次跳转,可能会导致性能下降。此外,一旦出现问题,调试的可见性也非常有限。
  • 本地与远程的差异:这个服务层对本地运行的模型不适用,而随着模型越来越小且效率更高,本地模型的重要性正逐渐增加。

更重要的是,许多这类代理中间件是由第三方提供商作为封闭的管理服务提供的。这就形成了一个关键的外部依赖,而且没有备用策略。

更佳选择 —— 框架替代代理

我们认为,可以用一个开源的 AI 框架和存储格式来取代 AI 代理层。这样不仅能提供一个统一的 API,还能连接到相关服务以分别处理监控、缓存和密钥管理。

为此,我们推出了 AIConfig —— 一种以配置文件为核心的框架,用于管理提示、模型和推理设置,这些设置都是可以通过 JSON 格式序列化的。

这些配置文件是应用程序中生成式 AI 的关键组成部分,可以进行版本控制、评估、监控,并且能在一个像笔记本一样的实验环境中进行编辑。换言之,它们能够无缝融入当前开发者的工作流程中。

AI 代理中间件:不完美的临时解决方案 [译]

尽管市场上存在其他 AI 框架,但 AIConfig 的两个主要特点是:

  1. 提示、模型和推理设置被存储为配置文件,而不是代码。
  2. 它采用了一个与模型无关且支持多种模式的通用存储格式,使得在不同模型间的切换变得简单直接。

与代理中间件的对比

我们来重新审视一下代理中间件的功能,并尝试在不借助中间人的情况下实现相同的功能。具体来说,我们将采用不依赖单体架构的方法来完成这一目标。

AI 代理中间件:不完美的临时解决方案 [译]

将单体服务分解为其组成部分后,您可以利用现有的服务提供商来进行数据推断、监控、缓存和密钥管理系统(KMS)等操作。

✅ 关注点分离 — 从应用程序代码中分离出模型特定逻辑。

AIConfig 的设计允许您将提示的存储和迭代过程与应用程序代码分开进行。它为任何模型和各种形式提供了统一的 API 接口。

例如,这个 aiconfig 利用 Gemini 和 GPT-4 创建了一个旅行规划应用程序:

您可以通过同一个 API 调用任何一个模型:

✅ 监控

该框架提供了回调处理程序,用于注册使用情况跟踪。

其核心理念是,对生成式 AI 的监控并不与监控其他服务有太大的不同。生成式 AI 的监控应当简单地融入到您对应用程序其他部分的监控体系中(如 datadog、cloudwatch、prometheus 等)。

AI 代理中间件:不完美的临时解决方案 [译]

现有监控服务可以轻松集成到各种框架中

✅ 缓存

例如 GPTCache,这样的优秀解决方案已经存在于语义缓存领域。与代理相比,框架允许您直接并轻松地与最适合的工具集成,以实现最佳效果。

✅ API 密钥管理

我们认为管理 API 密钥并不是一个新的问题 — 已经有了很好的密钥管理服务(KMS)可供使用,这些服务也可以用于管理推断端点的密钥。

框架扩展

除了以上内容,还有一些其他关键部分在生成式 AI 工作流程中对构建生产级应用程序至关重要。框架使得使用现有工具来分析和处理这些部分成为可能:

评估

开发者通过创建一个专门的配置文件,可以为其定义评估标准,并且每当配置发生变化时,自动在持续集成/持续部署 (CI/CD) 流程中启动这些评估。

更多关于生成式 AI 评估的信息,请参阅 这里。

本地实验

一个框架能够把生成式 AI 的试验和产品化过程整合到一个流程中。比如,aiconfig 既可以在类似于笔记本的交互式编辑环境中使用,进行视觉编辑和快速原型设计,也可以在应用程序代码中发挥作用。

治理与版本控制

作为一种版本控制工具,aiconfig 能够确保应用中生成式 AI 部分的重现性和来源可追溯性。

更多关于基于框架和配置驱动的 AI 应用开发的详细信息,请查看这个指南。

了解更多:https://github.com/lastmile-ai/aiconfig

为什么存在这么多代理中间件?

如上所述,代理中间件旨在解决当前生成式 AI 工作流程中存在的实际问题。它们也是生成式 AI 开发过程中一个关键环节的便捷接入点。在竞争激烈的市场中,这是一种创建“黏性”依赖的方式。

但如果仅从开发者的视角来看,这些代理所提供的功能理应被拆分为更具扩展性的框架,从而可以连接到外部服务。

重视协议,超越框架

本文的核心观点是,我们需要建立一个标准的交互模型。这个模型应明确规定应用程序在不同模型提供者之间的工作方式、生成式 AI 组件的评估方法、监控方式等(本文还没有涉及智能体交互的内容)。

将这种交互模式标准化为一种协议,将使开发者的整体工作流程更加高效,促进生成式 AI 领域的开发者生态系统更加开放。我们最初的想法是受到了电子邮件的 SMTP 协议和 IDE 中的 LSP(语言服务协议) 的启发。

我们需要一个专门的生成式 AI 协议,它应包括:

  • 提示、模型和推理设置的统一存储格式
  • 运行推理的统一 API,包括路由处理
  • 评估生成式 AI 组件的标准
  • 监控和回调机制
  • 数据缓存
  • 实验和用户体验优化

AIConfig 正是朝这一方向迈出的一步,我们期待与社区合作,共同推动这一进程。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Google Gemini ↗
Google Gemini 是一款由 Google 提供的智能 AI 助手,可协助处理工作、学习和家庭事务。
ChatGPT ↗
OpenAI 研发的通用人工智能对话大模型,支持多模态交互与深度推理。
Gemini ↗
Google推出的AI聊天对话机器人Gemini。
❓ 常见问题解答(FAQ)
AI 代理中间件主要解决什么问题?

它主要负责把应用与模型提供商之间的调用、监控、缓存、流量控制和密钥管理统一起来,让开发者用相似接口接入不同模型,降低多模型集成成本。

文章为什么认为中间件不是最佳方案?

作者认为这些能力并非只能靠中间件实现;通过更优雅的框架和协议,同样可以完成统一编排、监控与路由,而且架构更简洁,减少额外依赖。

AIConfig 在文中起到什么作用?

AIConfig 被用作示例,展示如何加载配置、调用不同模型、支持流式推理和自定义回调,说明多模型编排可以在应用层直接完成。

🔬 语宙深潜追问 · 进阶实操拆解
代理中间件最该保留哪些能力?

最有价值的是可观测性、密钥管理、路由和失败重试,而不是把所有逻辑都塞进统一层。若协议和框架已经足够成熟,就应把业务编排尽量下沉到应用层,减少中间件成为新的耦合点。

如何避免中间件把系统越做越重?

把中间件限定为基础设施,不承载业务规则;同时建立清晰边界:日志、缓存、鉴权归中间层,任务编排和策略决策归应用层。这样既能保留治理能力,又不会让抽象层吞掉开发效率。

🗳️ 读者观点微投票 · 您的实战立场是?
AI 代理中间件,是刚需还是过渡品?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
⚡ 所属权威专题:OpenAI GPT 与 Sora 生态 →
  • 整合人工智能的两大策略 [译]
  • OpenAI发布GPT-5.1:自适应推理引擎,让AI思考更像人类
  • Helper AI助手
  • Gemini 2.0 Flash Thinking – 谷歌推出的最新推理模型,支持百万上下文展示思考路径
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Peach App
08-07 AIGC 早报
GPT‑5.3 Instant – OpenAI 推出的轻量级对话模型
三星拟掷 10 亿欧元押注Mistral:欧洲AI独立的底气,正被资本重新定价
Twee AI课程
TAGGED:AI智能体ChatGPTGeminiGoogle GeminiOpenAI
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 CEO 与他的三个秘密信封 [译] CEO 与他的三个秘密信封 [译]
下一篇 2024 年软件工程 KPIs 的问题及其解决之道 [译] 2024 年软件工程 KPIs 的问题及其解决之道 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

InstructMove – 东京大学联合 Adobe 推出基于指令的图像编辑模型
AIGC 资讯

InstructMove – 东京大学联合 Adobe 推出基于指令的图像编辑模型

Prompt 语宙研究院
Adobe ChatGPT ComfyUI stable diffusion 大模型微调
英伟达Nemotron 3 Super开源发布:1200亿参数Mamba-MoE架构,智能体推理速度提升3倍,性能直逼Claude Opus 4.6
AI 工具AIGC 资讯

英伟达Nemotron 3 Super开源发布:1200亿参数Mamba-MoE架构,智能体推理速度提升3倍,性能直逼Claude Opus 4.6

Prompt 语宙研究院
AI智能体 AI编程 Claude HuggingFace Mamba-MoE Nemotron 3 Super 开源大模型 英伟达
VersaGen – 实现文本到图像合成中视觉控制能力的生成式 AI 代理
AIGC 资讯

VersaGen – 实现文本到图像合成中视觉控制能力的生成式 AI 代理

Prompt 语宙研究院
AI智能体 AI绘画提示词 stable diffusion 大模型微调
Agent-Reach – 开源 AI Agent 工具,能一键获取互联网内容
AIGC 资讯

Agent-Reach – 开源 AI Agent 工具,能一键获取互联网内容

Prompt 语宙研究院
AI智能体 Claude Claude Code Cursor OpenClaw
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.