Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: FreeLLMAPI – 开源 AI 模型聚合平台,统一OpenAI兼容格式
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
FreeLLMAPI – 开源 AI 模型聚合平台,统一OpenAI兼容格式
Prompt 语宙 > AIGC 资讯 > FreeLLMAPI – 开源 AI 模型聚合平台,统一OpenAI兼容格式
AIGC 资讯

FreeLLMAPI – 开源 AI 模型聚合平台,统一OpenAI兼容格式

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:02
Gemini Kimi OpenAI 开源大模型 智谱AI
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 统一 OpenAI 兼容格式,对接官方 SDK、LangChain、LlamaIndex 只需改 base_url。
  • 聚合约 14 家平台免费额度,月总计约 13 亿 tokens,并支持自动故障转移与智能配额追踪。
  • 适合本地实验与原型验证,支持 SSE、Function Calling、仪表盘管理和轻量部署。

FreeLLMAPI是什么

FreeLLMAPI 是开源的 OpenAI 兼容代理服务,可将约 14 家 AI 服务商的免费额度聚合为单一 API 端点,每月总计约 13 亿 tokens 的免费推理额度。项目基于 TypeScript/Express 构建,支持自动故障转移、智能路由、密钥加密和用量追踪,专为个人开发者本地实验和原型验证设计。

阅读目录
  • FreeLLMAPI是什么
  • FreeLLMAPI的主要功能
  • 如何使用FreeLLMAPI
  • FreeLLMAPI的核心优势
  • FreeLLMAPI的项目地址
  • FreeLLMAPI的同类竞品对比
  • FreeLLMAPI的应用场景

FreeLLMAPI

FreeLLMAPI的主要功能

  • OpenAI 兼容 API 代理:对外暴露标准的 /v1/chat/completions 与 /v1/models 端点,兼容官方 OpenAI SDK、LangChain、LlamaIndex 等客户端,仅需修改 base_url 即可接入。
  • 多提供商免费额度聚合:同时接入 Google Gemini、Groq、Cerebras、SambaNova、NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、智谱 Z.ai、Moonshot Kimi、MiniMax 等约 14 家平台,每月总计约 13 亿 tokens 免费推理额度。
  • 自动故障转移:当首选提供商返回 429/5xx 或请求超时时,自动将其置为冷却状态,并按预设优先级链尝试下一家提供商,最多重试 20 次。
  • 智能速率与配额追踪:针对每个 (平台, 模型, 密钥) 组合实时跟踪 RPM、RPD、TPM、TPD 用量,确保始终调用未超限的健康密钥。
  • 粘性会话锁定:多轮对话在 30 分钟内锁定同一模型,防止中途切换模型导致输出质量跳变或上下文断裂。
  • AES-256-GCM 密钥加密:上游提供商的 API 密钥在 SQLite 数据库中静态加密,仅在发起请求前于内存中临时解密,降低密钥泄露风险。
  • 统一认证令牌管理:客户端使用单一的 freellmapi-… Bearer Token 访问代理,无需在代码中暴露多家上游真实密钥。
  • SSE 流式输出:完整支持 stream: true 的 Server-Sent Events 流式返回,兼容长文本逐字生成场景。
  • 工具调用(Function Calling):支持 OpenAI 风格的 tools / tool_choice 多轮工具调用流程,满足 Agent 开发需求。
  • 可视化仪表盘与 Playground:内置 React/Vite 管理后台,支持拖拽调整回退链优先级、在 Playground 中快速测试模型,并查看延迟、成功率、Token 用量等 24h/7d/30d 统计数据。
  • 轻量本地部署:基于 TypeScript/Express 构建,空载仅约 40MB RSS,可在树莓派等 ARM 设备上通过 PM2/systemd 常驻运行。

如何使用FreeLLMAPI

  • 克隆安装:git clone https://github.com/tashfeenahmed/freellmapi.git && cd freellmapi && npm install。
  • 配置密钥:cp .env.example .env 并生成 32 字节 ENCRYPTION_KEY 用于 AES-256-GCM 加密。
  • 启动服务:npm run dev 同时启动后端 API(:3001)和仪表盘(:5173)。
  • 添加上游 Key:在 https://localhost:5173 的 Keys 页面粘贴各平台免费 API Key。
  • 调整回退链:在 Fallback Chain 页面拖拽设置提供商优先级。
  • 获取统一 Token:在面板生成 freellmapi-… 单一 Bearer Token。
  • SDK 调用:修改 base_url="https://localhost:3001/v1",model 设为 "auto" 或具体模型名。
  • cURL 调用:向 https://localhost:3001/v1/chat/completions 发送标准 OpenAI 格式请求。
  • Playground 验证:在仪表盘 Playground 中直接输入提示词测试连通性与路由情况。
  • 后台常驻:通过 PM2 或 systemd 托管,可在树莓派等 ARM 设备长期运行。

FreeLLMAPI的核心优势

  • OpenAI 标准兼容:对外暴露 /v1/chat/completions 与 /v1/models 端点,支持官方 OpenAI SDK、LangChain、LlamaIndex 等任意兼容客户端,仅需修改 base_url 即可接入。
  • 14 家平台免费额度聚合:同时接入 Google Gemini、Groq、Cerebras、SambaNova、NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、智谱 Z.ai、Moonshot Kimi、MiniMax 等,每月总计约 13 亿 tokens 免费推理额度。
  • 自动故障转移:当首选提供商返回 429/5xx 或超时时,自动将其置为冷却并按优先级链尝试下一家,最多重试 20 次,保障服务连续性。
  • 智能速率与配额追踪:针对每个 (平台, 模型, 密钥) 组合实时跟踪 RPM、RPD、TPM、TPD 用量,始终选择未超限的健康密钥,避免手动切换。
  • 粘性会话机制:多轮对话在 30 分钟内锁定同一模型,防止中途切换模型导致输出质量跳变或上下文断裂。
  • AES-256-GCM 密钥加密:上游提供商 API 密钥在 SQLite 中静态加密,仅在发起请求前于内存中临时解密,用完即焚,降低密钥泄露风险。
  • 统一认证令牌:客户端只需使用单一的 freellmapi-… Bearer Token,无需在代码中暴露多家上游真实密钥,简化管理。
  • 完整流式与工具调用:支持 SSE 流式输出(stream: true)及 OpenAI 风格的 tools / tool_choice 多轮工具调用流程。

FreeLLMAPI的项目地址

  • GitHub仓库:https://github.com/tashfeenahmed/freellmapi

FreeLLMAPI的同类竞品对比

对比维度 FreeLLMAPI LiteLLM One API
项目定位 开源免费 LLM 额度聚合代理,专注个人本地实验与学习 开源多模型统一调用 SDK + 代理网关,面向开发者与企业级 AI Gateway 开源 API 分发管理系统,面向国内团队与企业级 Key 分发
GitHub Stars 500+ 41.8k+ 31.3k+
技术栈 TypeScript / Express + React / Vite Python(SDK + Proxy Server) Go(完整 Web 管理后台)
支持提供商 约 14 家免费平台(Gemini、Groq、Cerebras、GitHub Models、智谱等) 100+ 家(OpenAI、Anthropic、Azure、Bedrock、Vertex AI、HuggingFace 等) 国内模型覆盖最全(文心、通义、讯飞、智谱、Kimi、豆包等)+ 国际主流模型
免费额度聚合 核心能力,月总计约 13 亿 tokens 不支持自动聚合免费额度,需自备各厂商 Key 不支持自动聚合免费额度,需自备各厂商 Key
OpenAI 兼容 ✅ 标准 /v1/chat/completions ✅ 统一归一化为 OpenAI 格式 ✅ 统一转换为 OpenAI 格式
自动故障转移 ✅ 最多 20 次重试,冷却机制 ✅ 支持重试、Fallback、负载均衡 ✅ 支持负载均衡与故障切换
智能路由 ✅ 按速率配额自动选择健康密钥 ✅ 支持 least-busy、cheapest-completion 等多种策略 ✅ 按渠道优先级和权重路由
速率限制追踪 ✅ 实时跟踪 RPM/RPD/TPM/TPD ✅ 内置限速与预算管控 ✅ 支持 QPS/IP 限流与额度控制
密钥安全 ✅ AES-256-GCM 静态加密 + 统一 Token 依赖环境变量/配置文件,开源版无内置加密 集中式 Token 管理,支持密钥轮换
多租户/用户管理 ❌ 单用户本地运行 ✅ 支持多团队、多 Key、预算隔离 ✅ 完善的用户体系、充值、配额、分组管理
成本追踪 ❌ 无 ✅ 按项目/用户粒度追踪 Token 消耗 ✅ 渠道计费统计与用量分析
可视化界面 ✅ React 仪表盘 + Playground ❌ 无图形界面(开源版),依赖配置文件 ✅ 中文 Web 管理界面,运营友好
流式 / 工具调用 ✅ 完整支持 SSE 与 Function Calling ✅ 完整支持 ✅ 支持(New-API 增强函数调用)
部署难度 极低,npm run dev 一键启动 中等,需 Python/Docker/Helm 知识 低,Docker 一键部署

FreeLLMAPI的应用场景

  • 个人开发者本地实验与原型验证:项目明确面向个人学习与原型开发,将多家免费额度叠成单一本地 OpenAI 端点,无需付费即可快速验证 AI 应用创意。
  • 多平台免费额度聚合调用:同时接入 Gemini、Groq、Cerebras、GitHub Models、智谱等约 14 家平台的免费档,每月总计约 13 亿 tokens,适合需要大用量但预算有限的个人项目。
  • 低功耗设备常驻代理:空载仅约 40MB RSS,可在树莓派等 ARM 设备上通过 PM2/systemd 长期运行,作为家庭内网或边缘节点的轻量 AI 网关。
  • OpenAI 兼容接口学习:对外暴露标准 /v1/chat/completions 端点,适合学习或调试 OpenAI SDK、LangChain、LlamaIndex 等生态工具,仅需修改 base_url 即可切换。
  • 多模型快速对比测试:通过统一接口和 Playground 仪表盘,可在同一环境下快速对比不同免费提供商的响应质量、延迟与输出风格。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Google Gemini ↗
Google Gemini 是一款由 Google 提供的智能 AI 助手,可协助处理工作、学习和家庭事务。
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
OpenRouter ↗
AI 模型 API 聚合平台,一个接口调用400多个模型。
❓ 常见问题解答(FAQ)
FreeLLMAPI 适合哪些开发场景?

它主要面向个人开发者、本地实验和原型验证场景。由于提供 OpenAI 兼容接口、统一令牌和多平台免费额度聚合,适合快速测试聊天、流式输出和 Agent 工具调用能力。

FreeLLMAPI 如何接入 OpenAI SDK?

只需将客户端的 base_url 改为 FreeLLMAPI 的 /v1 地址,并使用统一的 freellmapi-… Bearer Token 即可。接口兼容 /v1/chat/completions 与 /v1/models,官方 OpenAI SDK 可直接调用。

FreeLLMAPI 的免费额度和容错能力怎么样?

文中提到它聚合约 14 家 AI 服务商的免费额度,每月总计约 13 亿 tokens;当首选提供商返回 429、5xx 或超时时,会自动切换到下一家,最多重试 20 次。

🔬 语宙深潜追问 · 进阶实操拆解
聚合多家模型接口怎么做才稳?

要做自动故障转移、限流和健康检查,并对不同供应商设置优先级。最好把密钥隔离、请求日志和用量统计做成独立层,避免单点失效拖垮整个应用。

这种平台最适合什么开发阶段?

最适合原型验证、个人项目和低预算实验,不适合生产级核心业务。因为免费额度和接口策略可能随时变化,正式上线前应准备可替换的付费备份方案。

🗳️ 读者观点微投票 · 您的实战立场是?
免费额度聚合API,最该警惕什么风险?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
⚡ 所属权威专题:OpenAI GPT 与 Sora 生态 →
  • New API:一站式开源AI大模型网关,统一接入OpenAI/Claude/Gemini等30+服务,Docker一键部署
  • GLM-4-Flash – 智谱AI推出的首个免费大模型API
  • llamafile:让大众轻松拥有大语言模型 (LLMs),甚至在您的个人电脑上 [译]
  • LM Studio – 开源、傻瓜、一站式部署本地大模型 (LLM) 的应用平台
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ForgeTrain – 面壁智能联合清华等开源的大模型预训练框架
MakerBox
豆包Seaweed – 字节跳动推出的AI视频生成模型,基于Transformer结构
Step-Video V2 – 阶跃星辰推出的升级版视频生成模型
LalaEval – 港中文联合货拉拉推出面向特定领域的模型评估框架
TAGGED:GeminiKimiOpenAI开源大模型智谱AI
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 LTXV-13B – Lightricks开源的最新视频生成模型 LTXV-13B – Lightricks开源的最新视频生成模型
下一篇 T2I-R1 – 港中文联合上海AI Lab推出文生图模型 T2I-R1 – 港中文联合上海AI Lab推出文生图模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

MLE-Agent – 工程师的AI智能助手,自动创建基线模型
AIGC 资讯

MLE-Agent – 工程师的AI智能助手,自动创建基线模型

Prompt 语宙研究院
AI编程 Claude OpenAI RAG检索增强 大模型微调
OmniSync:人大-快手-清华联合打造,通用对口型框架实现无限时长精准同步
AI 工具AIGC 资讯

OmniSync:人大-快手-清华联合打造,通用对口型框架实现无限时长精准同步

Prompt 语宙研究院
AIGC OmniSync 对口型框架 扩散变换器 视频同步技术
微软MAI-Image-2文生图模型全球前三:照片级真实感与精准文字生成,如何重塑AI创作与商业落地?
AI 工具AIGC 资讯

微软MAI-Image-2文生图模型全球前三:照片级真实感与精准文字生成,如何重塑AI创作与商业落地?

Prompt 语宙研究院
AIGC Arena.ai MAI-Image-2 微软 文生图模型
RAIN – 视频流制作实时动画生成和真人表情移植解决方案
AIGC 资讯

RAIN – 视频流制作实时动画生成和真人表情移植解决方案

Prompt 语宙研究院
AI视频生成 stable diffusion 大模型微调
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.