# FreeLLMAPI – 开源 AI 模型聚合平台，统一OpenAI兼容格式

- Link: https://paooo.com/aigc-news/18864/
- Published: 2026-06-07T22:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 统一 [OpenAI](https://paooo.com/tag/openai/) 兼容格式，对接官方 SDK、LangChain、
   LlamaIndex 只需改 base_url。
 * 聚合约 14 家平台免费额度，月总计约 13 亿 tokens，并支持自动故障转移与智能配额
   追踪。
 * 适合本地实验与原型验证，支持 SSE、Function Calling、仪表盘管理和轻量部署。

## FreeLLMAPI是什么

FreeLLMAPI 是开源的 OpenAI 兼容代理服务，可将约 14 家 AI 服务商的免费额度聚合为单一
API 端点，每月总计约 **13 亿 tokens** 的免费推理额度。项目基于 TypeScript/Express
构建，支持自动故障转移、智能路由、密钥加密和用量追踪，专为个人开发者本地实验和原型
验证设计。

阅读目录

 * [FreeLLMAPI是什么](https://paooo.com/aigc-news/18864/#freellmapi%e6%98%af%e4%bb%80%e4%b9%88)
 * [FreeLLMAPI的主要功能](https://paooo.com/aigc-news/18864/#freellmapi%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [如何使用FreeLLMAPI](https://paooo.com/aigc-news/18864/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8freellmapi)
 * [FreeLLMAPI的核心优势](https://paooo.com/aigc-news/18864/#freellmapi%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [FreeLLMAPI的项目地址](https://paooo.com/aigc-news/18864/#freellmapi%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [FreeLLMAPI的同类竞品对比](https://paooo.com/aigc-news/18864/#freellmapi%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [FreeLLMAPI的应用场景](https://paooo.com/aigc-news/18864/#freellmapi%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![FreeLLMAPI](https://paooo.com/wp-content/uploads/2026/06/FreeLLMAPI-website-1.
avif)

## FreeLLMAPI的主要功能

 * **OpenAI 兼容 API 代理**：对外暴露标准的 `/v1/chat/completions` 与 `/v1/models`
   端点，兼容官方 OpenAI SDK、LangChain、LlamaIndex 等客户端，仅需修改 `base_url`
   即可接入。
 * **多提供商免费额度聚合**：同时接入 Google Gemini、Groq、Cerebras、SambaNova、
   NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、
   智谱 Z.ai、Moonshot Kimi、MiniMax 等约 14 家平台，每月总计约 **13 亿 tokens**
   免费推理额度。
 * **自动故障转移**：当首选提供商返回 429/5xx 或请求超时时，自动将其置为冷却状态，
   并按预设优先级链尝试下一家提供商，最多重试 20 次。
 * **智能速率与配额追踪**：针对每个 `(平台, 模型, 密钥)` 组合实时跟踪 RPM、RPD、
   TPM、TPD 用量，确保始终调用未超限的健康密钥。
 * **粘性会话锁定**：多轮对话在 30 分钟内锁定同一模型，防止中途切换模型导致输出质量
   跳变或上下文断裂。
 * **AES-256-GCM 密钥加密**：上游提供商的 API 密钥在 SQLite 数据库中静态加密，仅
   在发起请求前于内存中临时解密，降低密钥泄露风险。
 * **统一认证令牌管理**：客户端使用单一的 `freellmapi-…` Bearer Token 访问代理，
   无需在代码中暴露多家上游真实密钥。
 * **SSE 流式输出**：完整支持 `stream: true` 的 Server-Sent Events 流式返回，兼容
   长文本逐字生成场景。
 * **工具调用（Function Calling）**：支持 OpenAI 风格的 `tools` / `tool_choice` 
   多轮工具调用流程，满足 [Agent](https://paooo.com/trends/) 开发需求。
 * **可视化仪表盘与 Playground**：内置 React/Vite 管理后台，支持拖拽调整回退链优先
   级、在 Playground 中快速测试模型，并查看延迟、成功率、Token 用量等 24h/7d/30d
   统计数据。
 * **轻量本地部署**：基于 TypeScript/Express 构建，空载仅约 40MB RSS，可在树莓派
   等 ARM 设备上通过 PM2/systemd 常驻运行。

## 如何使用FreeLLMAPI

 * **克隆安装**：`git clone https://github.com/tashfeenahmed/freellmapi.git && cd
   freellmapi && npm install`。
 * **配置密钥**：`cp .env.example .env` 并生成 32 字节 `ENCRYPTION_KEY` 用于 AES-
   256-GCM 加密。
 * **启动服务**：`npm run dev` 同时启动后端 API（`:3001`）和仪表盘（`:5173`）。
 * **添加上游 Key**：在 `https://localhost:5173` 的 **Keys** 页面粘贴各平台免费 
   API Key。
 * **调整回退链**：在 **Fallback Chain** 页面拖拽设置提供商优先级。
 * **获取统一 Token**：在面板生成 `freellmapi-…` 单一 Bearer Token。
 * **SDK 调用**：修改 `base_url="https://localhost:3001/v1"`，`model` 设为 `"auto"`
   或具体模型名。
 * **cURL 调用**：向 `https://localhost:3001/v1/chat/completions` 发送标准 OpenAI
   格式请求。
 * **Playground 验证**：在仪表盘 Playground 中直接输入提示词测试连通性与路由情况。
 * **后台常驻**：通过 PM2 或 systemd 托管，可在树莓派等 ARM 设备长期运行。

## FreeLLMAPI的核心优势

 * **OpenAI 标准兼容**：对外暴露 `/v1/chat/completions` 与 `/v1/models` 端点，支持
   官方 OpenAI SDK、LangChain、LlamaIndex 等任意兼容客户端，仅需修改 `base_url` 
   即可接入。
 * **14 家平台免费额度聚合**：同时接入 Google Gemini、Groq、Cerebras、SambaNova、
   NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、
   智谱 Z.ai、Moonshot Kimi、MiniMax 等，每月总计约 **13 亿 tokens** 免费推理额度。
 * **自动故障转移**：当首选提供商返回 429/5xx 或超时时，自动将其置为冷却并按优先
   级链尝试下一家，最多重试 20 次，保障服务连续性。
 * **智能速率与配额追踪**：针对每个 `(平台, 模型, 密钥)` 组合实时跟踪 RPM、RPD、
   TPM、TPD 用量，始终选择未超限的健康密钥，避免手动切换。
 * **粘性会话机制**：多轮对话在 30 分钟内锁定同一模型，防止中途切换模型导致输出质量
   跳变或上下文断裂。
 * **AES-256-GCM 密钥加密**：上游提供商 API 密钥在 SQLite 中静态加密，仅在发起请求
   前于内存中临时解密，用完即焚，降低密钥泄露风险。
 * **统一认证令牌**：客户端只需使用单一的 `freellmapi-…` Bearer Token，无需在代码
   中暴露多家上游真实密钥，简化管理。
 * **完整流式与工具调用**：支持 SSE 流式输出（`stream: true`）及 OpenAI 风格的 `
   tools` / `tool_choice` 多轮工具调用流程。

## FreeLLMAPI的项目地址

 * **GitHub仓库**：https://github.com/tashfeenahmed/freellmapi

## FreeLLMAPI的同类竞品对比

  |  对比维度 |  FreeLLMAPI |  LiteLLM |  One API |  
   |  **项目定位** |  开源免费 LLM 额度聚合代理，专注个人本地实验与学习 |  开源多模型统一调用 SDK + 代理网关，面向开发者与企业级 AI Gateway |  开源 API 分发管理系统，面向国内团队与企业级 Key 分发 |  
 |  **GitHub Stars** |  500+ |  41.8k+ |  31.3k+ |  
 |  **技术栈** |  TypeScript / Express + React / Vite |  Python（SDK + Proxy Server） |  Go（完整 Web 管理后台） |  
 |  **支持提供商** |  约 14 家免费平台（Gemini、Groq、Cerebras、GitHub Models、智谱等） |  100+ 家（OpenAI、Anthropic、Azure、Bedrock、Vertex AI、HuggingFace 等） |  国内模型覆盖最全（文心、通义、讯飞、智谱、Kimi、豆包等）+ 国际主流模型 |  
 |  **免费额度聚合** |  核心能力，月总计约 13 亿 tokens |  不支持自动聚合免费额度，需自备各厂商 Key |  不支持自动聚合免费额度，需自备各厂商 Key |  
 |  **OpenAI 兼容** |  ✅ 标准 `/v1/chat/completions` |  ✅ 统一归一化为 OpenAI 格式 |  ✅ 统一转换为 OpenAI 格式 |  
 |  **自动故障转移** |  ✅ 最多 20 次重试，冷却机制 |  ✅ 支持重试、Fallback、负载均衡 |  ✅ 支持负载均衡与故障切换 |  
 |  **智能路由** |  ✅ 按速率配额自动选择健康密钥 |  ✅ 支持 least-busy、cheapest-completion 等多种策略 |  ✅ 按渠道优先级和权重路由 |  
 |  **速率限制追踪** |  ✅ 实时跟踪 RPM/RPD/TPM/TPD |  ✅ 内置限速与预算管控 |  ✅ 支持 QPS/IP 限流与额度控制 |  
 |  **密钥安全** |  ✅ AES-256-GCM 静态加密 + 统一 Token |  依赖环境变量/配置文件，开源版无内置加密 |  集中式 Token 管理，支持密钥轮换 |  
 |  **多租户/用户管理** |  ❌ 单用户本地运行 |  ✅ 支持多团队、多 Key、预算隔离 |  ✅ 完善的用户体系、充值、配额、分组管理 |  
 |  **成本追踪** |  ❌ 无 |  ✅ 按项目/用户粒度追踪 Token 消耗 |  ✅ 渠道计费统计与用量分析 |  
 |  **可视化界面** |  ✅ React 仪表盘 + Playground |  ❌ 无图形界面（开源版），依赖配置文件 |  ✅ 中文 Web 管理界面，运营友好 |  
 |  **流式 / 工具调用** |  ✅ 完整支持 SSE 与 Function Calling |  ✅ 完整支持 |  ✅ 支持（New-API 增强函数调用） |  
 |  **部署难度** |  极低，`npm run dev` 一键启动 |  中等，需 Python/Docker/Helm 知识 |  低，Docker 一键部署 |

## FreeLLMAPI的应用场景

 * **个人开发者本地实验与原型验证**：项目明确面向个人学习与原型开发，将多家免费额
   度叠成单一本地 OpenAI 端点，无需付费即可快速验证 AI 应用创意。
 * **多平台免费额度聚合调用**：同时接入 Gemini、Groq、Cerebras、GitHub Models、智
   谱等约 14 家平台的免费档，每月总计约 13 亿 tokens，适合需要大用量但预算有限的
   个人项目。
 * **低功耗设备常驻代理**：空载仅约 40MB RSS，可在树莓派等 ARM 设备上通过 PM2/systemd
   长期运行，作为家庭内网或边缘节点的轻量 AI 网关。
 * **OpenAI 兼容接口学习**：对外暴露标准 `/v1/chat/completions` 端点，适合学习或
   调试 OpenAI SDK、LangChain、LlamaIndex 等生态工具，仅需修改 `base_url` 即可切换。
 * **多模型快速对比测试**：通过统一接口和 Playground 仪表盘，可在同一环境下快速对比
   不同免费提供商的响应质量、延迟与输出风格。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Google Gemini ↗**

Google Gemini 是一款由 Google 提供的智能 AI 助手，可协助处理工作、学习和家庭事务。

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**OpenRouter ↗**

AI 模型 API 聚合平台，一个接口调用400多个模型。

❓ 常见问题解答（FAQ）

FreeLLMAPI 适合哪些开发场景？

它主要面向个人开发者、本地实验和原型验证场景。由于提供 OpenAI 兼容接口、统一令牌
和多平台免费额度聚合，适合快速测试聊天、流式输出和 Agent 工具调用能力。

FreeLLMAPI 如何接入 OpenAI SDK？

只需将客户端的 base_url 改为 FreeLLMAPI 的 /v1 地址，并使用统一的 freellmapi-… Bearer
Token 即可。接口兼容 /v1/chat/completions 与 /v1/models，官方 OpenAI SDK 可直接调
用。

FreeLLMAPI 的免费额度和容错能力怎么样？

文中提到它聚合约 14 家 AI 服务商的免费额度，每月总计约 13 亿 tokens；当首选提供商
返回 429、5xx 或超时时，会自动切换到下一家，最多重试 20 次。

🔬 语宙深潜追问 · 进阶实操拆解

聚合多家模型接口怎么做才稳？

要做自动故障转移、限流和健康检查，并对不同供应商设置优先级。最好把密钥隔离、请求
日志和用量统计做成独立层，避免单点失效拖垮整个应用。

这种平台最适合什么开发阶段？

最适合原型验证、个人项目和低预算实验，不适合生产级核心业务。因为免费额度和接口策略
可能随时变化，正式上线前应准备可替换的付费备份方案。

🗳️ 读者观点微投票 · 您的实战立场是？

免费额度聚合API，最该警惕什么风险？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [New API：一站式开源AI大模型网关，统一接入OpenAI/Claude/Gemini等30+服务，Docker一键部署](https://paooo.com/ai-tool/11128/)
 * [GLM-4-Flash – 智谱AI推出的首个免费大模型API](https://paooo.com/aigc-news/27203/)
 * [llamafile：让大众轻松拥有大语言模型 (LLMs)，甚至在您的个人电脑上 [译]](https://paooo.com/ai-study/7167/)
 * [LM Studio – 开源、傻瓜、一站式部署本地大模型 (LLM) 的应用平台](https://paooo.com/aigc-news/27162/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18864/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
