---
title: "FreeLLMAPI – 开源 AI 模型聚合平台，统一OpenAI兼容格式"
url: "https://paooo.com/aigc-news/18864/"
author: "Prompt 语宙研究院"
published_at: "2026-06-07T22:42:22+08:00"
updated_at: "2026-06-07T20:02:29+08:00"
categories: "AIGC 资讯"
tags: "Gemini, Kimi, OpenAI, 开源大模型, 智谱AI"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# FreeLLMAPI – 开源 AI 模型聚合平台，统一OpenAI兼容格式

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/18864/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-07

## AI 30 秒核心看点 (TL;DR)

- 统一 OpenAI 兼容格式，对接官方 SDK、LangChain、LlamaIndex 只需改 base_url。
- 聚合约 14 家平台免费额度，月总计约 13 亿 tokens，并支持自动故障转移与智能配额追踪。
- 适合本地实验与原型验证，支持 SSE、Function Calling、仪表盘管理和轻量部署。

## FreeLLMAPI是什么

FreeLLMAPI 是开源的 OpenAI 兼容代理服务，可将约 14 家 AI 服务商的免费额度聚合为单一 API 端点，每月总计约 **13 亿 tokens** 的免费推理额度。项目基于 TypeScript/Express 构建，支持自动故障转移、智能路由、密钥加密和用量追踪，专为个人开发者本地实验和原型验证设计。

## FreeLLMAPI的主要功能

- 
**OpenAI 兼容 API 代理**：对外暴露标准的 `/v1/chat/completions` 与 `/v1/models` 端点，兼容官方 OpenAI SDK、LangChain、LlamaIndex 等客户端，仅需修改 `base_url` 即可接入。

- 
**多提供商免费额度聚合**：同时接入 Google Gemini、Groq、Cerebras、SambaNova、NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、智谱 Z.ai、Moonshot Kimi、MiniMax 等约 14 家平台，每月总计约 **13 亿 tokens** 免费推理额度。

- 
**自动故障转移**：当首选提供商返回 429/5xx 或请求超时时，自动将其置为冷却状态，并按预设优先级链尝试下一家提供商，最多重试 20 次。

- 
**智能速率与配额追踪**：针对每个 `(平台, 模型, 密钥)` 组合实时跟踪 RPM、RPD、TPM、TPD 用量，确保始终调用未超限的健康密钥。

- 
**粘性会话锁定**：多轮对话在 30 分钟内锁定同一模型，防止中途切换模型导致输出质量跳变或上下文断裂。

- 
**AES-256-GCM 密钥加密**：上游提供商的 API 密钥在 SQLite 数据库中静态加密，仅在发起请求前于内存中临时解密，降低密钥泄露风险。

- 
**统一认证令牌管理**：客户端使用单一的 `freellmapi-…` Bearer Token 访问代理，无需在代码中暴露多家上游真实密钥。

- 
**SSE 流式输出**：完整支持 `stream: true` 的 Server-Sent Events 流式返回，兼容长文本逐字生成场景。

- 
**工具调用（Function Calling）**：支持 OpenAI 风格的 `tools` / `tool_choice` 多轮工具调用流程，满足 Agent 开发需求。

- 
**可视化仪表盘与 Playground**：内置 React/Vite 管理后台，支持拖拽调整回退链优先级、在 Playground 中快速测试模型，并查看延迟、成功率、Token 用量等 24h/7d/30d 统计数据。

- 
**轻量本地部署**：基于 TypeScript/Express 构建，空载仅约 40MB RSS，可在树莓派等 ARM 设备上通过 PM2/systemd 常驻运行。

## 如何使用FreeLLMAPI

- 
**克隆安装**：`git clone https://github.com/tashfeenahmed/freellmapi.git && cd freellmapi && npm install`。

- 
**配置密钥**：`cp .env.example .env` 并生成 32 字节 `ENCRYPTION_KEY` 用于 AES-256-GCM 加密。

- 
**启动服务**：`npm run dev` 同时启动后端 API（`:3001`）和仪表盘（`:5173`）。

- 
**添加上游 Key**：在 `https://localhost:5173` 的 **Keys** 页面粘贴各平台免费 API Key。

- 
**调整回退链**：在 **Fallback Chain** 页面拖拽设置提供商优先级。

- 
**获取统一 Token**：在面板生成 `freellmapi-…` 单一 Bearer Token。

- 
**SDK 调用**：修改 `base_url="https://localhost:3001/v1"`，`model` 设为 `"auto"` 或具体模型名。

- 
**cURL 调用**：向 `https://localhost:3001/v1/chat/completions` 发送标准 OpenAI 格式请求。

- 
**Playground 验证**：在仪表盘 Playground 中直接输入提示词测试连通性与路由情况。

- 
**后台常驻**：通过 PM2 或 systemd 托管，可在树莓派等 ARM 设备长期运行。

## FreeLLMAPI的核心优势

- 
**OpenAI 标准兼容**：对外暴露 `/v1/chat/completions` 与 `/v1/models` 端点，支持官方 OpenAI SDK、LangChain、LlamaIndex 等任意兼容客户端，仅需修改 `base_url` 即可接入。

- 
**14 家平台免费额度聚合**：同时接入 Google Gemini、Groq、Cerebras、SambaNova、NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、智谱 Z.ai、Moonshot Kimi、MiniMax 等，每月总计约 **13 亿 tokens** 免费推理额度。

- 
**自动故障转移**：当首选提供商返回 429/5xx 或超时时，自动将其置为冷却并按优先级链尝试下一家，最多重试 20 次，保障服务连续性。

- 
**智能速率与配额追踪**：针对每个 `(平台, 模型, 密钥)` 组合实时跟踪 RPM、RPD、TPM、TPD 用量，始终选择未超限的健康密钥，避免手动切换。

- 
**粘性会话机制**：多轮对话在 30 分钟内锁定同一模型，防止中途切换模型导致输出质量跳变或上下文断裂。

- 
**AES-256-GCM 密钥加密**：上游提供商 API 密钥在 SQLite 中静态加密，仅在发起请求前于内存中临时解密，用完即焚，降低密钥泄露风险。

- 
**统一认证令牌**：客户端只需使用单一的 `freellmapi-…` Bearer Token，无需在代码中暴露多家上游真实密钥，简化管理。

- 
**完整流式与工具调用**：支持 SSE 流式输出（`stream: true`）及 OpenAI 风格的 `tools` / `tool_choice` 多轮工具调用流程。

## FreeLLMAPI的项目地址

- **GitHub仓库**：https://github.com/tashfeenahmed/freellmapi

## FreeLLMAPI的同类竞品对比

对比维度
FreeLLMAPI
LiteLLM
One API

**项目定位**
开源免费 LLM 额度聚合代理，专注个人本地实验与学习
开源多模型统一调用 SDK + 代理网关，面向开发者与企业级 AI Gateway
开源 API 分发管理系统，面向国内团队与企业级 Key 分发

**GitHub Stars**
500+
41.8k+
31.3k+

**技术栈**
TypeScript / Express + React / Vite
Python（SDK + Proxy Server）
Go（完整 Web 管理后台）

**支持提供商**
约 14 家免费平台（Gemini、Groq、Cerebras、GitHub Models、智谱等）
100+ 家（OpenAI、Anthropic、Azure、Bedrock、Vertex AI、HuggingFace 等）
国内模型覆盖最全（文心、通义、讯飞、智谱、Kimi、豆包等）+ 国际主流模型

**免费额度聚合**
核心能力，月总计约 13 亿 tokens
不支持自动聚合免费额度，需自备各厂商 Key
不支持自动聚合免费额度，需自备各厂商 Key

**OpenAI 兼容**
✅ 标准 `/v1/chat/completions`
✅ 统一归一化为 OpenAI 格式
✅ 统一转换为 OpenAI 格式

**自动故障转移**
✅ 最多 20 次重试，冷却机制
✅ 支持重试、Fallback、负载均衡
✅ 支持负载均衡与故障切换

**智能路由**
✅ 按速率配额自动选择健康密钥
✅ 支持 least-busy、cheapest-completion 等多种策略
✅ 按渠道优先级和权重路由

**速率限制追踪**
✅ 实时跟踪 RPM/RPD/TPM/TPD
✅ 内置限速与预算管控
✅ 支持 QPS/IP 限流与额度控制

**密钥安全**
✅ AES-256-GCM 静态加密 + 统一 Token
依赖环境变量/配置文件，开源版无内置加密
集中式 Token 管理，支持密钥轮换

**多租户/用户管理**
❌ 单用户本地运行
✅ 支持多团队、多 Key、预算隔离
✅ 完善的用户体系、充值、配额、分组管理

**成本追踪**
❌ 无
✅ 按项目/用户粒度追踪 Token 消耗
✅ 渠道计费统计与用量分析

**可视化界面**
✅ React 仪表盘 + Playground
❌ 无图形界面（开源版），依赖配置文件
✅ 中文 Web 管理界面，运营友好

**流式 / 工具调用**
✅ 完整支持 SSE 与 Function Calling
✅ 完整支持
✅ 支持（New-API 增强函数调用）

**部署难度**
极低，`npm run dev` 一键启动
中等，需 Python/Docker/Helm 知识
低，Docker 一键部署

## FreeLLMAPI的应用场景

- 
**个人开发者本地实验与原型验证**：项目明确面向个人学习与原型开发，将多家免费额度叠成单一本地 OpenAI 端点，无需付费即可快速验证 AI 应用创意。

- 
**多平台免费额度聚合调用**：同时接入 Gemini、Groq、Cerebras、GitHub Models、智谱等约 14 家平台的免费档，每月总计约 13 亿 tokens，适合需要大用量但预算有限的个人项目。

- 
**低功耗设备常驻代理**：空载仅约 40MB RSS，可在树莓派等 ARM 设备上通过 PM2/systemd 长期运行，作为家庭内网或边缘节点的轻量 AI 网关。

- 
**OpenAI 兼容接口学习**：对外暴露标准 `/v1/chat/completions` 端点，适合学习或调试 OpenAI SDK、LangChain、LlamaIndex 等生态工具，仅需修改 `base_url` 即可切换。

- 
**多模型快速对比测试**：通过统一接口和 Playground 仪表盘，可在同一环境下快速对比不同免费提供商的响应质量、延迟与输出风格。

## 常见问题解答 (FAQ)

### FreeLLMAPI 适合哪些开发场景？
它主要面向个人开发者、本地实验和原型验证场景。由于提供 OpenAI 兼容接口、统一令牌和多平台免费额度聚合，适合快速测试聊天、流式输出和 Agent 工具调用能力。

### FreeLLMAPI 如何接入 OpenAI SDK？
只需将客户端的 base_url 改为 FreeLLMAPI 的 /v1 地址，并使用统一的 freellmapi-… Bearer Token 即可。接口兼容 /v1/chat/completions 与 /v1/models，官方 OpenAI SDK 可直接调用。

### FreeLLMAPI 的免费额度和容错能力怎么样？
文中提到它聚合约 14 家 AI 服务商的免费额度，每月总计约 13 亿 tokens；当首选提供商返回 429、5xx 或超时时，会自动切换到下一家，最多重试 20 次。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
