# 赤兔Chitu – 清华联合清程极智开源的大模型推理引擎

- Link: https://paooo.com/aigc-news/21112/
- Published: 2026-06-08T06:00:50+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 清华联合清程极智开源，赤兔Chitu聚焦[大模型](https://paooo.com/ai-study/)推理阶段
   降本增效。
 * 支持英伟达多款GPU及国产芯片，首次实现非Hopper架构GPU原生运行FP8模型。
 * A800集群实测部署DeepSeek-R1-671B，GPU用量减半，推理速度提升3.15倍。

## Chitu是什么

Chitu（赤兔）是清华大学高性能计算研究所与清程极智联合开源的高性能大模型推理引擎，
专为解决大模型在推理阶段的高成本和低效率问题设计，具有强大的硬件适配能力，支持英伟
达多款GPU及国产芯片，打破了对特定硬件（如英伟达Hopper架构）的依赖。 在性能方面，
在A800集群上部署[DeepSeek-R1](https://ai-bot.cn/deepseek-r1/)-671B时，相比部分国外
开源框架，GPU使用量减少50%，推理速度提升3.15倍。支持从纯CPU到大规模集群的全场景部署，
能满足不同规模和场景下的推理需求。

阅读目录

 * [Chitu是什么](https://paooo.com/aigc-news/21112/#chitu%e6%98%af%e4%bb%80%e4%b9%88)
 * [Chitu的主要功能](https://paooo.com/aigc-news/21112/#chitu%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Chitu的技术原理](https://paooo.com/aigc-news/21112/#chitu%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Chitu的项目地址](https://paooo.com/aigc-news/21112/#chitu%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Chitu的应用场景](https://paooo.com/aigc-news/21112/#chitu%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Chitu赤兔](https://paooo.com/wp-content/uploads/2026/06/Chitu-website-1.avif)

## Chitu的主要功能

 * **多元算力适配**：支持英伟达从最新旗舰到旧款的多系列GPU，同时为国产芯片提供优
   化支持，打破了对英伟达Hopper架构的依赖。
 * **全场景可伸缩**：从纯CPU部署、单GPU部署到大规模集群部署，赤兔引擎都能提供可扩展
   的解决方案，满足不同规模和场景下的推理需求。
 * **低延迟优化**：针对对延迟敏感的场景，如金融风控等，优化模型推理速度，减少响应
   时间。
 * **高吞吐优化**：在高并发场景下，如智能客服，提高单位时间内处理的请求数量。
 * **小显存优化**：降低单卡显存占用，使企业可以用更少的硬件资源获得更高的推理性能。
 * **长期稳定运行**：赤兔引擎可应用于实际生产环境，稳定性足以承载并发业务流量。
 * **开箱即用**：清程极智推出了基于赤兔的推理一体机，提供开箱即用的部署方案及专业
   运维服务，进一步简化企业AI落地流程。

## Chitu的技术原理

 * **底层技术革新**：赤兔引擎通过底层技术革新，首次实现了在非英伟达Hopper架构GPU
   及各类国产芯片上原生运行FP8精度模型。打破了过去FP8模型对英伟达H系列高端GPU的依赖，
   使企业可以在更多类型的硬件上高效部署大模型。
 * **算子级优化**：赤兔对关键算子（如GeMM、MoE等）进行了指令级优化，直接处理FP8数据
   而非简单量化。确保了模型精度无损，同时显著提升了推理速度。在A800集群的测试中，
   相比部分国外开源框架，赤兔引擎在GPU使用量减少50%的情况下，推理速度仍有3.15倍的
   提升。
 * **全场景性能优化**：赤兔引擎支持低延迟、高吞吐和小显存优化，能根据不同场景需求，
   在不同硬件配置和系统环境下，提供最优解决方案。赤兔可以根据系统资源状况，在GPU
   利用率、内存效率和网络传输之间寻找最佳平衡点。
 * **并行计算与编译优化**：赤兔引擎凝结了清华大学团队多年的并行计算与编译优化技术
   积累。通过智能编译技术，团队能够加速高性能算子的开发过程，在较短时间内实现对不同
   硬件架构的优化。

## Chitu的项目地址

 * **Github仓库**：[https://github.com/thu-pacman/chitu](https://github.com/thu-pacman/chitu)

## Chitu的应用场景

 * **风险识别与预警**：赤兔引擎能快速处理海量交易数据，实时监测潜在风险并及时预警，
   帮助金融机构提升风险管理效率。
 * **智能客服与客户体验优化**：通过大模型智能知识库，快速响应客户需求，提升服务体验。
 * **疾病诊断辅助**：赤兔引擎能快速处理医疗数据，提升疾病诊断的速度和准确性，改善
   患者的就医体验。
 * **交通流量优化**：赤兔引擎可以实时处理交通数据，优化交通流量，缓解城市拥堵。
 * **科研数据分析**：赤兔引擎能高效处理科研数据，加速科研进程。

❓ 常见问题解答（FAQ）

赤兔Chitu适合哪些大模型推理场景？

赤兔Chitu适合金融风控、智能客服、医疗辅助诊断、交通流量优化和科研数据分析等场景，
尤其适合对低延迟、高吞吐和小显存占用有要求的生产级推理任务。

赤兔Chitu支持哪些硬件平台？

文章提到赤兔Chitu支持英伟达多款GPU，也支持国产芯片，并可从纯CPU、单GPU扩展到大规模
集群部署，适配不同规模的推理环境。

赤兔Chitu的实测性能表现如何？

在A800集群部署DeepSeek-R1-671B时，相比部分国外开源框架，赤兔Chitu在GPU使用量减少
50%的情况下，推理速度仍提升3.15倍，体现出较强的降本增效能力。

🔬 语宙深潜追问 · 进阶实操拆解

大模型推理优化先做哪三步？

先做算子融合和量化，再优化KV Cache与批处理调度，最后根据硬件做并行切分。通常这三步
就能带来最明显的延迟和显存收益。

异构算力适配难点在哪？

难点在不同GPU的内存带宽、通信拓扑和算子支持不一致。工程上要做设备画像、自动路由和
回退策略，避免“同一套参数跑不通所有卡”。

🗳️ 读者观点微投票 · 您的实战立场是？

推理引擎提速3倍，你最看重哪项收益？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [TinyR1-Preview – 奇虎360联合北大团队推出的推理模型](https://paooo.com/aigc-news/21544/)
 * [NVIDIA Nemotron Nano 2：9B参数推理提速6倍，开源高效AI模型新标杆](https://paooo.com/aigc-news/14052/)
 * [把大模型推理成本打穿！DeepSeek 全面开源内部推理引擎 DeepInfer：集成分布式推测解码与华为昇腾原生适配，揭秘超大规模集群降本关键层](https://paooo.com/aigc-news/40220/)
 * [DeepSpeed-MII深度解析：微软开源高性能大模型推理库，3.7万模型一键部署](https://paooo.com/aigc-news/11794/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21112/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
