--- title: "llamafile：让大众轻松拥有大语言模型 (LLMs)，甚至在您的个人电脑上 [译]" url: "https://paooo.com/ai-study/7167/" author: "宝玉的分享" published_at: "2024-03-08T18:16:51+08:00" updated_at: "2026-05-23T18:30:47+08:00" categories: "强化 AI 学习" tags: "AI智能体, ChatGPT, Llama, OpenAI" source: "Prompt 语宙 (https://paooo.com)" ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)" --- # llamafile：让大众轻松拥有大语言模型 (LLMs)，甚至在您的个人电脑上 [译] > 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/ai-study/7167/) · 作者：宝玉的分享 · 发布时间：2024-03-08 ## AI 30 秒核心看点 (TL;DR) - llamafile 将完整 LLM 聊天机器人打包为单一可执行文件，降低部署门槛。 - 结合 llama.cpp 与 Cosmopolitan，实现跨六种操作系统分发与运行。 - 支持消费级硬件本地推理，GPU 可加速，CPU 也能直接运行。 Mozilla 最新创新项目介绍： llamafile。这是一个开源项目，它巧妙地简化了构建完整的大语言模型聊天机器人的复杂过程，将其凝练为一个能在六种操作系统上运行的单一文件。接下来的内容，我们将分享我们为何开发 llamafile，我们是如何做到的，以及我们期望它对开源人工智能 (AI) 产生的影响。 现在，大多数人都是通过商业云服务和应用程序，比如 ChatGPT，来使用大语言模型 (LLMs)。许多初创企业和开发者也是如此，他们依靠像 OpenAI 这样的公司提供的 API 来构建应用程序甚至是整个公司。这就引出了一系列关于隐私、获取途径和控制权的重要问题。比如，谁在监听我们的聊天内容？我们的数据会如何被利用？谁来决定模型可以回答哪些问题，哪些不行？ 如果我们不采取行动，这个新兴的 AI 时代可能最终会被几家大型科技公司所垄断。这种情况下，上述问题可能变得难以甚至无法解答。我们只能选择去“信任”这些以盈利为目的的公司会做出正确的选择。然而，从计算机和网络的发展历史来看，我们有必要准备一个备选方案。 Mozilla 认为，**开源**可能是解决这一问题的强有力的方法之一。正如开源技术对 Mozilla 致力于推动一个自由开放的网络所扮演的关键角色一样，它也能在确保人工智能 (AI) 保持自由和开放方面起到重要作用。开源可以揭开 AI 的“神秘面纱”，让公众能够深入了解。开源的精髓在于**透明性**——如果你能够彻底审视一项技术，那么你就有能力理解它、改进它，并对其进行控制。因此，开源人工智能 (AI) 带来的透明度不仅增强了信任感和安全性，还能通过降低进入门槛、增加用户选择来促进竞争。更重要的是，它能将这项技术直接交到广大民众手中。 过去一年里，开源 AI 领域取得了显著进步，这是个好消息。从 Meta 发布他们的 LLaMA 模型起，我们见证了一系列“开放”模型的迅猛增长，这一现象就像是技术界的一次大爆发。仿佛遵循着摩尔定律，每一款新模型都在变得更优秀、更快速，且体积更小。尽管围绕这些模型是否真正“开源”有诸多讨论，但相比商业模型，它们通常更开放、更透明。开源 AI 软件 也迎来了创新的复兴，涵盖了推理运行时、用户界面、编排工具、AI 智能体以及训练工具等方面。 遗憾的是，在开源 AI 领域，**事情并不像预期的那么简单**。要启动并运行一个开源大语言模型（LLM）堆栈是一项挑战。您可能需要克隆 GitHub 仓库、安装大量的 Python 依赖、使用 Nvidia 的特定版本 SDK、编译 C++ 代码等等。更令人头疼的是，这个领域的进展飞速，导致昨天有效的指南和教程今天可能就过时了。甚至开放大语言模型的文件格式也在不断变化。简而言之，使用开源 AI 需要丰富的专业知识和极高的投入。 但如果使用它变得简单呢？ **如果使用开源 AI 就像双击一个应用程序那样容易呢？** 如果是这样，将会有更多的开发者能够使用这项技术，加入到其作为商业产品替代品的发展中。同时，更多的日常用户也能够选择开源解决方案，而不是闭源的。 Mozilla 对这些问题充满好奇，因此我们开始探索和寻找。很快，我们找到了两个令人赞叹的开源项目，它们共同构成了一个完美的解决方案： **llama.cpp** 是 Georgi Gerganov 发起的一个开源项目。这个项目实现了一个精妙的功能：它让运行大语言模型在普通消费级硬件上变得简单，依赖 CPU 而不是高端 GPU（当然，如果你有 GPU，它也可以利用）。结果令人惊叹：在各种设备上，从 MacBook 到 Raspberry Pi，大语言模型都能高效运行，产出速度惊人地快。 **Cosmopolitan** 是 Justine Tunney 创立的一个开源项目。它的一个独特之处在于：让程序能够跨多种操作系统和硬件架构进行分发和运行。这就意味着你可以仅编译一次程序，然后生成的可执行文件几乎能在任何现代计算机上运行，而且能够顺利工作！ 我们发现，将这两个项目结合起来，我们能够 **把一个完整栈的大语言模型 (LLM) 聊天机器人的复杂性压缩成一个能够在任何地方运行的单文件**。Justine 凭借她对 Cosmopolitan 和 llama.cpp 的深入了解，非常适合这项挑战。另外，Mozilla 已经通过 Mozilla Internet Ecosystem (MIECO) 计划与 Justine 合作，该计划实际上支持了她在 Cosmopolitan 最新版本的工作。于是，我们决定联手。 一个月后，借助 Justine 非凡的工程才华，我们推出了 **llamafile****！** llamafile 的运行情况 **llamafile 将大语言模型转化成一个单一的可执行文件**。无论你是开发者还是普通用户，只需选择你想运行的大语言模型，下载其 llamafile，然后执行即可。llamafile 支持 六 种操作系统（包括 Windows、macOS、Linux、OpenBSD、FreeBSD 和 NetBSD），通常无需安装或配置。如果你有高级 GPU，它会利用你的 GPU 运行；如果没有，它则使用 CPU。它让开源的大语言模型可以在日常消费级硬件上轻松使用，无需任何专业知识。 我们相信，llamafile 对于开源 AI 的普及是一个重大进步。但更深层次地，llamafile 也在推动 Mozilla 所倡导的“**本地 AI**”概念。 本地 AI 指的是在你自己的计算机或设备上运行的 AI，而非云端或他人的计算机。你的设备。这意味着它始终可供你使用。使用本地 AI 时，你不依赖于互联网连接。即使关闭了 WiFi，它仍然能够运行。 这也意味着 AI 完全受你控制，这种权力是无人能夺走的。没有人会偷听你的问题，或阅读 AI 的回答。没有人能够接触到你的数据。没有人能在你毫不知情的情况下改变 AI 的行为方式。AI 当前的运作模式将会永远保持。正如 Simon Willison 最近的一次观察所描述的，你可以将一个 llamafile 存储在 USB 驱动器中，隐藏在保险柜里，甚至在僵尸末世后挖掘出来使用，它依旧能够运行。 我们相信，本地 AI 在未来计算领域将发挥关键作用。它是开源在对抗中心化、企业控制的 AI 方面的一个重要手段。通过在消费级硬件上离线运行，本地 AI 将使每个人都能接触到 AI 技术，而不仅限于那些拥有高端设备和快速网络的人。我们预见一个即将到来的未来，在这个未来，运行在低配置设备上的小型高效模型将为全球人民提供强大功能，无论他们的网络状况如何。我们开发了 llamafile 不仅是为了支持开源 AI 运动，还是为了推动本地 AI 的实现。我们对这两个方向都充满信心，并且你将看到 Mozilla 在未来为支持它们做出更多努力。 无论你是一名开发者还是仅对大语言模型（LLM）感兴趣，我们都希望你能尝试一下 llamafile，并分享你的想法！ ## 常见问题解答 (FAQ) ### llamafile 是什么？ llamafile 是 Mozilla 推出的开源项目，它把大语言模型聊天机器人打包成一个单文件可执行程序。用户下载后即可运行，通常无需复杂安装或配置，并支持 Windows、macOS、Linux、OpenBSD、FreeBSD 和 NetBSD。 ### llamafile 为什么适合普通电脑使用？ 因为它结合了 llama.cpp 的本地推理能力与 Cosmopolitan 的跨平台分发能力，能在消费级硬件上运行 LLM。没有高端 GPU 时可用 CPU 运行，有 GPU 时也能利用 GPU 加速。 ### llamafile 对开源 AI 的意义是什么？ 它把原本复杂的开源 LLM 部署流程简化为“下载并执行”，降低了开发者和普通用户的使用门槛，有助于提升开源 AI 的可访问性、透明度和普及度。 --- 探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)