Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 把大语言模型封装成桌面应用 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
chatd.ai
Prompt 语宙 > 强化 AI 学习 > 把大语言模型封装成桌面应用 [译]
强化 AI 学习

把大语言模型封装成桌面应用 [译]

宝玉的分享
最近更新: 2026年5月23日 下午6:28
Ollama OpenAI RAG检索增强 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 用 Electron 将渲染、主进程、IPC 与本地模型运行器整合,降低桌面端接入门槛。
  • 借助 Ollama 分发模型,避免把 4GB 级模型直接塞进安装包,并支持后续热更新。
  • chatd 面向非技术用户验证可行:本地聊天机器人可直接访问文件系统,体验更直观。

2023 年 12 月 10 日 by Bruce MacDonald

阅读目录
  • 项目计划
  • 架构
    • 渲染和进程间通信
    • 主进程
    • 大语言模型运行器
  • 成果

最近,我一直忙于开发 Ollama,因此投入了大量时间研究如何在本地系统上运行大语言模型(大语言模型),并探索如何将它们封装进应用程序。一般而言,大部分桌面应用程序只要求用户输入 OpenAI API 密钥,或者从源代码编译 Python 项目即可集成大语言模型。尽管这些方法在理论上可行,但对于许多用户来说,它们的技术门槛仍然较高。我追求的是用户能够一键下载并立即运行的应用程序。

项目计划

这是我设定的初步目标:

  • 一键式下载与启动。
  • 无需额外依赖。
  • 应用文件体积最小化。
  • 设计简单的大语言模型版本控制与分发系统。
  • 兼容所有主流操作系统。
  • 利用本地运行的优势,如访问本地文件系统。
  • 用户无需调整任何设置,大语言模型在他们的系统上即插即用。
  • 为高级用户提供更多选项,比如能够替换和定制应用中的大语言模型 。针对这些目标,我决定开发一个名为“chatd”的桌面应用,用户可以通过它与自己的文档进行交流。虽然这是一个常见的大语言模型应用场景,但目前还缺乏针对非技术型终端用户的简易选择。此外,该应用还可以便捷地访问文件系统。

为了保持项目的简洁性,我希望所有的代码都能整合在一个能够部署到任何操作系统上的应用中。这使得我只能在 Electron 和 Tauri 中二选一。基于对生态系统的熟悉度,我最终选择了 Electron。

架构

chatd 架构
chatd 架构
点击这里查看此图片的高清版本。

项目包括四个主要部分:渲染、进程间通信、主进程和大语言模型运行器。

渲染和进程间通信

应用的渲染部分使用了标准的 HTML、CSS 和 JavaScript。用户的操作需要处理时,数据会通过进程间通信发送到主进程,这允许执行可访问宿主系统的代码。

主进程

主进程主要处理文档(顺便说一句,希望有人能为通用文档处理开发一个标准的 JavaScript 库),然后将提取出的数据发送给 transformers.js。transformers.js 是 Hugging Face 维护的一个库,它可以让我们在浏览器中使用 ONNX 运行时来运行模型,速度非常快。由于我还没有找到合适的内存向量数据库,因此我选择将向量数据存储在内存中。

大语言模型运行器

在处理了所有这些信息之后,我选择使用 Ollama 来打包和分发应用中的大语言模型。目前,大多数用户将 Ollama 作为独立应用程序运行,并向其发送查询,但也可以直接将其整合到你的桌面应用中。我为每个操作系统的相应版本添加了 Ollama 可执行文件,并编写了一些 JavaScript 代码来管理这些可执行文件。

这种方式非常方便,因为我不仅可以借助 Ollama 作为一个可靠的大语言模型运行系统,还可以通过它来分发大语言模型,而无需将其包含在 Electron 应用包内。如果将大语言模型直接打包进 Electron 应用,将导致巨大的初始下载体积(超过 4GB),并限制用户只能使用我在 chatd 中内置的模型。此外,通过使用 Ollama 的分发系统,我可以在不发布新应用版本的情况下更新或修改模型。我只需对模型进行更改,将其推送到 ollama.ai 注册表,用户在下次启动应用时就会自动更新。

利用 Ollama 还使得用户体验保持简单,同时也为高级用户提供了更换应用程序中大语言模型的可能性。早期采用本地大语言模型的用户(以及我互动过的 Ollama 用户)对于如何运作非常感兴趣,并希望能够使用最新的模型保持领先。尽管 Ollama 被集成到了 chatd 中,但如果检测到 Ollama 已在运行,它会提供额外的设置选项,允许用户根据自己的需求配置 chatd 并更换模型。这也意味着,如果用户已经拥有了模型,就无需重复下载。

成果

我向一些不属于典型 ChatGPT 用户群体的朋友展示了 chatd,他们对此反应热烈。看到 AI 能在他们的电脑上本地运行,对他们来说简直是惊喜,他们很快意识到了赋予这个本地聊天机器人访问文件的巨大潜力。我期待着进一步优化这一体验,并希望我们能够见证桌面应用程序让大语言模型变得更加简单易用的新浪潮。

你可以在这里查看 chatd 项目:chatd.ai

chatd.ai
chatd.ai

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Ollama ↗
本地运行Llama和其他大语言模型。
❓ 常见问题解答(FAQ)
如何把大语言模型封装成桌面应用?

可将前端渲染、进程间通信、主进程和本地模型运行器拆分设计,再用 Electron 统一打包。文中方案是:渲染层负责交互,主进程处理文档并调用 transformers.js,模型则交给 Ollama 管理与分发。

为什么作者选择 Electron 而不是 Tauri?

作者的目标是把所有代码整合进一个可部署到主流操作系统的应用中,并基于对生态的熟悉度做选择。最终他选了 Electron,用来更方便地实现跨平台桌面封装与本地模型集成。

Ollama 在桌面应用里有什么优势?

Ollama 既能作为可靠的本地模型运行系统,也能承担模型分发。这样可以避免把大模型直接打进 Electron 安装包,减少初始下载体积,还能在不发布新应用版本的情况下更新模型。

🔬 语宙深潜追问 · 进阶实操拆解
Electron+Ollama方案最大的工程难点是什么?

难点不在聊天界面,而在模型分发、体积控制、跨平台兼容和本地资源调度。要把首次安装、模型下载、更新和文件权限都做成无感流程,用户才会真正留下来。

桌面应用如何兼顾本地隐私与模型更新?

可把推理留在本地,把模型管理交给 Ollama 这类层;应用只负责编排、权限和交互。更新时采用增量下载、版本锁定与回滚机制,既保隐私,也避免模型升级破坏工作流。

🗳️ 读者观点微投票 · 您的实战立场是?
本地大模型桌面化,真能普及到普通人吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 利用客户端技术开发基于大语言模型(LLM)的 Web 应用 [译]
  • LM Studio – 开源、傻瓜、一站式部署本地大模型 (LLM) 的应用平台
  • 现代大语言模型应用架构 [译]
  • 在 iPad 或 iPhone 上本机离线运行大语言模型 [译]
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
利用 ChatGPT 在技术面试中作弊到底有多容易?我们做了个实验来探究 [译]
MiniCPM-o 2.6 – 面壁智能开源的多模态大模型,性能媲美GPT-4o
Midjourney 提示词技巧 [译]
Seaweed-7B – 字节推出的视频生成模型
SpatialLM – 群核科技开源的空间理解多模态模型
TAGGED:OllamaOpenAIRAG检索增强大模型微调开源大模型
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 功能标记(Feature Flags)管理指南 [译] 功能标记(Feature Flags)管理指南 [译]
下一篇 LMMs 输出文字和图片 多模态和多模态大模型 (LMM)[译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

三钟的骗局:AI 语音诈骗如何轻松绕过防线
AIGC 资讯

三钟的骗局:AI 语音诈骗如何轻松绕过防线

Prompt 语宙研究院
AI办公效率 AI智能体 AI音频与语音 Claude DeepSeek OpenAI
Kairos-HomeWorld – 大晓机器人推出的全屋三维可交互世界模型
AIGC 资讯

Kairos-HomeWorld – 大晓机器人推出的全屋三维可交互世界模型

Prompt 语宙研究院
3D与空间智能 AI智能体 大模型微调 开源大模型
Xiaomi Miloco 2.0 – 小米开源的全屋智能 AI 方案
AIGC 资讯

Xiaomi Miloco 2.0 – 小米开源的全屋智能 AI 方案

Prompt 语宙研究院
3D与空间智能 AI智能体 OpenClaw 开源大模型
OpenAI 联合创始人 Andrej Karpathy 在 2024 年加州大学伯克利分校人工智能黑客马拉松颁奖典礼上的主题演讲 [译]
强化 AI 学习

OpenAI 联合创始人 Andrej Karpathy 在 2024 年加州大学伯克利分校人工智能黑客马拉松颁奖典礼上的主题演讲 [译]

宝玉的分享
AI智能体 AI编程 ChatGPT OpenAI 大模型微调
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.