Prompt 语宙Prompt 语宙
  • 首页
  • AIGC 资讯
    • AIGC 早报Hot
    • 最新趋势
    • AI 工具
    • 热门资源
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • 强化 AI 学习
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • Remaker AI
    • Free Image Splitter
    • AIGC 工具
    • Prompt 咒语生成器
  • 社区
    • 知识星球
    • 公众号
Search
  • Contact
  • Blog
  • Complaint
  • Advertise
© 2024 Prompt 语宙. HalfPX. All Rights Reserved.
阅读: 在 iPad 或 iPhone 上本机离线运行大语言模型 [译]
Share
登陆
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
Search
  • 首页
  • AIGC 资讯
    • AIGC 早报Hot
    • 最新趋势
    • AI 工具
    • 热门资源
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • 强化 AI 学习
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • Remaker AI
    • Free Image Splitter
    • AIGC 工具
    • Prompt 咒语生成器
  • 社区
    • 知识星球
    • 公众号
已有帐户? 登陆
  • Contact
  • Blog
  • Complaint
  • Advertise
© 2023 Prompt 语宙. Paooo.com. All Rights Reserved.
Prompt 语宙 > 强化 AI 学习 > 在 iPad 或 iPhone 上本机离线运行大语言模型 [译]
强化 AI 学习

在 iPad 或 iPhone 上本机离线运行大语言模型 [译]

宝玉的分享
最近更新: 2024年5月13日 下午6:15
2
SHARE

Maciek Jędrzejczyk

阅读目录
步骤 0: 准备工作步骤 1: 安装 Testflight 和 LLMFarm步骤 2:下载预训练模型步骤 3: 如何在 LLMFarm 中设置 Mistral-7B 模型步骤 4:设置聊天界面:第五步:进行测试!我为什么写这篇教程?为什么选择 iPad 或 iPhone 而不是 MacBook?为什么选 Mistral-7B?

亚马逊网络服务 (AWS) 高级云基础架构架构师

2023 年 12 月 10 日

本教程将指导您如何在苹果设备上本地安装一个类似于 ChatGPT 的大语言模型(LLM)。

这篇指南是根据我个人的 iPad Pro 第 5 代制作的,该设备配备了 M1 芯片、8GB RAM 和 128GB 的本地存储空间。我将使用 llmfarm.site 作为客户端应用来运行下载的模型。此外,我选择了在 huggingface.co 上可获取的预训练 Mistral-7B 模型,但这份指南也适用于您选择的任何其他模型。

如果您想了解决策背后的详细思考过程和理由,请滚动到文章的最后部分。

步骤 0: 准备工作

  • 一台至少配备 8GB RAM 的 iPad 或 iPhone
  • 至少 8GB 的可用本地存储空间

步骤 1: 安装 Testflight 和 LLMFarm

为了在我们的本地服务器上运行大语言模型 (LLM),我们需要使用 LLMFarm,这是一个支持 Apple Silicon 技术的开源客户端。鉴于 LLMFarm 还在开发阶段,我们必须使用 Testflight 这个应用程序。首先,我们直接访问 LLMFarm 官网,然后选择“通过 TestFlight 安装”。

重定向到 TestFlight 页面后,点击“在 App Store 查看”,以便下载并安装 TestFlight:

按照常规方式安装 TestFlight:

完成后,返回 TestFlight 页面,按照步骤 2 操作,安装 LLMFarm:

步骤 2:下载预训练模型

在这个教程里,我会选用一个已经在 huggingface.co 上准备好的预训练 Mistral-7B 模型。想深入了解这个模型的话,可以阅读文章底部的相关内容。或者,你可以直接访问 TheBloke 的仓库,下载一个现成的模型:https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF

在可用模型的列表中找到 mistral-7b-instruct-v0.1.Q4_K_M.gguf 文件,并点击下载。需要注意的是,这个模型大约需要 4GB 的存储空间:

下载后,请确认模型文件保存的具体位置,因为在接下来的步骤中,你将需要告诉 LLMFarm 这个位置:

步骤 3: 如何在 LLMFarm 中设置 Mistral-7B 模型

首先回到 LLMFarm 应用程序,点击屏幕底部的“设置”选项,随后在左边的菜单中选择“模型”:

接下来,指定模型下载的位置。需要注意的是,LLMFarm 会将模型复制到它自己的文件夹里,这可能会在您的设备上额外占用约 4GB 的空间。在选择了模型之后,您可以将原文件从下载位置删除。

模型上传完成后,您可以在列表中看到它,如下图所示:

步骤 4:设置聊天界面:

我们将开始创建一个聊天界面,这样就可以与我们的大语言模型进行交流了。在 LLMFarm 应用的左下角找到并点击“Chats”选项,然后选择“开始新聊天”。

接下来,在聊天界面的设置部分点击“选择模型”:

然后选择“从文件导入”选项,选取我们之前已经添加到 LLMFarm 库中的模型:

现在,我们来优化提示的格式。前往“提示格式”设置,去除默认的条目,并按照 Mistral 的文档,添加如下格式的行:

<s>[INST] {{prompt}} [/INST]

准备就绪!最后,我们需要调整一些与资源管理有关的设置。点击“预测选项”,并选择以下的设置配置:

  • 激活 “Metal” 功能,以充分利用 Apple Silicon 的性能。
  • 启用 “MLock” 并保留 MMap 选项,这样可以更有效地管理内存(RAM)。

设置好之后,点击屏幕上方的“添加”按钮:

第五步:进行测试!

现在你的聊天窗口已经准备好了。你可以开始进行各种任务,提出问题,并验证回答的准确性:

请注意,第一次使用时,系统可能需要一段时间来预热。之后,反应速度将会变得更快:

完成啦,恭喜你!现在你已经掌握了如何在苹果设备上本地运行大语言模型的方法。

我为什么写这篇教程?

设想一下:在这个充满智能和数字化的时代,AI 的强大功能就像你每天早晨必不可少的一杯咖啡。现在,让我们来看看大语言模型(LLM)。这些聪明的语言模型不仅能聊天、创作文本,如果你客气地请求,它们甚至还能写出莎士比亚风格的十四行诗。但问题来了:为什么我们要依赖一个存储在不明位置、闭源的模型,而不是把这种神奇的技术引入我们的家中,离线使用呢?是的,就在你自己的设备里,舒适又方便!

隐私保护者们,有理由庆祝了!在你的本地设备上运行一个大语言模型,就好比在你的数据上施展了魔法。你不再需要担心自己的对话被无形的数字耳朵偷听。这就像是你拥有了一个只属于你和你的大语言模型伙伴的秘密语言基地,在这里,你可以畅所欲言,无需担心别人的窥探。

为什么选择 iPad 或 iPhone 而不是 MacBook?

在轻便性成为重要考量时,iPad 和全新的 iPhone 15 Pro Max 系列凭借它们的灵活性和小巧魅力成为了首选,而 MacBook 则提供了强大的性能。对于那些总是在外、追求多功能且希望设备轻巧如羽毛的人来说,iPad 和 iPhone 是理想之选。最后,值得一提的是,在你的苹果设备上本地运行 LLM,终于成为充分利用这些设备的一个绝佳理由!

为什么选 Mistral-7B?

Mistral-7B 来自 MistralAI,因其小巧体积下的卓越性能而受到高度评价。根据其开发者的介绍,这款基础模型在处理任务时的表现甚至超过了一些体积更大的模型,而且它的计算需求相对较低。这点尤其关键,因为即便是最先进的 iPad 和 iPhone,其可用内存也有限。它对各种任务的适应性也更为灵活。

我在 TheBloke 的仓库中测试了多个量化模型,发现在第 3 级 (mistral-7b-instruct-v0.1.Q3_K_M.gguf) 或第 4 级 (mistral-7b-instruct-v0.1.Q4_K_M.gguf) 量化的模型能更好地保留精确度,从而可能保持更高的准确性,同时不超过 8GB 内存需求。以下是运行这些模型时内存使用的截图:

不过,最终这些模型的精确度还是要根据你个人的需求来评估。

2023 年回顾:聚焦 ChatGPT 时代之后的发展及 2024 年展望 [译]
LangChain 团队发布 LangMem SDK
Mobile ALOHA: 利用低成本全身远程操作系统学习复杂的双手移动操作技能 [译]
大语言模型是否“贪婪”?激励提示效果的实验分析($0 至 $100 万)[译]
苹果是如何做到严格保密的? [译]
分享
Email 复制链接 打印
Share
上一篇 TBM 258: “只需招募有才华的人并赋予他们权力” [译]
下一篇 Netflix 的技术架构解析 [译]
发表评价

发表评价 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

Please select a rating!

Ad image
- 入群领取知识星球折扣卷, 仅剩99份 -
Ad imageAd image

最近更新

Deep Research 与知识价值:从信息搜索到价值重新定义
强化 AI 学习
什么是多模态大语言模型(MLLM)?[译]
强化 AI 学习
比尔·盖茨:特朗普、马斯克,以及我的神经多样性如何塑造了我 [译]
强化 AI 学习
阿兰·图灵的神秘“Delilah”项目:被遗失的故事 [译]
强化 AI 学习

相关推荐

图 1. - 描述“软件质量”如何分解为四个组成部分的理论。箭头表示影响的方向,例如认为过程质量会影响代码质量。
强化 AI 学习

针对人类开发者的生产力提升,第 7 部分:软件质量 [译]

宝玉的分享

成为众人喜爱的聊天达人 [译]

宝玉的分享
(
强化 AI 学习

脑波解码:向着实时重现视觉感知迈进 [译]

宝玉的分享
Image.png
强化 AI 学习

Q* 假设:思维树推理、过程奖励模型,以及如何大幅提升合成数据的能力 [译]

宝玉的分享
/ Prompt 语宙 /

Experience the limitless creative possibilities of generative AI and unlock new levels of innovation.

Quick Link

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

Support

  • Contact
  • Blog
  • Complaint
  • Advertise

标签

3D AI AIGC AI人像 AI创作小助手 AI工具 AI换脸 AI海报设计 AI生成视频 AI绘画 AI视频 AI设计 app图标 chatgpt DALL-E3 excel GPT meta Midjourney openai Pika prompt runway SDXL stable diffusion UI设计 专业 丛林 乐高 人像 人物 光晕 动物 吉卜力 咒语 图标设计 圣诞 壁纸 女性 奶牛 实验室 宠物 客厅 室内设计 家居 局部重绘 展台 山景 帅哥 建筑 建筑设计 影谱科技 微摄影 怪物 提示词 摄影 教程 新闻 日本排放核污水 早报 星光 枯木 植物 模特 水果 泳池 海报 海报设计 清华大学 温馨的家 游戏 游戏美术 炫光 炫彩 玻璃 白茶花 矢量插画 研究报告 破碎 科幻 穿搭 窗 美食 背景 节日 芭比 花 花卉 茶园一角 草原 荷兰奶源 表情包 赛博朋克 超现实主义 软件 运动 金毛 风景 食物 香水
Prompt 语宙Prompt 语宙
Follow US
© 2009-2023 Prompt 语宙. Paooo.com. All Rights Reserved.
Welcome Back!

Sign in to your account

Username or Email Address
Password

忘记密码