Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 在本地运行 Mixtral 8×7 与 LlamaIndex [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
在本地运行 Mixtral 8x7 与 LlamaIndex [译]
Prompt 语宙 > 强化 AI 学习 > 在本地运行 Mixtral 8×7 与 LlamaIndex [译]
强化 AI 学习

在本地运行 Mixtral 8×7 与 LlamaIndex [译]

宝玉的分享
最近更新: 2026年7月22日 下午1:27
Llama Ollama RAG检索增强 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 用 Ollama 本地运行 Mixtral,并先用 .complete 验证模型可正常响应。
  • 结合 LlamaIndex + Qdrant 把 JSON 数据做向量索引,完成本地 RAG 问答。
  • 示例展示了查询作者对 Star Trek、SQL 的观点,验证检索增强效果可用。
ollama run mixtral
ollama run mistral
pip install llama-index qdrant_client torch transformers
## Just runs .complete to make sure the LLM is listening
from llama_index.llms import Ollama
llm = Ollama(model="mixtral")
response = llm.complete("Who is Laurie Voss?")
print(response)
from pathlib import Path
import qdrant_client
from llama_index import(
VectorStoreIndex,
ServiceContext,
download_loader,
)
from llama_index.llms import Ollama
from llama_index.storage.storage_context import StorageContext
from llama_index.vector_stores.qdrant import QdrantVectorStore
JSONReader = download_loader("JSONReader")
loader = JSONReader()
documents = loader.load_data(Path('./data/tinytweets.json'))
client = qdrant_client.QdrantClient(
path="./qdrant_data"
)
vector_store = QdrantVectorStore(client=client, collection_name="tweets")
storage_context = StorageContext.from_defaults(vector_store=vector_store)
llm = Ollama(model="mixtral")
service_context = ServiceContext.from_defaults(llm=llm,embed_model="local")
index = VectorStoreIndex.from_documents(documents,service_context=service_context,storage_context=storage_context)
query_engine = index.as_query_engine()
response = query_engine.query("What does the author think about Star Trek? Give details.")
print(response)
Based on the provided context information, the author has a mixed opinion about Star Trek.
import qdrant_client
from llama_index import(
VectorStoreIndex,
ServiceContext,
)
from llama_index.llms import Ollama
from llama_index.vector_stores.qdrant import QdrantVectorStore
client = qdrant_client.QdrantClient(
path="./qdrant_data"
)
vector_store = QdrantVectorStore(client=client, collection_name="tweets")
llm = Ollama(model="mixtral")
service_context = ServiceContext.from_defaults(llm=llm,embed_model="local")
index = VectorStoreIndex.from_vector_store(vector_store=vector_store,service_context=service_context)
query_engine = index.as_query_engine(similarity_top_k=20)
response = query_engine.query("Does the author like SQL? Give details.")
print(response)
pip install flask flask-cors
from flask import Flask, request, jsonify
from flask_cors import CORS, cross_origin
import qdrant_client
from llama_index.llms import Ollama
from llama_index import(
VectorStoreIndex,
ServiceContext,
)
from llama_index.vector_stores.qdrant import QdrantVectorStore
# re-initialize the vector store
client = qdrant_client.QdrantClient(
path="./qdrant_data"
)
vector_store = QdrantVectorStore(client=client, collection_name="tweets")
# get the LLM again
llm = Ollama(model="mixtral")
service_context = ServiceContext.from_defaults(llm=llm,embed_model="local")
# load the index from the vector store
index = VectorStoreIndex.from_vector_store(vector_store=vector_store,service_context=service_context)
app = Flask(__name__)
cors = CORS(app)
app.config['CORS_HEADERS']='Content-Type'
# This is just so you can easily tell the app is running
@app.route('/')
defhello_world():
return'Hello, World!'
@app.route('/process_form', methods=['POST'])
@cross_origin()
defprocess_form():
query = request.form.get('query')
if query isnotNone:
query_engine = index.as_query_engine(similarity_top_k=20)
response = query_engine.query(query)
return jsonify({"response":str(response)})
else:
return jsonify({"error":"query field is missing"}),400
if __name__ =='__main__':
app.run()
python app.py
curl --location '<https://127.0.0.1:5000/process_form>' \--form 'query="What does the author think about Star Trek?"'

你可能已经听说了来自欧洲 AI 领头羊 Mistral AI 的最新大作——Mixtral 8x7b。这是一个包含八个各自拥有 70 亿参数的“专家混合”模型,名字中的“8×7”正是由此而来。它最初通过一条引人注目的 推文 首次亮相,紧接着几天后他们发布了一篇 博客文章,展示了该模型在多项基准测试中与 GPT-3.5 一较高下,甚至在某些方面超越了体量更大的 Llama2 70b。

阅读目录
  • 步骤 1:安装 Ollama
  • 步骤 2:安装依赖项
  • 步骤 3:基本功能测试
  • 第 4 步:加载并索引数据
  • 验证索引的有效性
  • 构建小型网络服务
  • 完成!

在 LlamaIndex,我们是开源软件的忠实支持者,因此像 Mixtral 这样开放的模型和具有灵活授权的项目正合我们心意。我们收到了不少关于如何将 Mixtral 与 LlamaIndex 结合使用的咨询,因此本文将指导你如何在本地完全独立地运行这一模型。

步骤 1:安装 Ollama

过去,在本地安装并运行模型是一件相当复杂的事,但随着 Ollama 的推出,这一切变得简单多了!Ollama 支持 MacOS 和 Linux 系统(Windows 版本也即将推出,不过目前你可以通过 Windows Subsystem For Linux 在 Windows 上使用)。Ollama 是开源软件,并提供了 免费下载。

下载完成后,你可以通过一个简单的命令来安装 Mixtral:

首次运行此命令时,需要下载模型,这可能会花费一些时间,你可以利用这段时间休息一下。需要注意的是,运行它需要高达 48GB 的 RAM!如果你的电脑配置达不到这个要求,你可以考虑使用性能稍逊但依然强大的 Mistral 7b,其安装和运行方式与 Mixtral 相同:

本教程假设你使用 Mixtral,不过 Mistral 也同样适用。

一旦模型启动,Ollama 会自动允许你与其进行交互。这本身很有趣,但我们的目标不仅仅是与模型聊天,而是要让它能够处理你的数据。这就是 LlamaIndex 发挥作用的地方。接下来的步骤将带你逐行了解相关代码,不过如果你不想手动复制粘贴,可以直接访问这个 开源仓库,里面有完整的代码,你可以克隆后跟着做。

步骤 2:安装依赖项

首先,你需要安装 LlamaIndex。除此之外,我们还会介绍一些即将派上用场的其他依赖项:

步骤 3:基本功能测试

如果你已经成功运行 Ollama 并正确安装了 LlamaIndex,下面这个简单的脚本可以通过执行一个基本功能测试来确认一切是否正常。这个测试是一个独立的脚本:

第 4 步:加载并索引数据

现在你可以开始加载一些实际的数据了。你可以使用任意数据,在此例中,我用的是我自己的一些推文集合,你也可以下载使用或者用自己的数据。我们将使用高效的开源向量数据库 Qdrant(Qdrant)来存储数据,这就是我们之前让你安装它的原因。请创建一个新的 python 文件,并导入所有必要的依赖项:

接下来,利用 LlamaHub提供的一个实用的 JSONReader 从 JSON 文件中读取推文。这会生成一系列准备嵌入和索引的文档:

为了让 Qdrant 进入工作状态,我们需要初始化它,并将其加入到我们稍后要使用的存储上下文中:

现在,我们来设置服务上下文。我们会使用 Mixtral 作为大语言模型(LLM)进行测试,以确保在我们完成索引后一切正常;实际的索引过程并不需要用到 Mixtral。通过设置 embed_model="local",我们让 LlamaIndex 在本地处理数据嵌入,这就是为何你需要安装 torch 和 transformers。

最后,把这一切结合起来:利用你已经准备好的服务和存储上下文,从加载的文档中构建索引,并进行一次查询:

Ollama 在处理查询时需要启动 Mixtral,这可能需要一些时间,请耐心等待。你最终应该会得到类似这样的输出(但内容会更丰富):

验证索引的有效性

现在,为了证明这不只是表面功夫,我们将使用我们预先建立的索引。创建一个新的 Python 文件并重新加载必要的依赖项:

这一次我们无需再次加载数据,因为这已经完成了!我们需要的是 Qdrant 客户端和 Mixtral:

这次我们不是从文档中创建索引,而是直接从向量存储中使用 from_vector_store 命令加载它。我们还向查询引擎传递了 similarity_top_k=20 参数;这意味着它会一次性获取 20 条推文(默认是 2 条),从而提供更多的上下文,以便更准确地回答问题。

构建小型网络服务

仅仅拥有一个脚本形式运行的索引是不够的!我们将把它转换成一个 API。这需要引入两个新的依赖项:

按照之前的方法在新文件中加载依赖项:

然后加载向量存储、大语言模型(LLM)和索引:

接着,设置一个基础的 Flask 服务器:

添加一个路由,它能接收查询(以表单数据形式)、通过大语言模型处理查询并返回结果:

注意最后两行代码,它们非常关键!由于 flask run 命令与 LlamaIndex 加载依赖的方式不兼容,因此你需要像这样直接运行你的 API(假设你的文件命名为 app.py)

当你的 API 启动后,你可以使用 cURL 来发送请求并进行验证:

完成!

我们在本教程中涉及了以下几个方面:

  • 如何在本地运行 Mixtral
  • 使用 LlamaIndex 查询 Mixtral 8x7b
  • 利用 Qdrant 向量存储来构建和查询数据索引
  • 将索引封装成一个非常简单的网络 API
  • 所有这些都是开源、免费,并且可以在本地运行的!

希望这是一个简单有趣的引导,帮助你学会如何使用 LlamaIndex 在本地运行模型!

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Qdrant ↗
开源的向量数据库和向量相似性AI搜索引擎。
Ollama ↗
本地运行Llama和其他大语言模型。
think ↗
think-cell 是一款深度集成于 Microsoft PowerPoint 的专业级演示文稿增强插件,其核
❓ 常见问题解答(FAQ)
如何在本地运行 Mixtral 8x7?

文章使用 Ollama 直接拉起本地模型,先执行安装与运行命令,再通过 llama_index.llms.Ollama 调用 mixtral,并用 .complete 做一次简单问答,确认模型服务已正常工作。

LlamaIndex 怎么接入 Qdrant 做检索?

先用 JSONReader 读取本地数据,再创建 QdrantClient 和 QdrantVectorStore,随后通过 StorageContext 与 ServiceContext 组装 VectorStoreIndex,即可把文档写入向量库并支持查询。

这篇文章的实测结论是什么?

文章验证了本地 Mixtral 可以配合 LlamaIndex 与 Qdrant 完成离线检索问答,示例中能回答作者对 Star Trek 和 SQL 的看法,说明本地 RAG 流程可正常运行。

🔬 语宙深潜追问 · 进阶实操拆解
离线RAG最容易踩哪些坑?

最常见的是切分不合理、向量库召回差和上下文塞太多。建议先优化文档切块、元数据过滤和重排策略,再控制提示词长度;否则模型本地跑得再快,回答也会因为检索质量差而失真。

Mixtral本地部署适合什么场景?

适合对数据隐私、离线可用性和成本可控要求高的内部知识问答、研发助手和私有文档检索。若追求极低延迟或超高并发,仍需评估量化方案、GPU内存和并发调度,否则体验会被硬件限制拖累。

🗳️ 读者观点微投票 · 您的实战立场是?
本地跑大模型,最值的投入是算力还是RAG?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • LlamaIndex 数据摄入管道 [译]
  • 构建高级 RAG 的指南和技巧 [译]
  • LlamaIndex
  • 中国开发者必看!Self-LLM开源大模型实战教程:从环境配置到LoRA微调全攻略
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Sana – 英伟达、麻省和清华联合推出的文本到图像生成框架
字节跳动ContentV开源!80亿参数文生视频模型,轻松生成5秒高清视频
大语言模型能取代编译器吗? [译]
你的数据正在“喂养”AI:谷歌隐私设置静默更新,如何守护个人信息?
百度文库网盘 7 月底升级GenFlow,打造金融行业多端通用Agent平台
TAGGED:LlamaOllamaRAG检索增强大模型微调开源大模型
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 Coscientist 接到的任务是利用机器人来创建不同的图案。从左上角开始顺时针方向,它根据以下指令创造了这些图案:“画一个蓝色对角线”、“用你选的颜色隔行上色”、“用黄色画一个 3x3 的矩形”以及“画一个红色十字”。版权归卡内基梅隆大学所有 认识“Coscientist”,你的 AI 实验室伙伴 [译]
下一篇 iPhone 上运行的 ChatGPT 应用。 为何有科学家不用 ChatGPT?他们这样说 [译]
Ad image
Ad image

最近更新

亚马逊旗下 Audible 推出 AI 音频发现功能、无剧透剧情回顾与互动式提问工具界面示意
彻底告别“盲听选书”与断更忘剧情!亚马逊Audible重磅上线AI音频发现与无剧透Recaps:12月全面铺开、应用内Ask a Question实测逻辑全拆解
AI 工具
FBI 发布紧急安全预警指开源 AI 自主黑客工具 Artex 可在三小时内攻破企业网络
不到3小时攻破网络且波及ConnectWise 2250家客户!FBI紧急预警开源AI黑客工具Artex:Barracuda重置全量凭据与裸奔控台反被暴露深剖
最新趋势
微软 CEO Satya Nadella 接受 The Pragmatic Engineer 深度专访谈 AI 时代软件工程变革
GitHub Copilot为何6个月被命令行颠覆?微软CEO纳德拉深度访谈:代码廉价时代的验证困局、“混合智能”路由与把Agent当内部威胁治理全景拆解
最新趋势
AI开源项目周刊第3期封面:4K生图权重、594B编程MoE与MCP生态全景
594B编程MoE与4K生图开放权重!AI开源项目周刊第3期硬核深剖:MiniMax H3-Image、Inkling 2 Small、Pinky手机MCP与Jane Street刷题Skill全景
AI 工具

相关推荐

OOTDiffusion – 开源AI虚拟试衣工具,智能适配性别和体型自动调整衣物
AIGC 资讯

OOTDiffusion – 开源AI虚拟试衣工具,智能适配性别和体型自动调整衣物

Prompt 语宙研究院
3D与空间智能 AI绘画提示词 HuggingFace stable diffusion 开源大模型
EICopilot – 百度推出基于AI智能体的企业信息搜索与探索工具
AIGC 资讯

EICopilot – 百度推出基于AI智能体的企业信息搜索与探索工具

Prompt 语宙研究院
AI办公效率 AI智能体 RAG检索增强
BioEmu – 微软推出的生成式深度学习系统
AIGC 资讯

BioEmu – 微软推出的生成式深度学习系统

Prompt 语宙研究院
AI智能体 HuggingFace 开源大模型
Minion Agent – 开源的多功能 AI Agent 框架
AIGC 资讯

Minion Agent – 开源的多功能 AI Agent 框架

Prompt 语宙研究院
AI智能体 AI编程 RAG检索增强 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.