# Phi-3 – 微软最新推出的新一代小模型系列 - Link: https://paooo.com/aigc-news/27943/ - Published: 2026-07-10T04:31:44+08:00 - Author: Prompt 语宙研究院 ## Phi-3是什么 Phi-3是微软研究院推出的新一代系列先进的小语言模型，包括phi-3-mini、phi-3-small和 phi-3-medium三个不同规模的版本。这些模型在保持较小的参数规模的同时，通过精心设计 的训练数据集和优化的算法，实现了与大型模型相媲美的语言理解和推理能力。特别是phi- 3-mini模型，仅3.8亿参数，却能在多项基准测试中超越参数量更大的模型，并且由于其小巧 的体积，甚至可以在智能手机上运行。Phi-3系列模型的研发，展示了在数据工程和模型优化 方面的最新进展，为未来小型化、高效能AI模型的发展提供了新的可能性。 阅读目录 * [Phi-3是什么](https://paooo.com/aigc-news/27943/#phi3%e6%98%af%e4%bb%80%e4%b9%88) * [Phi-3的模型系列](https://paooo.com/aigc-news/27943/#phi3%e7%9a%84%e6%a8%a1%e5%9e%8b%e7%b3%bb%e5%88%97) * [Phi-3的训练方法](https://paooo.com/aigc-news/27943/#phi3%e7%9a%84%e8%ae%ad%e7%bb%83%e6%96%b9%e6%b3%95) * [Phi-3的性能表现](https://paooo.com/aigc-news/27943/#phi3%e7%9a%84%e6%80%a7%e8%83%bd%e8%a1%a8%e7%8e%b0) * [Phi-3的局限与不足](https://paooo.com/aigc-news/27943/#phi3%e7%9a%84%e5%b1%80%e9%99%90%e4%b8%8e%e4%b8%8d%e8%b6%b3) ![Phi-3](https://paooo.com/wp-content/uploads/2026/07/microsoft-phi-3-1.avif) 技术报告：[https://arxiv.org/abs/2404.14219](https://arxiv.org/abs/2404.14219) Hugging Face Phi-3模型地址：[https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3](https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3) Ollama Phi-3模型地址：[https://ollama.com/library/phi3](https://ollama.com/library/phi3) ## Phi-3的模型系列 * **phi-3-mini**：最小的语言模型，拥有3.8亿参数。尽管体积小巧，但它在多项语言理解 任务上的基准测试表现却能与参数量更大的模型如Mixtral 8x7B和GPT-3.5相媲美。它的 设计允许在手机上部署，且在iPhone 14 Pro和iPhone 15使用的A16芯片上能够达到每秒 12个token的处理速度。 * **phi-3-small**：该模型的参数量为7亿，它使用了tiktoken分词器以支持多语言，并额外 增加了10%的多语种数据。phi-3-small在MMLU测试中的得分为75.3%，表现出色，超越了 Meta最近发布的[Llama 3](https://ai-bot.cn/meta-llama-3/) 8B Instruct模型。 * **phi-3-medium**：拥有14亿参数的中型模型，在更多数据上进行了训练，并且在多数测试 中超越了GPT-3.5和Mixtral 8x7b MoE。该模型在MMLU测试中的得分达到78.2%，显示了其 强大的语言处理能力。 ## Phi-3的训练方法 * **高质量数据集**：Phi-3模型的训练使用了3.3万亿至4.8万亿tokens的大规模数据集， 这些数据集经过了严格的筛选和过滤，以确保数据的教育水平和质量。 * **合成数据生成**：利用大型语言模型（LLM）生成合成数据，这些合成数据用于教授模型 逻辑推理和多种专业技能。 * **分阶段训练**：训练过程分为两个阶段，第一阶段主要使用网络数据，目的是让模型掌握 通用知识和语言理解；第二阶段则进一步筛选网络数据，并结合合成数据进行训练。 * **数据优化**：训练数据被校准以接近“数据最优”状态，这意味着在数据选择上，会优先 考虑能够提升模型推理能力的网页数据。 * **后训练优化**：模型在预训练之后，还经过了监督指令微调和偏好调整（DPO），以及 红队测试和自动化测试，以提高模型的安全性、鲁棒性和对话格式的适应性。 * **安全性和对齐**：Phi-3-mini的开发遵循了微软的负责任AI原则，通过后训练阶段的安全 性对齐，使用帮助性和无害性偏好数据集进行训练，并通过独立红队的迭代审查来进一步 识别改进领域。 * **量化处理**：为了使模型能够在手机上运行，Phi-3-Mini可以进行4-bit量化，显著减少 了模型的内存占用。 * **多语言支持**：尽管Phi-3-Mini主要针对英语，但微软也在探索小型语言模型的多语言 能力，Phi-3-Small模型就通过包含更多的多语言数据进行了训练。 ## Phi-3的性能表现 * **基准测试得分**：**phi-3-mini** 在MMLU（Massive Multitask Language Understanding） 基准测试中得分为69%，在MT-bench上得分为8.38。**phi-3-small** 和 **phi-3-medium** 分别在MMLU上取得了75.3%和78.2%的得分，显示了模型规模增长带来的性能提升。 * **性能对比其他模型**：Phi-3系列在性能上与参数量更大的模型如Mixtral 8x7B和GPT- 3.5相媲美。特别是**phi-3-mini**，尽管只有3.8亿参数，却在多项基准测试中超过了8B 参数的Llama 3。在与Meta的Llama-3-8B-Instruct模型的对比中，**phi-3-small**（7B 参数）在MMLU上得分更高（75.3% vs 66%），显示了Phi-3系列在较小模型尺寸下的性能 优势。 ⌊Phi-3基准测试得分对比⌉ * **移动设备上的运行**：**phi-3-mini** 特别设计为能够在移动设备上运行，经过4-bit 量化后，能够在iPhone 14 Pro和iPhone 15使用的A16芯片上达到每秒12个token的速度， 这在之前的大型模型中是难以实现的。 ⌊Phi-3-mini手机上运行⌉ * **多语言能力**：**phi-3-small** 通过使用tiktoken分词器和增加10%的多语种数据， 增强了模型的多语言处理能力，这在对比中是一个重要的优势。 ## Phi-3的局限与不足 * **知识存储限制**：由于模型大小的限制，特别是phi-3-mini，它在存储大量事实知识方面 的能力有限，这在需要广泛背景知识的测试中表现得尤为明显，例如在TriviaQA测试中的 低分表现。 * **对搜索功能的依赖**：为了缓解知识存储的限制，微软提出可以通过与搜索引擎的结合 来增强模型的性能。这表明在没有外部搜索支持的情况下，模型可能无法独立提供最佳的 答案或信息。 * **多语言能力的限制**：尽管phi-3-small通过增加多语言数据进行了优化，但Phi-3系列 模型的主要语言能力仍然主要集中在英语上。对于需要广泛多语言支持的应用场景，这可能是 一个限制。 * **特定任务的性能**：在某些特定的任务或数据集上，Phi-3模型可能还没有达到最佳性能， 这可能需要进一步的训练数据优化和模型调整。 * **安全性挑战**：尽管模型在安全性方面进行了优化，但像大多数大型语言模型一样，Phi- 3系列模型可能仍然存在产生幻觉、不适当内容、偏见放大或安全性问题的挑战。 * **硬件部署限制**：虽然Phi-3-Mini能够在智能手机上运行，但对于一些需要极高计算资源 的任务，即使是小型化的模型也可能面临硬件性能的限制。 [🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（ paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示 词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发 者与创作者提供一手、可复现的深度技术洞察。 [📄 Markdown 纯净版](https://paooo.com/aigc-news/27943/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)