# Instella – AMD开源的30亿参数系列语言模型

- Link: https://paooo.com/aigc-news/20927/
- Published: 2026-06-08T12:47:26+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 从零在AMD Instinct MI300X上训练，Instella是30亿参数开源模型，强调端到端自主可
   复现。
 * 采用36层、32头Transformer与4096上下文，结合预训练、SFT、DPO提升理解、对话和指令
   执行能力。
 * AMD已开源权重、训练配置、数据集和代码，适合客服、教育、编程与企业知识管理场景。

## Instella是什么

Instella是AMD推出的系列30亿参数的开源语言模型。模型完全从零开始在AMD Instinct™ MI300X
GPU上训练而成，基于自回归Transformer架构，包含36个解码器层和32个注意力头，支持最长
4096个标记的序列。Instella经过多阶段训练，包括大规模预训练、监督微调和偏好优化，
提升自然语言理解、指令跟随和对话能力。Instella在多个基准测试中超越现有的开源模型，
与最先进的开源权重模型具有竞争力。AMD完全开源Instella的模型权重、训练配置、数据集
和代码，促进AI社区的合作与创新。

阅读目录

 * [Instella是什么](https://paooo.com/aigc-news/20927/#instella%e6%98%af%e4%bb%80%e4%b9%88)
 * [Instella的主要功能](https://paooo.com/aigc-news/20927/#instella%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Instella的技术原理](https://paooo.com/aigc-news/20927/#instella%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Instella的项目地址](https://paooo.com/aigc-news/20927/#instella%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Instella的应用场景](https://paooo.com/aigc-news/20927/#instella%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Instella](https://paooo.com/wp-content/uploads/2026/06/Instella-website-1.avif)

## Instella的主要功能

 * **自然语言理解**：理解复杂的自然语言文本，处理各种语言任务，如问答、文本生成和
   语义分析。
 * **指令跟随**：基于监督微调（SFT）和直接偏好优化（DPO），准确理解和执行用户指令，
   生成符合人类偏好的回答。
 * **多轮对话能力**：支持多轮交互，根据上下文进行连贯的对话。
 * **问题解决能力**：在数学问题、逻辑推理和知识问答等任务上表现出色。
 * **多领域适应性**：基于多样化的训练数据，适应多种领域，如学术、编程、数学和日常
   对话等。

## Instella的技术原理

 * **Transformer架构**：基于自回归Transformer架构，包含36个解码器层，每层有32个注意力
   头，支持最长4096个标记的序列长度。
 * **高效训练技术**：FlashAttention-2、Torch Compile和bfloat16混合精度训练，优化
   内存使用和计算效率。
 * **多阶段训练**：用4.065万亿标记进行大规模预训练，建立基础语言理解能力。在第一
   阶段基础上进一步训练，使用额外的575.75亿标记，增强特定任务能力。
 * **监督微调（SFT）**：用高质量的指令-响应对数据进行微调，提升指令跟随能力。
 * **直接偏好优化（DPO）**：基于人类偏好数据对模型进行优化，让输出更符合人类价值
   观。
 * **分布式训练**：基于完全分片数据并行（FSDP）技术，将模型参数、梯度和优化器状态
   在节点内分片，在节点间复制，实现大规模集群训练。
 * **数据集**：基于多样化的高质量数据集进行训练，包括学术、编程、数学和对话数据，
   及合成数据集，确保模型具备广泛的知识和能力。

## Instella的项目地址

 * **项目官网**：[https://rocm.blogs.amd.com/artificial-intelligence/introducing-instella](https://rocm.blogs.amd.com/artificial-intelligence/introducing-instella-3B/README.html#additional-resources?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/AMD-AIG-AIMA/Instella](https://github.com/AMD-AIG-AIMA/Instella)
 * **HuggingFace模型库**：[https://huggingface.co/collections/amd/instella](https://huggingface.co/collections/amd/instella-67c8a2c56e9198c85a97dd08)

## Instella的应用场景

 * **智能客服**：自动回答问题，提供个性化服务，提升客户体验。
 * **内容创作**：生成文案、故事等，辅助内容创作者提高效率。
 * **教育辅导**：解答学术问题，提供学习建议，辅助学生学习。
 * **编程辅助**：生成代码片段，提供编程建议，帮助开发者解决问题。
 * **企业知识管理**：整合公司知识，提供内部咨询，提升协作效率。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Instella是什么类型的模型？

Instella是AMD推出的30亿参数开源语言模型，基于自回归Transformer架构，从零开始在AMD
Instinct MI300X GPU上训练，支持最长4096个标记的上下文输入。

Instella为什么适合指令跟随和对话？

它经过多阶段训练，包括大规模预训练、监督微调（SFT）和直接偏好优化（DPO），因此在
理解用户指令、生成更符合偏好的回答以及多轮对话连贯性方面表现更好。

Instella开源了哪些内容？

AMD公开了Instella的模型权重、训练配置、数据集和代码，便于研究者和开发者复现、二次
开发与评估，也有助于AI社区协作创新。

🔬 语宙深潜追问 · 进阶实操拆解

Instella适合哪些企业落地场景？

更适合需要可控部署、成本敏感、且希望摆脱单一云厂商依赖的场景，如内部助手、知识问答
和轻量推理服务。若追求最强通用能力，仍需结合更[大模型](https://paooo.com/ai-study/)
或混合路由。

3B模型如何兼顾效果与成本？

关键在高质量多阶段训练、指令微调和偏好对齐，而不是单纯堆参数。部署时可配合量化、
KV缓存优化和批处理调度，把3B模型放在高频、低延迟任务上最划算。

🗳️ 读者观点微投票 · 您的实战立场是？

从零训练3B开源模型，AMD这步值不值？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Instella-MoE – AMD 开源的混合专家语言模型系列](https://paooo.com/aigc-news/39559/)
 * [Inkling – Thinking Machines Lab 推出的多模态基础模型](https://paooo.com/aigc-news/31056/)
 * [Ornith-1.0 – DeepReinforce 开源的 Agentic 编程系列模型](https://paooo.com/aigc-news/24188/)
 * [AMD-135M – AMD推出的首款小型语言模型](https://paooo.com/aigc-news/26617/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20927/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
