# AMD-135M – AMD推出的首款小型语言模型

- Link: https://paooo.com/aigc-news/26617/
- Published: 2026-07-08T20:58:26+08:00
- Author: 站外新闻

## AMD-135M是什么

AMD-135M是AMD推出的首款小型语言模型（SLM），为特定用例提供性能与资源消耗之间的平衡。
基于LLaMA2模型架构，在AMD Instinct MI250加速器上训练，基于670亿个token，AMD-135M
分为两个版本，通用文本的AMD-Llama-135M和针对代码的AMD-Llama-135M-code。AMD-135M采用
推测解码技术，能在每次前向传递中生成多个token，提高推理速度减少内存占用。在性能方面，
AMD-135M 在各种自然语言处理任务上的表现与市场上其他同类模型相当。例如，在 Humaneval
数据集上使用 MI250 GPU 时，实现大约 32.31% 的通过率，是一个强大的性能指标 。

阅读目录

 * [AMD-135M是什么](https://paooo.com/aigc-news/26617/#amd135m%e6%98%af%e4%bb%80%e4%b9%88)
 * [AMD-135M的主要功能](https://paooo.com/aigc-news/26617/#amd135m%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [AMD-135M的技术原理](https://paooo.com/aigc-news/26617/#amd135m%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [AMD-135M的项目地址](https://paooo.com/aigc-news/26617/#amd135m%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [AMD-135M的应用场景](https://paooo.com/aigc-news/26617/#amd135m%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![AMD-135M](https://paooo.com/wp-content/uploads/2026/07/AMD-135M-website-1.avif)

## AMD-135M的主要功能

 * **文本生成**：能生成连贯的文本，支持聊天机器人、内容创作等应用。
 * **代码生成**：基于微调版本AMD-Llama-135M-code，支持代码生成和辅助编程。
 * **自然语言理解**：理解输入文本的意图和上下文，用于问答系统、摘要生成等。
 * **多平台兼容性**：在不同的硬件平台上运行，包括AMD的GPU和CPU。

## AMD-135M的技术原理

 * **推测解码**：通过小型草稿模型生成候选token，再由大型目标模型验证，提高推理效率。
 * **自回归方法**：传统的生成方法，每次前向传递生成一个token，但通过推测解码技术
   得到优化。
 * **多头注意力机制**：使用多头注意力机制来提高模型对文本中不同部分之间关系的捕捉
   能力。
 * **位置编码**：使用相对位置编码（RoPE）来保持序列中单词的顺序信息。
 * **激活函数**：使用Swiglu激活函数，这是一种专为语言模型设计的激活函数。
 * **Layer Norm**：使用RMSNorm（Root Mean Square Normalization）来稳定训练过程。
 * **模型架构**：基于LLaMA-2模型架构，具有12层，768隐藏单元，以及其他技术规格。

## AMD-135M的项目地址

 * **项目官网**：[amd-first-slm-135m-model-fuels-ai-advancements](https://www.amd.com/en/developer/resources/technical-articles/introducing-amd-first-slm-135m-model-fuels-ai-advancements.html?utm_source=ai-bot.cn)
 * **HuggingFace模型库**：[https://huggingface.co/amd/AMD-Llama-135m](https://huggingface.co/amd/AMD-Llama-135m)

## AMD-135M的应用场景

 * **聊天机器人**：作为聊天机器人的后端，提供自然语言理解和生成能力，实现与用户的
   互动对话。
 * **内容创作**：辅助写作，生成文章、故事或其他文本内容的草稿。
 * **编程辅助**：基于AMD-Llama-135M-code版本，帮助开发者生成代码片段，提供编程建议
   和自动补全。
 * **语言翻译**：模型主要针对英语，但架构适应其他语言，用于机器翻译任务。
 * **文本摘要**：自动生成文本的摘要，用在新闻、文章或报告的快速概览。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)