Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Llama 4 – Meta 开源的多模态系列AI模型,重夺开源王座
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Llama 4 – Meta 开源的多模态系列AI模型,重夺开源王座
Prompt 语宙 > AIGC 资讯 > Llama 4 – Meta 开源的多模态系列AI模型,重夺开源王座
AIGC 资讯

Llama 4 – Meta 开源的多模态系列AI模型,重夺开源王座

Prompt 语宙研究院
最近更新: 2026年6月8日 上午5:11
Llama 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 首个采用 MoE 架构的 Llama 系列模型,兼顾训练与推理效率,降低服务成本与延迟。
  • Scout 支持 1000 万上下文、可处理超长视频;Maverick 在图像理解和创意写作上更强。
  • 原生多模态、200 种语言预训练与 30 万亿 token 数据,让它更适合开源微调与通用应用。

Llama 4是什么

Llama 4 是 Meta 开源的多模态系列AI模型。首次采用混合专家(MoE)架构,在训练和推理时计算效率更高。Llama 4 目前有 Scout 和 Maverick 两个版本。Scout 有 170 亿个活跃参数、16 个 “专家” 模型、1090 亿个总参数,支持 1000 万上下文,可处理 20 多小时视频,在单个 H100 GPU 上就能运行,性能超越 Gemma 3 等模型。Maverick 有 170 亿个活跃参数,128 个 “专家” 模型,4000 亿总参数,在图像精准理解和创意写作方面表现突出,适合通用助手、聊天类应用,在大模型 LMSYS 排行榜上位居第二。Llama 4 Behemoth 为预览版本,还在训练中,拥有2 万亿参数在 STEM 基准测试中表现优异。Llama 4 通过在 200 种语言上预训练支持开源微调,训练数据超 30 万亿个 token。

阅读目录
  • Llama 4是什么
  • Llama 4的主要功能
  • Llama 4的技术原理
  • Llama 4的项目地址
  • Llama 4的应用场景

Llama 4

Llama 4的主要功能

  • 强大的语言理解与生成能力:经过大量文本数据训练,语言理解精准。能生成连贯、有逻辑的文本,可用于创意写作、文章撰写、对话交互等。如进行故事创作时,能根据给定主题和情节线索,生成丰富生动的故事内容;在对话场景中,能理解用户意图并给出恰当回复。
  • 多模态处理能力:通过图像数据训练,具备图像理解能力,可识别图像中的物体、场景、颜色等元素,能对图像内容进行描述和分析。Scout 版本支持 1000 万 tokens 上下文窗口,可处理多达数百万字的文本,适用于总结长文档、基于大型代码库推理等任务。
  • 高效的推理与计算能力:采用混合专家(MoE)架构,将模型划分为多个专注特定任务的 “专家” 子模型,在训练和回答用户查询时效率更高,可降低模型服务成本和延迟,提高推理效率。
  • 多语言处理能力:通过对 200 种语言进行预训练,能处理和生成多种语言的文本,支持跨语言交流和处理任务,如语言翻译、不同语言文本的分析与生成等,帮助用户打破语言障碍。

Llama 4的技术原理

  • 混合专家(MoE)架构:Llama 4 是 Llama 系列中首个采用 MoE 架构的模型。在 MoE 模型中,单独的 token 只会激活全部参数中的一小部分。例如,Llama 4 Maverick 模型的 4000 亿个总参数中有 170 亿个活跃参数。为提高推理效率,Meta 交替使用了稠密层和 MoE 层,MoE 层用到了 128 个路由专家和一个共享专家,每个 token 都会被送到共享专家,同时也会送到 128 个路由专家中的一个,这样在运行模型时,只有部分参数会被激活,提升了推理效率,降低了模型服务的成本和延迟。
  • 原生多模态设计:Llama 4 是原生多模态模型,采用早期融合技术,能将文本和视觉 token 无缝整合到一个统一的模型框架里。可以用海量的无标签文本、图片和视频数据一起来预训练模型。Meta 升级了 Llama 4 的视觉编码器,编码器基于 MetaCLIP,在训练时跟一个冻结的 Llama 模型分开进行,能更好地调整编码器,更适配大语言模型(LLM)。
  • 模型超参数优化:Meta 开发了 MetaP 新训练方法,能更靠谱地设置关键的模型超参数,如每层的学习率和初始化规模,这些超参数在不同的批大小、模型宽度、深度和训练 token 量上都能很好地适配。
  • 高效的模型训练:采用 FP8 精度,既不牺牲质量,又能保证模型的高 FLOPs 利用率。如在使用 FP8 精度和 32K 个 GPU 预训练 Llama 4 Behemoth 模型时,达到了每个 GPU 390 TFLOPs 的性能。训练数据包含超过 30 万亿个 token,涵盖文本、图片和视频数据集。通过 “中期训练” 方式继续训练模型,用专门数据集扩展长上下文,提升核心能力,为 Llama 4 Scout 解锁了领先的 1000 万输入上下文长度。
  • 后训练流程优化:训练流程为轻量级监督微调(SFT)> 在线强化学习(RL)> 轻量级直接偏好优化(DPO)。为解决 SFT 和 DPO 可能过度限制模型的问题,Meta 使用 Llama 模型作为评判者,移除超过 50% 被标记为 “简单” 的数据,对剩余更难数据进行轻量级 SFT,在多模态在线 RL 阶段精心选择更难的提示,并实施持续在线 RL 策略,交替进行模型训练和数据筛选,保留中等到高难度的提示,最后进行轻量级 DPO,平衡模型的智能性和对话能力。

Llama 4的项目地址

  • 项目官网:https://ai.meta.com/blog/llama-4
  • HuggingFace模型库:https://huggingface.co/collections/meta-llama/llama-4

Llama 4的应用场景

  • 对话系统:Llama 4 可用于构建智能聊天机器人,如 Maverick 适用于通用 AI 助手和聊天应用,能理解用户问题并生成自然流畅的回答,提供信息、解答疑问、进行闲聊等。
  • 文本生成:能进行创意写作,如创作故事、诗歌、剧本等,可用于撰写新闻报道、产品说明、文案策划等,根据给定主题和要求生成高质量文本。
  • 代码生成与辅助:可帮助开发者生成代码,根据功能描述生成相应代码片段或完整程序,能提供代码解释、注释生成、代码规范检查等辅助功能,提高开发效率。
  • 代码理解与分析:Scout 能基于大型代码库进行推理,帮助开发者理解复杂代码库的逻辑和功能,进行代码审查、漏洞检测等工作。
  • 图像理解与描述:Maverick 在图像精准理解方面表现出色,能识别图像中的物体、场景、颜色等元素,对图像内容进行描述和分析,如输入一张照片,可描述照片内容、判断拍摄地点等。
  • 信息检索与推荐:结合其语言理解和生成能力,可用于信息检索系统,理解用户查询意图,提供更精准的搜索结果,还能基于用户兴趣和行为进行个性化推荐。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
LLaMA ↗
Meta(Facebook)推出的AI大语言模型。
LLaMA ↗
在线AI大模型微调平台,零代码、可视化操作。
Gemma ↗
Gemma:Google AI学习平台,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
Llama 4 适合做什么?

Llama 4 适合对话系统、长文档总结、代码辅助、创意写作和多模态理解。Maverick 更偏通用助手与聊天应用,Scout 更适合超长上下文任务,如大型文档、代码库推理和长视频处理。

Llama 4 的 MoE 架构有什么优势?

MoE 架构会让每个 token 只激活部分参数,因此在保持模型能力的同时提升推理效率。文中提到它能降低服务成本和延迟,适合需要高吞吐、低成本部署的场景。

Llama 4 Scout 和 Maverick 有什么区别?

Scout 侧重超长上下文,支持 1000 万 tokens,且可在单个 H100 GPU 上运行;Maverick 总参数更大,在图像精准理解和创意写作方面更突出,适合通用 AI 助手。

🔬 语宙深潜追问 · 进阶实操拆解
MoE架构适合哪些应用?

MoE 适合高吞吐、长上下文和多任务场景,因为推理时只激活部分专家,能兼顾能力和成本。但部署复杂度更高,路由、显存和并行策略都要提前设计。

百万级上下文怎么真正用起来?

别把长上下文当“全塞进去”,而是先做检索、摘要和分段记忆,再把关键片段送入模型。否则成本会迅速上升,且有效信息密度未必更高。

🗳️ 读者观点微投票 · 您的实战立场是?
Llama 4能重新定义开源大模型吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • 介绍 Meta Llama 3:迄今为止最强大的开源大语言模型 [译]
  • Llama 3 – Meta开源推出的新一代大语言模型
  • Llama 3.3 – Meta AI推出的纯文本语言模型
  • Meta 宣布推出 Llama 3 [译]
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
LLaMA2 聊天机器人
Claude Opus 4.1 深度评测:74.5% SWE-bench 登顶!编程、Agent与安全性全面超越GPT-4.1
LanPaint – 零训练 AI 图像修复工具
GPT-4V(视觉版) 系统卡片 [译]
日本30大巨头联手软银组建AI国家队,万亿参数模型剑指中美技术高地
TAGGED:Llama大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Suna – Kortix推出的全球首款通用型 AI Agent 开源项目 Suna – Kortix推出的全球首款通用型 AI Agent 开源项目
下一篇 DICE-Talk – 复旦联合腾讯优图推出的情感化动态肖像生成框架 DICE-Talk – 复旦联合腾讯优图推出的情感化动态肖像生成框架
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

GLM-Z1-32B – 智谱开源的新一代推理模型
AIGC 资讯

GLM-Z1-32B – 智谱开源的新一代推理模型

Prompt 语宙研究院
AI编程 DeepSeek 大模型微调 开源大模型 智谱AI
百度千帆Qianfan-OCR震撼发布:4B参数端到端文档智能模型登顶权威评测,开源重塑OCR技术格局
AI 工具AIGC 资讯

百度千帆Qianfan-OCR震撼发布:4B参数端到端文档智能模型登顶权威评测,开源重塑OCR技术格局

Prompt 语宙研究院
Layout-as-Thought OCR大模型 Qianfan-OCR 百度千帆 端到端文档智能
WebThinker – 人民大学联合智源研究院等机构推出的深度研究智能体
AIGC 资讯

WebThinker – 人民大学联合智源研究院等机构推出的深度研究智能体

Prompt 语宙研究院
AI智能体 HuggingFace RAG检索增强 大模型微调 开源大模型
LaWGPT – 南京大学推出的中文法律大语言模型
AIGC 资讯

LaWGPT – 南京大学推出的中文法律大语言模型

Prompt 语宙研究院
Llama 大模型微调 开源大模型 智谱AI
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.