# Andrej Karpathy 大语言模型视频入门的精选阅读清单 [译]

- Link: https://paooo.com/ai-study/7032/
- Published: 2024-01-03T12:18:02+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 从 Transformer 到 GPT-2、InstructGPT、Llama-2，文章按演讲脉络梳理[大模型](https://paooo.com/ai-study/)
   演进主线。
 * 重点补充本地运行 LLM 的代码与教程，强调可用约 500 行 C 代码配合权重落地实践。
 * RLAIF 与参数-数据规模关系两篇论文，指向更高效的对齐流程与扩展训练思路。

![Andrej Karpathy 大语言模型视频入门的精选阅读清单](https://paooo.com/wp-content/
uploads/2024/01/IMG_1171-jpeg.webp)

Andrej Karpathy 大语言模型视频入门的精选阅读清单

阅读目录

 * [背景阅读](https://paooo.com/ai-study/7032/#%e8%83%8c%e6%99%af%e9%98%85%e8%af%bb)
    - [注意力机制：一切的关键](https://paooo.com/ai-study/7032/#%e6%b3%a8%e6%84%8f%e5%8a%9b%e6%9c%ba%e5%88%b6%e4%b8%80%e5%88%87%e7%9a%84%e5%85%b3%e9%94%ae)
    - [语言模型：无需指导的多任务高手 (GPT-2)](https://paooo.com/ai-study/7032/#%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e6%97%a0%e9%9c%80%e6%8c%87%e5%af%bc%e7%9a%84%e5%a4%9a%e4%bb%bb%e5%8a%a1%e9%ab%98%e6%89%8b-gpt2)
    - [指导语言模型：从 GPT-3 到 ChatGPT 的进阶之路 (InstructGPT)](https://paooo.com/ai-study/7032/#%e6%8c%87%e5%af%bc%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e4%bb%8e-gpt3-%e5%88%b0-chatgpt-%e7%9a%84%e8%bf%9b%e9%98%b6%e4%b9%8b%e8%b7%af-instructgpt)
    - [Llama-2](https://paooo.com/ai-study/7032/#llama2)
    - [在本地运行大语言模型 (LLM)](https://paooo.com/ai-study/7032/#%e5%9c%a8%e6%9c%ac%e5%9c%b0%e8%bf%90%e8%a1%8c%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b-llm)
    - [RLAIF：结合 AI 反馈，提升基于人类反馈的强化学习规模](https://paooo.com/ai-study/7032/#rlaif%e7%bb%93%e5%90%88-ai-%e5%8f%8d%e9%a6%88%e6%8f%90%e5%8d%87%e5%9f%ba%e4%ba%8e%e4%ba%ba%e7%b1%bb%e5%8f%8d%e9%a6%88%e7%9a%84%e5%bc%ba%e5%8c%96%e5%ad%a6%e4%b9%a0%e8%a7%84%e6%a8%a1)
    - [培育高效能语言模型的新视角](https://paooo.com/ai-study/7032/#%e5%9f%b9%e8%82%b2%e9%ab%98%e6%95%88%e8%83%bd%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e6%96%b0%e8%a7%86%e8%a7%92)
    - [揭示人工普遍智能的奥秘：GPT-4 的早期探索](https://paooo.com/ai-study/7032/#%e6%8f%ad%e7%a4%ba%e4%ba%ba%e5%b7%a5%e6%99%ae%e9%81%8d%e6%99%ba%e8%83%bd%e7%9a%84%e5%a5%a5%e7%a7%98gpt4-%e7%9a%84%e6%97%a9%e6%9c%9f%e6%8e%a2%e7%b4%a2)
 * [大语言模型未来展望](https://paooo.com/ai-study/7032/#%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e6%9c%aa%e6%9d%a5%e5%b1%95%e6%9c%9b)
 * [快思考与慢思考](https://paooo.com/ai-study/7032/#%e5%bf%ab%e6%80%9d%e8%80%83%e4%b8%8e%e6%85%a2%e6%80%9d%e8%80%83)
    - [快与慢：思维的两种模式](https://paooo.com/ai-study/7032/#%e5%bf%ab%e4%b8%8e%e6%85%a2%e6%80%9d%e7%bb%b4%e7%9a%84%e4%b8%a4%e7%a7%8d%e6%a8%a1%e5%bc%8f)
    - [如何用深度学习和树搜索法征服围棋世界](https://paooo.com/ai-study/7032/#%e5%a6%82%e4%bd%95%e7%94%a8%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e5%92%8c%e6%a0%91%e6%90%9c%e7%b4%a2%e6%b3%95%e5%be%81%e6%9c%8d%e5%9b%b4%e6%a3%8b%e4%b8%96%e7%95%8c)
    - [如何通过“链式思考”提示激发大语言模型的推理能力](https://paooo.com/ai-study/7032/#%e5%a6%82%e4%bd%95%e9%80%9a%e8%bf%87%e9%93%be%e5%bc%8f%e6%80%9d%e8%80%83%e6%8f%90%e7%a4%ba%e6%bf%80%e5%8f%91%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e6%8e%a8%e7%90%86%e8%83%bd%e5%8a%9b)
    - [思维之树：用大语言模型深入解决问题](https://paooo.com/ai-study/7032/#%e6%80%9d%e7%bb%b4%e4%b9%8b%e6%a0%91%e7%94%a8%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e6%b7%b1%e5%85%a5%e8%a7%a3%e5%86%b3%e9%97%ae%e9%a2%98)
    - [系统 2 型注意力（你可能也需要注意这一点）](https://paooo.com/ai-study/7032/#%e7%b3%bb%e7%bb%9f-2-%e5%9e%8b%e6%b3%a8%e6%84%8f%e5%8a%9b%e4%bd%a0%e5%8f%af%e8%83%bd%e4%b9%9f%e9%9c%80%e8%a6%81%e6%b3%a8%e6%84%8f%e8%bf%99%e4%b8%80%e7%82%b9)
 * [大语言模型操作系统 (LLM OS)](https://paooo.com/ai-study/7032/#%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e6%93%8d%e4%bd%9c%e7%b3%bb%e7%bb%9f-llm-os)
 * [磁盘 / 文件系统](https://paooo.com/ai-study/7032/#%e7%a3%81%e7%9b%98-%e6%96%87%e4%bb%b6%e7%b3%bb%e7%bb%9f)
    - [检索增强生成 (Retrieval Augmented Generation, RAG)](https://paooo.com/ai-study/7032/#%e6%a3%80%e7%b4%a2%e5%a2%9e%e5%bc%ba%e7%94%9f%e6%88%90-retrieval-augmented-generation-rag)
    - [展示 – 搜索 – 预测：结合检索和语言模型以解决知识密集型 NLP 问题](https://paooo.com/ai-study/7032/#%e5%b1%95%e7%a4%ba-8211-%e6%90%9c%e7%b4%a2-8211-%e9%a2%84%e6%b5%8b%e7%bb%93%e5%90%88%e6%a3%80%e7%b4%a2%e5%92%8c%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e4%bb%a5%e8%a7%a3%e5%86%b3%e7%9f%a5%e8%af%86)
 * [多模态外设输入/输出](https://paooo.com/ai-study/7032/#%e5%a4%9a%e6%a8%a1%e6%80%81%e5%a4%96%e8%ae%be%e8%be%93%e5%85%a5%e8%be%93%e5%87%ba)
    - [CLIP – 从自然语言监督中学习通用视觉模型](https://paooo.com/ai-study/7032/#clip-8211-%e4%bb%8e%e8%87%aa%e7%84%b6%e8%af%ad%e8%a8%80%e7%9b%91%e7%9d%a3%e4%b8%ad%e5%ad%a6%e4%b9%a0%e9%80%9a%e7%94%a8%e8%a7%86%e8%a7%89%e6%a8%a1%e5%9e%8b)
    - [ULIP: 学习统一的语言、图像和点云表征，促进 3D 理解](https://paooo.com/ai-study/7032/#ulip-%e5%ad%a6%e4%b9%a0%e7%bb%9f%e4%b8%80%e7%9a%84%e8%af%ad%e8%a8%80%e5%9b%be%e5%83%8f%e5%92%8c%e7%82%b9%e4%ba%91%e8%a1%a8%e5%be%81%e4%bf%83%e8%bf%9b-3d-%e7%90%86%e8%a7%a3)
    - [NExT-GPT: 多功能多模态大语言模型](https://paooo.com/ai-study/7032/#nextgpt-%e5%a4%9a%e5%8a%9f%e8%83%bd%e5%a4%9a%e6%a8%a1%e6%80%81%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b)
    - [LLaVA – 视觉指令调整](https://paooo.com/ai-study/7032/#llava-8211-%e8%a7%86%e8%a7%89%e6%8c%87%e4%bb%a4%e8%b0%83%e6%95%b4)
    - [LaVIN – 经济实惠且迅速：大语言模型的高效视觉 – 语言指令调整](https://paooo.com/ai-study/7032/#lavin-8211-%e7%bb%8f%e6%b5%8e%e5%ae%9e%e6%83%a0%e4%b8%94%e8%bf%85%e9%80%9f%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e9%ab%98%e6%95%88%e8%a7%86%e8%a7%89-8211-%e8%af%ad%e8%a8%80%e6%8c%87)
    - [CoCa: 对比性标题生成器作为图像 – 文本基础模型](https://paooo.com/ai-study/7032/#coca-%e5%af%b9%e6%af%94%e6%80%a7%e6%a0%87%e9%a2%98%e7%94%9f%e6%88%90%e5%99%a8%e4%bd%9c%e4%b8%ba%e5%9b%be%e5%83%8f-8211-%e6%96%87%e6%9c%ac%e5%9f%ba%e7%a1%80%e6%a8%a1%e5%9e%8b)
    - [Emu Video: 显式图像条件下的文本到视频生成分解](https://paooo.com/ai-study/7032/#emu-video-%e6%98%be%e5%bc%8f%e5%9b%be%e5%83%8f%e6%9d%a1%e4%bb%b6%e4%b8%8b%e7%9a%84%e6%96%87%e6%9c%ac%e5%88%b0%e8%a7%86%e9%a2%91%e7%94%9f%e6%88%90%e5%88%86%e8%a7%a3)
 * [工具应用、软件新视角、网络探索等](https://paooo.com/ai-study/7032/#%e5%b7%a5%e5%85%b7%e5%ba%94%e7%94%a8%e8%bd%af%e4%bb%b6%e6%96%b0%e8%a7%86%e8%a7%92%e7%bd%91%e7%bb%9c%e6%8e%a2%e7%b4%a2%e7%ad%89)
    - [Toolformer: Language Models Can Teach Themselves to Use Tools](https://paooo.com/ai-study/7032/#toolformer-language-models-can-teach-themselves-to-use-tools)
    - [Large Language Models as Tool Makers](https://paooo.com/ai-study/7032/#large-language-models-as-tool-makers)
    - [ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs](https://paooo.com/ai-study/7032/#toolllm-facilitating-large-language-models-to-master-16000-realworld-apis)
 * [大语言模型的安全挑战](https://paooo.com/ai-study/7032/#%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%ae%89%e5%85%a8%e6%8c%91%e6%88%98)
    - [破解：大语言模型安全训练失败的原因是什么？](https://paooo.com/ai-study/7032/#%e7%a0%b4%e8%a7%a3%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e5%ae%89%e5%85%a8%e8%ae%ad%e7%bb%83%e5%a4%b1%e8%b4%a5%e7%9a%84%e5%8e%9f%e5%9b%a0%e6%98%af%e4%bb%80%e4%b9%88)
    - [对齐语言模型面临的通用且可迁移的对抗攻击](https://paooo.com/ai-study/7032/#%e5%af%b9%e9%bd%90%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e9%9d%a2%e4%b8%b4%e7%9a%84%e9%80%9a%e7%94%a8%e4%b8%94%e5%8f%af%e8%bf%81%e7%a7%bb%e7%9a%84%e5%af%b9%e6%8a%97%e6%94%bb%e5%87%bb)
    - [视觉对抗示例如何破解对齐的大语言模型](https://paooo.com/ai-study/7032/#%e8%a7%86%e8%a7%89%e5%af%b9%e6%8a%97%e7%a4%ba%e4%be%8b%e5%a6%82%e4%bd%95%e7%a0%b4%e8%a7%a3%e5%af%b9%e9%bd%90%e7%9a%84%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b)
    - [意料之外：通过间接提示注入攻击妥协集成了大语言模型的真实世界应用](https://paooo.com/ai-study/7032/#%e6%84%8f%e6%96%99%e4%b9%8b%e5%a4%96%e9%80%9a%e8%bf%87%e9%97%b4%e6%8e%a5%e6%8f%90%e7%a4%ba%e6%b3%a8%e5%85%a5%e6%94%bb%e5%87%bb%e5%a6%a5%e5%8d%8f%e9%9b%86%e6%88%90%e4%ba%86%e5%a4%a7%e8%af%ad%e8%a8%80)
    - [黑客攻击 Google Bard – 从提示注入到数据渗透](https://paooo.com/ai-study/7032/#%e9%bb%91%e5%ae%a2%e6%94%bb%e5%87%bb-google-bard-8211-%e4%bb%8e%e6%8f%90%e7%a4%ba%e6%b3%a8%e5%85%a5%e5%88%b0%e6%95%b0%e6%8d%ae%e6%b8%97%e9%80%8f)
    - [在指令调优时对语言模型进行投毒](https://paooo.com/ai-study/7032/#%e5%9c%a8%e6%8c%87%e4%bb%a4%e8%b0%83%e4%bc%98%e6%97%b6%e5%af%b9%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e8%bf%9b%e8%a1%8c%e6%8a%95%e6%af%92)
    - [在网络规模训练数据集中进行投毒是实际可行的](https://paooo.com/ai-study/7032/#%e5%9c%a8%e7%bd%91%e7%bb%9c%e8%a7%84%e6%a8%a1%e8%ae%ad%e7%bb%83%e6%95%b0%e6%8d%ae%e9%9b%86%e4%b8%ad%e8%bf%9b%e8%a1%8c%e6%8a%95%e6%af%92%e6%98%af%e5%ae%9e%e9%99%85%e5%8f%af%e8%a1%8c%e7%9a%84)
 * [结论](https://paooo.com/ai-study/7032/#%e7%bb%93%e8%ae%ba)

忙碌人士的大语言模型 (LLM) 入门：Andrej Karpathy 的讲解

近期，Andrej Karpathy 发布了一个长达一小时的演讲，主题是“忙碌人士的大语言模型入门”。
无论你是机器学习的行家还是 AI 领域的新手，这个演讲都有很多值得一听的精彩内容。

在这一小时的分享中，他提及了众多资源、学术论文和重要概念。为此，我整理了一份阅读
清单，帮助有兴趣的人深入了解他所触及的每一个话题。

完整的演讲可以在这里找到：[1hr Talk] Intro to Large Language Models

我建议在深入阅读这份清单之前，先观看一遍视频。Andrej 擅长把复杂的主题讲解得通俗易懂，
非常适合初学者。

如果你想进一步探索这些话题，欢迎参加我们每周五在 Arxiv Dives 小组举行的论文讨论会，
或者加入我们的 Discord 频道 来推荐更多优秀论文。

演讲分为两个部分：第一部分介绍了大语言模型的背景知识和基础原理，第二部分则探讨了
未来研究方向和他提出的一种大语言模型操作系统 (LLM OS)。

##  背景阅读

在视频的前半部分，Andrej 讲解了大语言模型的培训基础及其当前的运行情况。

理解这些模型的核心技术和运行方式对于深入理解他在演讲后半部分提出的大语言模型操作
系统 (LLM OS) 的应用概念至关重要。

我们在 Arxiv Dives 中已经对这些话题进行了深入探讨，因此我会在阅读这些技术性较强的
论文时，提供相应的背景回顾作为参考。

###  **注意力机制：一切的关键**

这篇开创性论文首次详细介绍了 Transformer 技术，它是当下先进大语言模型的核心架构。

 * 论文链接：https://arxiv.org/abs/1706.03762
 * Arxiv 深度探索：https://blog.oxen.ai/arxiv-dives-attention-is-all-you-need/

###  语言模型：无需指导的多任务高手 (GPT-2)

GPT-2 是 GPT 系列的早期版本，它通过无监督学习来预测下一个词，从而能够掌握一些原本
没有被直接训练的任务。

 * 论文链接：https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.
   pdf
 * Arxiv 深度探索：https://blog.oxen.ai/arxiv-dives-language-models-are-unsupervised-
   multitask-learners-gpt-2/

###  指导语言模型：从 GPT-3 到 ChatGPT 的进阶之路 (InstructGPT)

这部分技术解析了如何从 GPT-3 转变为 [ChatGPT](https://paooo.com/tag/chatgpt/)，包括
了细微调整、基于强化学习的人类反馈（RLHF）和语言模型的对齐工作。

 * 论文链接：https://arxiv.org/abs/2203.02155
 * Arxiv 深度探索：https://blog.oxen.ai/training-language-models-to-follow-instructions-
   instructgpt/

###  Llama-2

本文详述了视频开始提及的 Llama-2 模型。Llama-2 基于前两篇论文的研究成果，并创新地
开源了其模型权重，便于其他研究者进行微调和进一步开发。

 * 论文链接：https://ai.meta.com/research/publications/llama-2-open-foundation-and-
   fine-tuned-chat-models
 * Arxiv 深度剖析：https://blog.oxen.ai/arxiv-dives-how-llama-2-works/

###  在本地运行大语言模型 (LLM)

论文开头部分详细介绍了，你只需大约 500 行 C 语言代码加上模型权重即可实现本地运行。
下面是一些示范代码和教程，教你如何在本地对模型进行微调和运行。

 * Llama.cpp 代码示例：https://github.com/ggerganov/llama.cpp
 * Andrej 的代码实例：https://github.com/karpathy/llama2.c/blob/master/run.c
 * 实操教程：https://blog.oxen.ai/how-to-run-llama-2-on-cpu-after-fine-tuning-with-
   lora/

###  RLAIF：结合 AI 反馈，提升基于人类反馈的强化学习规模

在大语言模型 (LLM) 训练和对齐的最后阶段，人类标注往往成为限制速度的瓶颈。RLAIF 利用
已有的大语言模型加速数据标注，比纯人工更快，同时能达到相似的效果。

 * 论文地址：https://arxiv.org/abs/2309.00267

###  培育高效能语言模型的新视角

这篇论文深入探讨了在语言模型中增加参数与所需训练数据量之间的关系。研究发现，不断
增加模型参数和数据量，能够有效地无成本提升其“智能”。

 * 论文链接：https://arxiv.org/abs/2203.15556

###  揭示人工普遍智能的奥秘：GPT-4 的早期探索

本研究针对 [OpenAI](https://paooo.com/tag/openai/) 早期版本的 GPT-4 进行了全面的
考察和实验。结果显示，通过扩大模型规模并延长训练时间，GPT-4 在多项对于人类而言颇
具挑战性的测试（如 LSAT、AP 放置测试、SAT 等）中表现出色。

 * 论文链接：https://arxiv.org/abs/2303.12712

##  大语言模型未来展望

在演讲的后半部分，Andrej 深入探索了人工智能领域广泛关注的研究方向。接着，他提出了
一个概念：LLM OS。在他的论述中，大语言模型（LLM）不应仅被视为聊天机器人或是一种“
工作生成器”。相反，它们更应被视为一种新兴操作系统的核心组件。

如果我们把大语言模型想象成一种操作系统，那么在使用过程中可能出现的安全漏洞也是我们
必须考虑的问题。在演讲的最后一部分，他指出了许多与 LLM 相关的有趣的潜在安全威胁。

##  快思考与慢思考

###  快与慢：思维的两种模式

Daniel Kahneman 在这本书中描述了一个包含两种思维系统的框架。第一个系统快速、直觉、
情感驱动；而第二个系统则更慢、更深思熟虑、更具逻辑性。

 * 书籍链接：https://www.amazon.com/Thinking-Fast-Slow-Daniel-Kahneman/dp/0374533555

###  如何用深度学习和树搜索法征服围棋世界

这篇名为 AlphaGo 的论文记录了一个历史性的时刻：首次有计算机程序在标准规模的围棋比赛
中战胜了人类职业棋手。这一成就曾被认为至少需要再等十年才可能实现。

 * 论文链接：https://www.nature.com/articles/nature16961

###  如何通过“链式思考”提示激发大语言模型的推理能力

该论文展示了如何通过构造一系列中间推理步骤来增强大语言模型（LLMs）解决复杂问题的
能力。

 * 论文链接：https://arxiv.org/abs/2201.11903

###  **思维之树：用大语言模型深入解决问题**

这篇文章探讨了如何通过大语言模型进行更深层次的系统 2 型思考，这涉及到更广泛的探索、
战略性预判或规划。在这类问题解决过程中，你可能可以牺牲一些时间来换取更高的准确度。

 * 论文链接：https://arxiv.org/abs/2305.10601

###  系统 2 型注意力（你可能也需要注意这一点）

研究人员为大语言模型增加了一个额外的注意力步骤，帮助模型确定应该关注的内容。这一
步骤重新构建了输入的上下文，只留下相关的部分，然后模型会聚焦于这些重新构建的上下文，
以产生最终的回答。

 * 论文链接：https://arxiv.org/abs/2311.11829

##  大语言模型操作系统 (LLM OS)

要理解大语言模型操作系统，最直观的方法是参考此次讲座中展示的图表。

![Andrej Karpathy 大语言模型视频入门的精选阅读清单](https://paooo.com/wp-content/
uploads/2024/01/IMG_0785-jpeg.webp)

你可以将大语言模型 (LLM) 视为一个过程，它协调内存和工具的使用来解决各种问题。这里
的内存可能指的是提示和上下文窗口，它们交替展示当前处理的信息。而工具则可以是从网络
浏览器、Python 代码到计算器等各种工具。

尽管他在这一部分并未明确提及任何论文，但以下几篇论文可以作为理解上述图表中各组成
部分的良好起点。

如果有人知道更多与大语言模型操作系统紧密相关的论文，请在我们的 Discord 的 #paper-
candidates 中分享！

##  磁盘 / 文件系统

以下论文是大语言模型操作系统图表左下方的示例，展示了大语言模型如何与本地文档或数据
库互动。

###  检索增强生成 (Retrieval Augmented Generation, RAG)

在图表中，磁盘或文件系统的角色是从本地文件中提取上下文，为大语言模型提供额外信息，
帮助其做出更准确的预测和决策。RAG 功能在于发现并检索相关文档，并将其融入提示中以
助于解答问题。

 * 论文：https://arxiv.org/abs/2005.11401
 * Arxiv 深度解读：https://blog.oxen.ai/arxiv-dives-rag/

###  **展示 – 搜索 – 预测：结合检索和语言模型以解决知识密集型 NLP 问题**

这是一个基于 RAG 的框架，由斯坦福大学的自然语言处理团队开发，专注于处理知识密集型
任务。

 * 论文：https://arxiv.org/abs/2212.14024

##  多模态外设输入/输出

以下论文探讨了位于大语言模型操作系统架构中心的多模态外设输入和输出技术，主要涉及
音频、视频、图像等形式。我们通过高级信号，如视频和音频，来感知世界。因此，将这些
信号转化为大语言模型能够理解的嵌入空间至关重要。

###  **CLIP – 从自然语言监督中学习通用视觉模型**

CLIP 通过将文本和图像等不同模态的数据映射到一个共享的嵌入空间，极大地简化了图像到
文本和文本到图像的转换任务。这种技术也是 StableDiffusion 等模型的基石。

 * 论文链接：https://arxiv.org/abs/2103.00020

###  **ULIP: 学习统一的语言、图像和点云表征，促进 3D 理解**

结合 2D 和 3D 的表征，可以有效支持通常因数据稀缺而受限的 3D 模型。

 * 论文链接：https://arxiv.org/abs/2212.05171

###  **NExT-GPT: 多功能多模态大语言模型**

NExT-GPT 通过将大语言模型与多模态适配器和多样化的扩散解码器相结合，实现了对文本、
图像、视频和音频等不同模态输入的理解和输出生成，展现了极大的灵活性。

 * 论文链接：https://next-gpt.github.io/

###  LLaVA – 视觉指令调整

本文介绍了首个尝试：利用仅限语言的 GPT-4 生成多模态的语言 – 图像指令遵循数据。通过
在这些数据上进行指令调整，研究者们创造了 LLaVA（大型语言与视觉助手）：一个端到端
训练的大型多模态模型，它将视觉编码器与大语言模型（大语言模型）相结合，用于全面的
视觉和语言理解。

 * 论文：https://arxiv.org/abs/2304.08485

###  **LaVIN – 经济实惠且迅速：大语言模型的高效视觉 – 语言指令调整**

该文提出了一种既新颖又实惠的方案，用于有效地将大语言模型（大语言模型）适应视觉语言，
这种方法被称为混合模态适应（混合模态适应）。

 * 论文：https://arxiv.org/abs/2305.15023

###  CoCa: 对比性标题生成器作为图像 – 文本基础模型

这项技术有助于弥合语言模型与图像之间的多模态差距，对于生成式图像技术或上图中的“外围
设备 io”至关重要。

 * 论文：https://arxiv.org/abs/2205.01917

###  **Emu Video: 显式图像条件下的文本到视频生成分解**

本文展示了最新的文本到视频生成技术，这也是上图中外围设备部分的关键技术。

 * 论文：https://arxiv.org/abs/2311.10709

##  工具应用、软件新视角、网络探索等

独立运作的大语言模型 (大语言模型) 并不擅长处理我们已经有相应软件的任务，例如计算
器。一个数字紧跟另一个数字的高概率，并不代表这就是正确答案。

因此，我们需要使大语言模型能够在运行过程中调用外部工具。以下是几篇研究大语言模型
与工具使用结合的论文。

###  Toolformer: Language Models Can Teach Themselves to Use Tools

展示大语言模型如何通过使用工具来提升自己在单纯预测下一词不足够的领域的能力。

 * 论文链接：https://arxiv.org/abs/2302.04761

###  Large Language Models as Tool Makers

简称 LATM – 谷歌 Deepmind 展示了大语言模型不只是会使用工具，还能够创造工具。

 * 论文链接：https://arxiv.org/abs/2305.17126

###  **ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs**

他们培训了 ToolLlama，这一 AI 智能体能够执行复杂任务，并能适应多达 16000+ 个真实
世界的 APIs

 * 论文链接：https://arxiv.org/abs/2307.16789

##  大语言模型的安全挑战

如同传统操作系统面临的安全威胁，大语言模型也带来了新的安全挑战，包括不当回应、网络
钓鱼攻击，甚至是通过远程功能调用盗取用户数据等。

以下是一些论文，它们探讨了当前的安全隐患以及可能已经找到的解决方案。最主要的发现
是，传统软件安全领域的猫鼠游戏在大语言模型的世界里同样存在，只是呈现出了新的形态。

###  破解：大语言模型安全训练失败的原因是什么？

这篇论文深入探讨了大语言模型中存在的各种破解方式和漏洞。

 * 论文链接：https://arxiv.org/abs/2307.02483

###  **对齐语言模型面临的通用且可迁移的对抗攻击**

研究人员找到了一种特殊后缀，一旦加到语言模型上，即使模型原本被设计为不产生这类行为，
也会触发不良行为并给出肯定的反应。

 * 论文链接：https://arxiv.org/abs/2307.15043

###  **视觉对抗示例如何破解对齐的大语言模型**

该研究展示了如何构造特定图像，这些图像中编码的信息能被大语言模型解读，并导致模型
产生与原本对齐目标相悖的行为。

 * 论文链接：https://arxiv.org/abs/2306.13213

###  **意料之外：通过间接提示注入攻击妥协集成了大语言模型的真实世界应用**

这项研究揭示了大量可能被嵌入到大语言模型阅读的网页中的提示注入攻击，这些攻击会导致
模型以非预期的方式行动。

 * 论文链接：https://arxiv.org/abs/2302.12173

###  **黑客攻击 Google Bard – 从提示注入到数据渗透**

这篇文章探讨了使用 Google Bard 时，如何通过扩展和工具提取您 Google 帐户或生态系统
中其他部分的个人数据。

 * 博客链接：https://embracethered.com/blog/posts/2023/google-bard-data-exfiltration/

###  **在指令调优时对语言模型进行投毒**

这项研究显示了如何通过含有特定示例的数据集污染，使得基于大语言模型 (LLM) 构建的数据
集在执行时无法达到预期效果。

 * 论文链接：https://arxiv.org/abs/2305.00944

###  **在网络规模训练数据集中进行投毒是实际可行的**

这篇论文揭示了如何仅需花费 60 美元，就能在大规模的预训练数据集中引入有害知识或行为，
从而降低模型的性能。

 * 论文链接：https://arxiv.org/abs/2302.10149

##  结论

希望这份阅读列表能成为深入探索大语言模型这一日益兴盛领域的良好开端。毫无疑问，我们
仍处于这项技术的早期阶段，前路漫长。

我认为，跟进最新研究并将其应用于产品，是保持创新边缘的最好方法。

想要实时了解 Arxiv Dives 或 Oxen.ai 的最新研究，请在 Twitter 上关注我们或 加入我们
的 Discord！

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**ChatGPT ↗**

OpenAI 研发的通用人工智能对话大模型，支持多模态交互与深度推理。

**Discord ↗**

Discord是一个以实时通讯为核心的综合性社区与协作平台。其核心功能围绕文本、语音、视频
三大通讯方式构建，支持

❓ 常见问题解答（FAQ）

Karpathy 这场 LLM 入门演讲讲了什么？

演讲分为两部分：前半段讲大语言模型的基础原理与训练流程，后半段讨论未来研究方向，
以及他提出的 LLM OS 概念。文章据此整理了对应论文和阅读资源。

文章里最值得先看的大模型论文有哪些？

优先看 Transformer 的《Attention Is All You Need》、GPT-2 的《Language Models are
Unsupervised Multitask Learners》、InstructGPT 和 Llama-2，这几篇构成了从基础架构
到对齐、开源模型的主线。

能否用很少代码在本地运行 LLM？

可以。文中提到只需大约 500 行 C 语言代码加上模型权重，就能实现本地运行，并给出了
llama.cpp、karpathy/llama2.c 和相关实操教程作为参考。

🔬 语宙深潜追问 · 进阶实操拆解

新手该怎样串起 LLM 全景脉络？

按“Transformer→预训练→指令微调→对齐→开源模型→本地部署”这条线学最顺。每学一个概念
就配一个最小实验，比如跑一次推理、改一次提示词、做一次微调，能把抽象知识变成可操作
经验。

本地运行和微调该从哪一步开始？

先从推理入手，确认显存、量化和上下文长度的边界，再做 LoRA 级别的小规模微调。不要
一开始就追求大而全，先用小模型验证数据格式、训练流程和评估方法，成本更低，也更容易
形成正反馈。

🗳️ 读者观点微投票 · 您的实战立场是？

学 LLM 入门，你会先看原理还是先上手？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [为忙碌人士准备的大语言模型（LLM）速览 [译]](https://paooo.com/ai-study/7073/)
 * [深入浅出：大语言模型的视觉解析 [译]](https://paooo.com/ai-study/8563/)
 * [2023 年 AI 领域的重大发现 [译]](https://paooo.com/ai-study/8472/)
 * [退一步，看得更远：通过抽象引发大语言模型中的推理 [译]](https://paooo.com/ai-study/6988/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/7032/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
