# 多面性：大语言模型的语言回音室 [译]

- Link: https://paooo.com/ai-study/7057/
- Published: 2024-03-13T18:21:31+08:00
- Author: 宝玉的分享

⚡ Prompt 语宙 AI 导读 · 30 秒核心看点通过 Google 趋势、Books N-gram 和 PDF 语料检索，验证“多面性”在 2021 年后明显升温。“复杂而多面”并非新概念，而是 LLM 输出中被反复强化的高频套话。Quora 在该短语在线出现中占比异常偏高，可能成为其扩散与再训练的放大器。Quora.com: 48,000LinkedIn.com: 30,700Facebook.com: 9,500Instagram.com: 7,330Medium.com: 6,250Reddit.com: 1,370CourseHero.com: 7,340jstor.org: 1,320wikipedia.org: 400twitter.com: 798classace.io: 842 (*特别是作为论文库的网站*)chegg.com: 930 (*特别是作为论文库的网站*)📋 一键复制 Prompt 咒语 这个话题非常有趣。 我花了很多时间仔细观察大语言模型（LLM）的输出。有一个现象引起了我的注意：LLM 生成的文本似乎带有一种特殊的…气息。这种气息很难具体描述，但在大语言模型的早期，当你阅读 AI 生成的文章时，通常可以明显地感受到。 一个我注意到的明显特征是这样一种表达方式： “文化是一个复杂而多面的……” “智力是复杂而多面的……” “技术是一个复杂而多面的……” 从达尔文主义的真实含义来看，&#8216;复杂而多面&#8217; 这个短语已经变成了一个流行语。我在 GPT 的输出中反复看到了这个短语，为了进一步确认，我进行了一些 GPT-3.5 的生成实验（代码在此）。在生成“&#8217;复杂且……&#8217;”的提示时，我发现了以下结果： x &#8216;多面性&#8217; (Multifaceted) 这个词语的频繁出现非常奇怪。这是为什么呢？ 为了探究这个短语及其特定词语*&#8217;多面性&#8217;* 是否是近期变得流行，或者已有一段历史，我首先查看了 Google 趋势。我发现，在过去的一年中，这个词的搜索量出现了惊人的上升： 谷歌趋势图显示去年“多面性”一词的搜索量急剧上升 为了探究这个短语及其特定词语*&#8217;多面性&#8217;* 是否是近期变得流行，或者已有一段历史，我首先查阅了 Google 趋势。结果我发现，在过去的一年中，这个词的搜索量急剧上升： 谷歌趋势图显示去年“多面性”一词的搜索量急剧上升 我此时想探究的是，这个趋势是否仅限于网络。虽然这很难确定，但我尝试了 Google Books 的 N-gram 查看器，希望能找到答案。果然如我所料，我们并没有看到明显的变化点，尽管随时间有轻微上升。 稍微岔开一下话题：我认为这是一个有点奇怪的说法。它其实是种重复，因为“复杂”和“多面性”几乎是同义的。这让我想到了法律中的双重表达，比如“无效与作废”和“停止与禁止”。不过，这种表达方式确实很好，给人一种肯定和智慧的感觉，这正是大语言模型（LLM）想要传达的氛围。 总之，我想进一步确认这确实是一种网络上新兴的流行表达。单凭 Google 趋势还不够说服人。因此，我寻找了其他可以查询长期语言趋势的地方。我发现网络档案馆保存了多年来的各种 PDF，从白皮书到网络上的参考资料，还可以搜索特定关键词。 我从 2006 年到 2022 年进行了一系列关键词搜索，包括“多面性”。同时，我也关注了另一个流行词汇“复杂”。为了保持科学的严谨性，我还将这些词与其他术语作为对照进行了比较。 类似 &#8216;多面性&#8217; 和 &#8216;复杂&#8217; 这样的词从 2021 年开始，即 GPT 和其他大语言模型（LLM）开始流行的时期，其出现频率显著上升，不像 &#8216;有效&#8217; 和 &#8216;共生&#8217; 这样的对照术语，其频率保持稳定 正如我们所见，从 2021 年开始，即大约在 GPT 和其他大语言模型 (LLM) 开始引起全球关注的时候，我们的关键词“多面性”的普及程度显著提高，从只在 0.05% 的 PDF 中出现增加到了 0.23%。 现在，让我们稍微放宽视角来看这个问题。我发现，“复杂而多面”（a complex and multifaceted）这个短语在网上大约有 800,000 个使用实例。 进一步细分，我们发现这个短语在以下一些特定网站上的使用频率高于其他地方： 令人惊讶的是，Quora 网站占据了这个短语在线出现次数的 5.7%！如果说它不是这个流行语的起源地，那至少也是它的繁殖地。 值得注意的是，我们还可以看到 Quora 在理论上 应该 占据的比例。例如，“系统性”（systemic）这个词在网上出现了 445 million 次，但在 Quora 上只出现了 272,000 次，占比仅为 0.06%。因此，Quora 对我们这个流行短语的 5.7% 占比完全是不成比例的。这一点并不令人意外，因为 Quora 因其垃圾信息机器人而闻名。它们现在就像是机械地重复着同样的句式： 大量重复的句式，如“哲学是一个复杂而多面的概念，涵盖了&#8230;&#8230;” 另一个不容忽视的事实是，Quora 最近在几乎每个页面上都嵌入了一个 ChatGPT 小组件，这些小组件的内容是预先生成的、静态的，容易被搜索引擎抓取。因此，它们很可能被用作这种大语言模型和其他模型的额外训练材料。 Quora 页面中嵌入的 ChatGPT 小组件的截图 ChatGPT 显然对“一个复杂而多面的[概念 | 理论 | 过程]”这个表达格外偏爱，频繁地用它来阐释复杂的高层次概念。最典型的用法是把某个[名词]描述为“一个复杂而多面的[概念 | 理论 | 过程]”。在 Quora 上，这样的用法及其数量如下： “一个复杂而多面的概念” &#8211; 4590 “一个复杂而多面的问题” &#8211; 4420 “一个复杂而多面的过程” &#8211; 3550 “一个复杂而多面的现象” &#8211; 2230 “一个复杂而多面的情感” &#8211; 1650 “一个复杂而多面的特征” &#8211; 1560 （这些数字在不同地区有所不同） 如果我们选择其中一个短语，在网络上进行普遍搜索，我们会发现它们随着时间显著增长。例如，“一个复杂而多面的现象”在网上的出现次数达到 74,900，但在 2010 年前仅有 73 次。仅仅 13 年，增长了约 1000 倍。 可以看出，ChatGPT 把这个梗玩得不亦乐乎。这个有趣的大语言模型（LLM）把这个表达当成了我们语言的核心成分，尽管它原本只是个使用范围狭窄、有些生硬的短语。 那么，这个荒诞的探索究竟告诉我们了什么？ 我们了解到，GPT 最初版本的训练资料大量来自于 Reddit，很可能还有其他少数网站被用来加强后续模型。 过分专注于特定网站的训练会导致明显的偏见。比如，过多关注学术内容或像 Quora 这样的网站，这些网站上的机器人会机械性地重复使用某些短语（这种情况甚至出现在大语言模型时代之前）。 此外，随着这些模型变得流行，人们开始将其输出内容重新发布到互联网上。这可能导致了一种反馈循环：大语言模型无意中在训练自己之前的输出内容。这种情况不可避免。 因此，最初的一些细微的训练决策，可能就由少数工程师启动了一连串不可逆转的语言进化链条。了解这些模型在改变语言本质方面的强大影响力，真是让人叹为观止。 🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）谷歌趋势 ↗谷歌趋势是谷歌推出的一款基于海量搜索数据的强大分析工具。其核心功能在于实时追踪和展示全球范围内任何关键词在谷歌搜Quora ↗Quora：“外国知乎”，面向AI 综合应用场景提供便捷实用的在线功能支持。❓ 常见问题解答（FAQ）为什么大语言模型总爱说“复杂而多面”？因为这类表达在网络文本和训练语料中频繁出现，模型会优先复用高概率搭配。文章通过趋势、书籍语料和网页检索说明，它更像是被数据放大的惯用套话，而非模型真正理解后的独特判断。“多面性”是最近才流行起来的吗？文章的检索结果显示，它在近一年搜索量明显上升，但在更长期的书籍语料中并没有出现同等幅度的结构性变化。这说明它更像是近年网络语境中的热词，而不是历史上突然诞生的新概念。Quora 和 LLM 输出偏好有什么关系？文章指出 Quora 上“复杂而多面”类表达占比异常高，且页面中嵌入的 ChatGPT 小组件内容容易被抓取，可能进一步放大这类句式在模型中的出现频率，形成内容回音室效应。🔬 语宙深潜追问 · 进阶实操拆解如何判断模型在“回音室”里复读？可以做同义改写对比、来源分布统计和跨语料检索，观察模型是否反复偏向少数高频措辞。若同一问题在不同提示下仍输出高度相似的套话，往往说明存在表达偏置。怎么减少模型的模板化措辞？在提示中加入风格约束、反例和来源多样性要求，并用去重语料、对抗样本和后训练偏好优化来纠偏。对产品侧来说，最好把“可读性”和“信息密度”分开评估。🗳️ 读者观点微投票 · 您的实战立场是？LLM 偏爱复杂表达，是训练偏置吗？是，语料把它带偏了投票部分是，模型学会迎合投票不是，复杂表达更准确投票🕸️ 语宙向量知识图谱 · 语义强关联深度内链⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →多模态和多模态大模型 (LMM)[译]09-25 AIGC 早报谷歌AI翻车！竟把&#8217;Google&#8217;拼错，大模型‘不识字’的硬伤藏不住了大语言模型的“破解”研究：仅需二十次尝试 [译] 🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏，聚焦海外一手 AI 技术动态与工程实践。📄 Markdown 纯净版 💡 这篇内容对您有启发吗？👍 干货满满🔍 期待更深拆解📡 RSS 订阅✨ 提交 AI 工具 / 合作 🚀 Prompt 语宙 AI 创作者生态：探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
