据路透社报道，马斯克旗下AI公司xAI向南 卡罗来纳州男子特里·哈伍德提起诉讼，指控其滥用Grok生成儿童性虐待材料。哈伍德今年 2 月因涉嫌性剥削未成年人被捕，xAI指控他违反服务条款，当地时间周二已向得克萨斯州一家联邦法院提交诉状。
上传普通人照片生成深度伪造色情内容
xAI在诉状中指控哈伍德将成年人和未成年人的普通照片上传至Grok，随后试图生成以照片人物为对象的色情深度伪造内容，还被指制作未经成年人本人同意的色情图像。AI公司主动起诉用户涉嫌利用AI生成色情内容的案例此前极为少见，这一案件具有标志性意义。xAI要求法院判令哈伍德支付金额尚未确定的赔偿金，并永久禁止他使用Grok，诉状称”被告经过蓄意策划，把原告的工具变成犯罪武器”。
Grok内容安全问题遭全球审视，已促成 244 人被捕
诉讼提交之际，xAI正因Grok的内容安全问题受到全球审视，外界指控Grok允许用户制作未经当事人同意的色情深度伪造内容。xAI在诉状中披露，公司已在 2026 年暂停 52222 个账户，向美国国家失踪与受虐儿童中心提交 73604 份报告，促成至少 244 人被捕。这一数据反映出AI平台在内容安全治理上的力度正在加大，也凸显了AI生成内容被滥用的严峻现实。
本文属于AI内容安全快讯，核心看点不在模型能力提升，而在平台治理与滥用追责。类似场景包括文本、图像和视频生成工具的深伪审核、未成年人保护与违规账户封禁。与同类方案相比，Grok事件更突出“平台主动起诉用户”的标志性意义，说明生成式AI的竞争已从功能扩展转向安全、合规与风控能力的比拼。
xAI为什么起诉Grok用户？
xAI指控该用户滥用Grok生成儿童性虐待材料、色情深度伪造内容，并违反服务条款。公司要求法院判赔并永久禁止其继续使用Grok。
Grok内容安全问题有哪些争议？
外界主要质疑Grok可能被用于制作未经当事人同意的色情深度伪造内容。xAI则披露已封停大量账户并向相关机构提交报告，强调正在加强治理。
这起诉讼对AI平台意味着什么？
它表明生成式AI平台可能不再只做被动封禁，而会主动追责滥用者。对同类产品而言，内容审核、滥用检测和合规留痕将成为核心能力。
平台如何建立可执行的内容风控闭环？
要把预防、检测、处置、留痕串起来：前置拦截高风险提示词，生成后做多模态审核，命中后冻结账号并保全证据，同时建立分级申诉和执法协作通道。
如何平衡误伤正常创作者与打击恶意滥用？
关键是分层治理：对高危内容零容忍，对灰区内容提高人工复核比例，并用行为频次、历史记录和风险评分决定处罚强度，避免一刀切伤及正常用户。
