# DataClaw开源发布：一键导出AI对话，自动生成安全训练集，助力大模型微调

- Link: https://paooo.com/aigc-news/11365/
- Published: 2026-06-10T16:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 支持自动抓取多款AI编程助手对话，省去手动整理与复制粘贴。
 * 内置PII检测与敏感密钥过滤，导出前自动脱敏，降低隐私泄露风险。
 * 可将对话转换为JSONL并上传Hugging Face，适合开源模型微调与研究。

> **💡 站外导读：**在AI技术飞速发展的今天，高质量训练数据的获取成为制约模型性能提升
> 的关键瓶颈。特别是编程领域，开发者与AI助手（如Claude Code）的交互数据蕴含巨大价值，
> 但手动整理耗时且易泄露隐私。DataClaw的诞生直击这一痛点，它是一款开源工具，能自动
> 化、安全地导出并转换这些对话数据为标准格式，为开源模型微调和AI研究铺平道路。

## DataClaw是什么

DataClaw 是开发者Peter O’Malle开源的AI对话数据导出工具。能自动抓取用户与[Claude](https://paooo.com/aigc-news/)
Code、Codex CLI、Gemini CLI等AI编程助手的完整对话历史，将其转换为结构化的JSONL训练
数据集，支持一键发布到Hugging Face平台供社区使用。工具内置PII（个人身份信息）检测
和敏感密钥过滤功能，在分享前自动清除密码、API密钥等隐私内容，确保数据安全。

阅读目录

 * [DataClaw是什么](https://paooo.com/aigc-news/11365/#dataclaw%e6%98%af%e4%bb%80%e4%b9%88)
 * [DataClaw的主要功能](https://paooo.com/aigc-news/11365/#dataclaw%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DataClaw的技术原理](https://paooo.com/aigc-news/11365/#dataclaw%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DataClaw的项目地址](https://paooo.com/aigc-news/11365/#dataclaw%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DataClaw的应用场景](https://paooo.com/aigc-news/11365/#dataclaw%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11365/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![DataClaw](https://paooo.com/wp-content/uploads/2026/05/DataClaw-website-1.avif)

## DataClaw的主要功能

 * **对话历史自动抓取**：支持从Claude Code、Codex CLI、Gemini CLI等主流AI编程助手
   导出完整对话记录，无需手动复制粘贴。
 * **隐私智能脱敏**：内置PII（个人身份信息）检测引擎，自动识别并清除密码、API密钥、
   邮箱地址等敏感内容，保障数据安全。
 * **结构化格式转换**：将原始对话转换为JSONL等标准训练数据格式，便于直接用于大语言
   模型微调。
 * **一键发布Hugging Face**：支持将处理后的数据集直接推送到Hugging Face Hub，供开
   源社区下载使用。
 * **多平台数据整合**：兼容多种AI编程工具的数据格式，实现跨平台对话数据的统一管理。
 * **开源可定制**：基于Python开发，代码完全开源，用户可根据需求自定义数据处理规则
   和脱敏策略。

## DataClaw的技术原理

 * **本地文件系统监控**：通过监听Claude Code、Codex CLI等工具在本地生成的对话日志
   文件（如JSON或SQLite数据库），实时捕获用户与AI的完整交互记录。
 * **PII检测与正则匹配**：采用基于规则的正则表达式和关键词匹配算法，识别并过滤API
   密钥、密码、邮箱、身份证号等敏感信息，确保脱敏处理。
 * **对话结构化解析**：将非结构化的自然语言对话解析为包含role（user/assistant）、
   content、timestamp等字段的标准JSONL格式，符合[OpenAI](https://paooo.com/tag/openai/)
   微调数据规范。
 * **Hugging Face API集成**：通过Hugging Face Hub的Python SDK实现数据集的一键上传，
   自动处理认证、仓库创建和版本管理。
 * **增量同步机制**：支持增量式数据抓取，仅导出新增对话内容，避免重复处理和全量覆盖。
 * **跨平台适配层**：针对不同[AI工具](https://ai.paooo.com/)的差异性格式（如Claude
   的XML日志、Codex的JSON格式），内置适配器进行统一转换。

## DataClaw的项目地址

 * **GitHub仓库**：https://github.com/peteromallet/dataclaw

## DataClaw的应用场景

 * **开源模型微调**：为开发者提供高质量的真实编程对话数据，用于微调CodeLlama、DeepSeek-
   Coder等开源代码模型，提升其在特定编程语言或框架上的表现。
 * **AI编程助手研究**：研究人员可用收集的对话数据分析用户与AI编程助手的交互模式，
   优化提示工程策略或评估模型性能。
 * **教育训练数据集构建**：编程教育机构可将对话数据整理成教学案例库，用于培训学生
   如何有效与AI协作编程。
 * **竞品模型蒸馏**：其他AI公司或研究团队可使用公开的对话数据作为蒸馏源，训练更小、
   更高效的编程专用模型。
 * **数据民主化运动**：支持开源社区对抗大型AI公司的数据封闭策略，推动AI训练数据的
   开放共享与公平使用。

#### 📝 站长洞察 (Editor’s Insight)

DataClaw的出现不仅是工具层面的创新，更折射出AI开源生态的深层趋势：数据民主化。当
大厂凭借封闭数据构筑护城河时，此类工具通过降低高质量对话数据的获取门槛，赋能中小
开发者和研究者，加速技术普惠。其内置的PII检测和增量同步机制，巧妙平衡了数据效用与
隐私安全，符合全球日益严格的数据合规要求。未来，随着多模态交互的普及，类似的数据
管线工具或将成为AI基础设施的关键一环，推动从数据孤岛到协作网络的范式转变，最终催化
更开放、更安全的通用人工智能发展。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**Claude Code ↗**

Claude Code：人工智能安全和研究公司，面向AI 编程辅助场景提供便捷实用的在线功能支持，
涵盖AI编程等

**Claude ↗**

Anthropic 打造的新一代安全人工智能模型，具备超长上下文理解能力，最强代码伴侣。

**Gemini ↗**

Google推出的AI聊天对话机器人Gemini。

❓ 常见问题解答（FAQ）

DataClaw适合用来做什么？

DataClaw主要用于导出Claude Code、Codex CLI、Gemini CLI等AI编程助手的对话历史，并
自动转换为可用于训练的JSONL数据集，适合大模型微调、研究分析和开源数据发布。

DataClaw会不会泄露隐私信息？

工具内置PII检测和敏感内容过滤机制，可自动识别并清除密码、API密钥、邮箱等信息，再
进行数据导出与分享，能显著降低隐私泄露风险。

DataClaw能直接上传到Hugging Face吗？

可以。文章提到它支持通过Hugging Face Hub的API一键上传处理后的数据集，便于社区下载、
版本管理和后续模型训练使用。

🔬 语宙深潜追问 · 进阶实操拆解

自动脱敏后还能直接微调吗？

可以作为起点，但不能盲用。要先检查是否残留 API Key、路径、客户信息和业务机密，再按
任务类型筛选样本；高质量训练集通常需要人工抽检、去重和标签规范化，不能只靠自动化
一键完成。

对话数据做训练集最该保留什么？

最该保留的是任务目标、上下文结构、错误修正过程和最终有效答案，这些比原始闲聊更有
训练价值。与此同时，要删除身份信息和敏感业务细节，并统一成可复现的 JSONL 结构，方便
后续微调与评测。

🗳️ 读者观点微投票 · 您的实战立场是？

AI 对话导出训练集，隐私风险值得冒吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[💻 所属权威专题：Claude & AI 编程 / MCP →](https://paooo.com/topics/claude-mcp-coding/)

 * [Clawdbot OpenClaw：开源免费AI个人助手，本地部署用自然语言控制电脑与设备](https://paooo.com/ai-tool/11838/)
 * [TalkCody开源AI编程助手评测：50+大模型一键切换，本地隐私保护重塑开发者工作流](https://paooo.com/ai-tool/12692/)
 * [ChatClaw：智麻开源AI智能体，30MB极简部署，5分钟私有化AI助手，支持钉钉飞书企微多平台接入](https://paooo.com/aigc-news/11197/)
 * [DeepClaude – 开源AI应用开发平台，深度集成 DeepSeek R1 和 Claude 模型](https://paooo.com/aigc-news/22256/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11365/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
