真正做过 LLM 选型的人基本都遇到过同一个问题模型在通用任务上表现很好但一碰到与自身业务相关的专业内容就明显不在状态。这时候大家的第一反应是它到底有没有训练过这些数据可惜大多数情况下模型方给出的答案相当模糊。训练数据是决定模型能力边界的关键因素但它也是目前开源社区、研究机构和商业公司之间信息最不对称的部分。想真正搞清楚“哪些 LLM 被哪些数据训练过”需要把官方文档、社区情报、数据集线索和受控实验组合起来形成一套可执行的判断流程。下面围绕这条主线展开。1. 先理解为什么 LLM 训练数据难以精确确认1.1 训练数据不是单个文件而是一套完整流水线很多初学者以为训练数据就是“一堆 txt 文件丢进模型”实际上现代 LLM 的数据体系要复杂得多。一个模型从无到有通常要经历以下阶段预训练阶段从大规模网页、书籍、论文、代码仓库中采集原始语料经过清洗、过滤、去重、混合后训练基础模型。继续预训练针对特定领域或语言追加训练例如增加中文文档、法律文本、医疗文献。指令微调阶段把人工撰写的指令、用户问题、回答示例组织成结构化数据让模型学会“按指令回答”。对齐阶段使用人类反馈数据、规则过滤数据、安全测试数据调整输出偏好。每个阶段的数据来源不同清洗策略不同配比也不同。只看“训练数据”四个字根本看不出模型真正的能力边界。比如一个模型预训练语料只有 2 万亿 token但其中 60% 是代码那么它的代码能力强但医疗问答弱这并不意外。在这个流水线下“数据”不是一个目录而是一份包含采集来源、清洗规则、去重逻辑、混合比例的数据配方。要知道模型学过什么本质上是在反向推断这份配方。1.2 不透明来自商业、合规与工程三个层面真实项目中训练数据不公开并不是因为模型方偷懒而是存在多层现实约束商业竞争预训练数据配比被认为是核心能力之一公司不愿意披露完整配方。版权与合规公开训练集可能包含受版权保护的文本逐项披露会带来法律风险。工程变更模型在开发过程中会反复调整数据最终版本可能和论文描述不一致。第三方数据授权部分数据集来自商业购买或合作保密协议限制公开。幻觉风险与声誉如果官方公开数据清单后用户发现某些敏感内容进入训练集会引发舆论问题。这些原因叠加后模型卡里写的“训练数据包括公开网页、书籍、论文、代码等”几乎成了标准话术但它无法回答“具体是哪些公开网页”、“占比多少”、“过滤规则是什么”等细节问题。1.3 信息边界能确认、能推断、不能确证面对“哪个 LLM 训练了哪些数据”这个问题最好先建立信息分级意识。不是所有结论都能达到“确证”级别大多数时候只能做到“证据充分”。信息层级来源示例可靠程度可确证官方技术报告、模型卡、训练代码仓库数据总量、token 数、数据来源大类高可推断论文消融实验、社区复现、基准表现模型更擅长哪些类型文本中难确证黑盒模型的具体训练文件某条具体文本是否完整出现在训练集低完全未知未公开的数据细节内部过滤阈值、去重窗口、采样策略无法判断理解这个边界之后调查工作才不会走偏。目标不是拿到“100% 实锤”而是把判断落到“有依据、可复现、能更新”的层面。2. 从官方文档和公开资料中读训练数据配方2.1 模型卡是第一个入口大多数模型发布时都会附一份模型卡。不要把模型卡当成宣传页它是目前最规范的信息来源之一。查找时重点看以下字段字段要确认的内容典型疑问模型名称与版本是否区分 base、instruct、chat 等变体不同变体的数据配方可能不同发布日期训练数据截止日期的参考依据发布日前必须出现的内容才可能学到训练数据token 量、来源大类、语言分布是否区分预训练和微调数据评估结果在哪些基准上评测过评估集可能进入训练集的风险已知局限官方承认的弱项和数据边界局限描述就是数据范围的间接证据许可证是否能用于商业场景数据许可证不等同于模型许可证看模型卡时有一点容易忽略很多模型页面会给出“训练数据集链接”或“引用论文”。这些链接点开之后才是真正有价值的数据细节。如果页面只是笼统写“大量高质量数据”建议把它标为低信息量来源。一个相对完整的模型卡信息摘要示例Model: Example-Model-1.5-7B-Chat Base Model: Example-Model-1.5-7B Training Data: - Pre-training: 3T tokens - Common Crawl: 49% - Chinese Wikipedia: 8% - English Books: 6% - Code: 25% - Academic Papers: 12% - SFT: 5M instruction-response pairs - Alignment: RLHF with 2M preference samples Training Data Cutoff: 2024-06-30这类摘要不会把所有内容都写清楚但它足以帮你判断模型偏向代码、偏向中文、还是偏向学术内容。如果两份模型的摘要差异明显后续选型方向就清晰了。2.2 技术报告里的数据集配方表技术报告是比模型卡更详细的一层。开源模型通常会在技术报告中用表格列出数据来源和配比。阅读时建议关注三个关键点。第一是数据来源是否分阶段呈现。预训练、继续预训练、指令微调的数据会分别列示不能混在一起看。第二是是否给出过滤和去重策略。例如是否移除低质量网页、是否做语义去重、是否保留多语言。第三是是否公布“重复训练”或“多轮训练”信息。有些模型对核心数据会训练多个 epoch这会显著影响记忆程度。一份典型的数据配方表结构如下数据来源语言占比过滤规则采样权重Common Crawl多语言45%按质量分过滤1.0开源代码库代码为主25%去重 过滤低质文件0.8学术论文英文12%段落级去重1.2中文社区语料中文10%敏感内容过滤1.0书籍多语言8%按类别保留1.5如果技术报告没有给出这类表格说明数据细节未公开。此时要继续看论文的实验部分和社区复现材料不能停留在一句话结论上。2.3 论文和消融实验是补充证据研究团队发布的技术报告和论文中消融实验往往隐藏着大量信息。例如论文会对比“加入代码数据前后”的代码评测分数这间接证明模型训练数据中包含代码语料。又比如论文报告“去重后效果提升 3%”说明原始语料中存在重复数据问题。阅读论文时不要只读摘要和结论应该重点看数据收集章节说明采集了哪些来源、采样比例。预处理章节清洗、过滤、去重的规则。训练细节是否用多轮训练数据是否混合。评估章节在哪些 benchmark 上测试是否做了数据污染检测。附录常包含 prompt 模板、评估样例和更细的数据统计。需要提醒的是论文描述的是“实验时的数据状态”正式发布版本可能不一致。遇到论文和模型卡冲突时以发布时间更晚、版本更接近的文档为准。2.4 开源模型与闭源 API 的差异开源模型和商用 API 模型的调查策略完全不同。开源模型通常能拿到权重、训练代码、数据说明甚至部分真实数据可以本地运行、微调、对比。调查深度较高。闭源 API 模型只能通过文档和黑盒实验观察数据细节要少得多。对闭源模型建议把重心放在“官方文档声明的数据截止时间”和“实测表现”上而不是试图找出完整训练数据。如果项目对数据合规要求很严格例如需要确认训练数据中不包含用户私有数据或特定版权内容那么在未获得官方书面确认前最好不要下“绝对安全”的结论。开源模型在这一点上更具可验证性因为社区可以审查权重和训练流程。3. 借助社区生态和检测工具补盲区3.1 Hugging Face 元数据和数据集关联Hugging Face 是目前最集中的模型与数据集发布平台。模型详情页通常会挂出 base_model、datasets、tags 等元数据。这些元数据不只是给浏览器看的也可以直接通过 API 查询from huggingface_hub import HfApi import json api HfApi() model_id your-model-org/example-model info api.model_info(model_id, files_metadataFalse) result { id: info.id, datasets: getattr(info.cardData, datasets, None) or [], base_model: getattr(info.cardData, base_model, None), tags: info.tags[:20], pipeline_tag: info.pipeline_tag, } print(json.dumps(result, ensure_asciiFalse, indent2))这段脚本的作用是把模型的关联数据集和标签结构化输出。正常模型页面显示的数据集标签越多说明模型方越愿意公开数据构成。如果标签中没有数据集信息只能说明未声明不代表没有训练过这些数据。3.2 社区复现实验与问题跟踪很多训练数据线索并不会出现在官方文档中而是散落在社区里。GitHub Issues、技术论坛、论文讨论区和模型仓库的 Discussion 区都可能出现如下讨论模型能够“背诵”某本书的段落。模型在某个版权代码仓库的问题上产生了高度相似的输出。社区成员复现训练流程发现数据配比与官方报告不一致。有人用特定数据集做探测发现模型回答质量明显高于其他模型。这些信息不能直接当结论但可以作为调查线索。看到这类讨论后回到官方文档确认再设计自己的验证实验。至少要两条独立线索交叉印证才值得记录到评估报告里。3.3 从基准测试分数反推数据污染数据污染是判断训练数据构成时绕不开的话题。如果一个模型在某个公开基准测试上分数异常高往往不是因为模型更聪明而是因为测试数据已经出现在训练集里。这种现象在选择题、代码补全、考试类任务中尤其明显。实际项目中的判断思路是选一组与业务强相关的测试题。查这些测试题公开时间是否早于模型训练截止时间。对比不同模型的分数分布。观察模型是否能用“记忆型回答”复现题目原文。如果模型对题目能输出接近原文的答案同时该题目出现在训练截止日之前的公开语料中那么数据污染的概率就很高。这只是推断还不能确证因为模型可能通过推理能力答对题目。更稳妥的方法是用 n-gram 重叠检测候选文本是否与已知公开语料重合。下面给出一个用于检查文本片段重复度的示例脚本from collections import Counter def get_ngrams(text: str, n: int 8): tokens text.strip().split() if len(tokens) n: return [text] return [ .join(tokens[i:in]) for i in range(len(tokens) - n 1)] def overlap_ratio(candidate: str, reference: str, n: int 8): cand_ngrams set(get_ngrams(candidate, n)) ref_ngrams set(get_ngrams(reference, n)) if not cand_ngrams: return 0.0 return len(cand_ngrams ref_ngrams) / len(cand_ngrams) candidate_text 某段用于测试模型记忆的业务描述文本 reference_text 从公开语料中截取的同一主题长文本 print(overlap_ratio(candidate_text, reference_text))n-gram 越高说明候选文本与参考语料在文字层面越接近。需要说明的是这只是文本相似度检查不等同于证明模型训练过该数据。它的价值在于快速筛出“高度疑似出现在公开语料中”的文本片段再交给人工判断。3.4 数据去重与污染检测工具意识社区中已有一些数据集去重和污染检测类的开源工具例如基于 MinHash 的相似文本去重工具、基于 tokenizer 的文档重叠检测脚本、以及各类 benchmark 污染分析仓库。使用这些工具时要注意它们的判断标准并不统一字面 n-gram 重叠只能检测“原样出现”的文本。语义相似度检查能检测“改写后出现”的文本但误报率更高。token 级重叠检查依赖具体 tokenizer不同分词结果会产生差异。因此不要把工具输出的数字当作最终结论要结合人工审查样例。4. 设计受控实验判断模型是否记忆过特定内容4.1 记忆检测的三种常见题型判断模型是否接触过某类数据最简单的方法是做记忆检测实验。这里讲的“记忆”不是指模型像数据库一样存储原文而是指其输出分布明显偏向某一训练语料特征。常见题型有三类第一类是续写测试。给一句文本的上半部分让模型续写下半部分。如果模型高度熟悉该文本它可能会生成与原文几乎一致的后续内容。第二类是填空测试。把一段文本的关键词挖掉让模型补全。模型记忆越强补全准确率越高。第三类是事实问答。针对一段文本中的具体事实提问比如日期、金额、编号、人物关系这类信息只靠推理很难猜中需要模型记忆作为支撑。设计时不要把三类混在一起。续写测试容易受文风影响填空测试对提示词格式敏感事实问答最难但参考价值最高。4.2 利用困惑度和输出概率观察熟悉度除了看生成文本是否匹配还可以利用模型内部信号最常见的是困惑度和输出概率。困惑度衡量模型对一段文本的熟悉程度。简单理解如果模型经常见到某种表达那么它对这段文本的困惑度会偏低。不能把困惑度当直接证据但它可以作为排序指标把多段候选文本一起测找出模型“最熟悉”的文本集中分析。以 huggingface transformers 环境为例计算一段文本困惑度的最小思路如下import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_path your-model-path tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path) model.eval() texts [ 候选文本 A与业务高度相关的长段说明, 候选文本 B与业务无关的通用新闻段落, ] for text in texts: inputs tokenizer(text, return_tensorspt) with torch.no_grad(): outputs model(**inputs, labelsinputs[input_ids]) loss outputs.loss.item() ppl torch.exp(torch.tensor(loss)).item() print(f{ppl:.2f} | {text[:30]})这段代码输出的困惑度只能做相对比较。因为不同 text 的长短、语言、格式不同直接比绝对值没有意义。更合理的做法是准备一组基线文本使候选文本与基线文本在领域、长度、语言上尽可能匹配再观察候选文本困惑度是否显著低于基线。4.3 成员推断与合规边界学术界把“判断一条数据是否属于某个模型训练集”的问题称为成员推断。典型方法是训练一个攻击分类器把模型对目标样本的输出分布作为特征区分“在训练集中”和“不在训练集中”的样本。成员推断在隐私审计、数据泄露评估、版权调查中都有正规用途但它也是一把双刃剑。需要明确只能对你有权使用的模型和数据进行判断。不能把这类技术用于窃取他人私有数据。报告结果时要区分“疑似”和“确证”。不要公开可能包含敏感信息的模型输出片段。在实际写博客时不建议展开实现攻击分类器的完整代码。更稳妥的落地方式是用自己的业务文本做上述困惑度和生成测试把模型输出保存在本地人工判断。4.4 一个可执行的最小实验框架如果你想在项目里形成一轮记忆检测可以按下面框架组织实验。它不需要复杂模型只需要能调用候选模型的 API 或本地推理脚本。import json from openai import OpenAI client OpenAI( base_urlhttp://localhost:8000/v1, api_keylocal-test-key, ) test_items [ { id: 1, type: continuation, prompt: 公司内部培训手册第一章的开头部分……, expected_span: 预期出现的原文片段, }, { id: 2, type: qa, prompt: 根据公司 2023 年度财务说明第四季度营收是多少, expected_answer: 具体的数字或结论, }, ] results [] for item in test_items: response client.chat.completions.create( modelcandidate-model, messages[{role: user, content: item[prompt]}], temperature0, max_tokens256, ) output response.choices[0].message.content results.append({ id: item[id], type: item[type], prompt: item[prompt], completion: output, matches_expected: (item[expected_span][:20] in output) if output else False, }) with open(memory_test_result.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)这个框架的核心不是代码本身而是三个设计原则每个测试项都包含 ID 和类型方便后续统计。输出写入 JSON 文件而不是只打印到控制台保留证据。temperature 设为 0减少采样随机性对结论的干扰。如果本地没有部署模型也可以换成远程 API 地址。代码中的 base_url 是本地推理服务示例实际项目需要按要求替换成真实可用的服务地址。5. 实验中容易误判的五个细节5.1 训练截止时间不是边界条件那么简单很多人直接以“训练截止日期”为界判断模型是否可能接触某数据。这个习惯有一定道理但存在三个盲区数据收集时间可能早于截止日期也可能晚于截止日期报告里的日期是计划截止日期不代表所有管道都在那一天停止。继续预训练和微调阶段会追加较新数据模型卡上写的日期无法覆盖所有阶段。第三方数据集可能被重复引入部分旧数据会以更晚的时间点被再次处理。因此时间线只能作为必要条件不能作为充分条件。5.2 通用知识不等于训练数据记忆如果问模型“什么是大模型”模型给出流畅回答这是语言能力和通用知识的体现不能说明它“训练过某一篇特定文章”。真正能说明问题的句子应该包含足够独特的信息组合例如特定数字、特定人名、特定事件、特定编号的组合。设计测试题时建议优先选择那些“只能从单一来源获得”的高熵事实片段。例如某公司内部产品的具体版本号和维护团队名称。某篇论文中一个不常见的实验参数组合。某本书中一段包含专有名词的连续表述。某次行业会议中某个嘉宾发言的精确动词。这些内容模型仅靠语言逻辑是推断不出来的回答越准确记忆证据越强。5.3 提示词改写会改变结果同一个事实用不同方式提问模型的回答可能完全不同。这不是模型“故意撒谎”而是提示词改变了模型的解码路径。因此单次提问的负结果不能证明模型没记忆过该数据。推荐做法是为每个测试项准备三到五种问法直接问这段内容的后半部分是什么换主语请用第三人称复述这个事件。换格式把这个信息整理成表格。给开头给定前面若干字请补充完整。反向问这个信息可能来自什么来源如果多种问法都无法触发相关记忆负结论的可靠度才会提高。5.4 采样随机性会干扰结论生成式模型的输出受到 temperature、top_p、top_k 等采样参数影响。temperature 较高时同一句 prompt 可能生成完全不同的结果。如果在检测实验中使用默认随机采样很容易把一次偶然输出当成稳定证据。建议结论性实验将 temperature 设为 0 或接近 0。至少重复采样三次观察一致性。对比不同参数下输出分布判断结论是否稳定。在报告中明确记录采样参数方便他人复现。5.5 缺少对照组会让结论失真只测一个模型不对照其他模型很难判断“熟悉”是否是所有大模型的共性。很多公开知识可能被所有模型学到并不是目标模型独有的。合理对照设计至少需要两组对照组 A使用明显不可能训练过该数据的模型例如测试某公司内部文档时选一个训练数据以英文为主的模型作为对照。对照组 B使用另一家同类模型观察数据覆盖度差异。空白组对完全没有上下文的提示词做同样实验排除模型默认话语模式的影响。对照模型之间的分数差异比单个模型的绝对值更能说明问题。6. 常见问题排查路径6.1 用一张表定位大部分疑问实际调查中很容易遇到“信息对不上”的困惑。下面是按经验整理的排查表现象可能原因检查方式处理建议模型答对了训练截止时间之后的信息截止时间改变、数据追加、微调阶段引入新数据查看新版本模型文档、刷新模型卡以模型版本对应的文档时间为准不轻信旧结论模型能背诵某段原文但模型卡未列出该来源数据经过第三方数据集引入、去重失效在社区搜索相似案例、检查数据集引用链记录为“疑似记忆”不能确证训练来源不同模型对同一测试题分数差异过大数据配比差异、评估采样、模型容量不同固定测试集和采样参数重新评估多次重复实验取平均分和波动范围困惑度低但生成内容不匹配模型熟悉表达风格不代表记得具体事实检查高熵名词、数字、专有名称更换测试题类型从风格测试改为事实测试模型在线 API 与本地开源模型行为不一致服务端版本更新、系统提示词注入、动态路由检查 API 文档的 model 标识、响应内容将实验固定到同一模型版本工具输出的重叠率很高但人工判断不相关n-gram 过长导致巧合匹配、语料本身重复降低 n、检查重叠片段是否连贯以人工判断为准自动工具只做初筛6.2 按顺序走一遍排查链路如果某个结论反复对不上建议按下面顺序排查检查输入文本本身是否有错别字、截断、乱码直接影响 n-gram 和困惑度计算。检查模型标识当前调用的是 base 版本还是 chat 版本是否有量化、蒸馏差异。检查文档版本模型卡、论文、release note 是否对应同一版本。检查参数设置temperature、max_tokens、system prompt 是否在多次实验中一致。检查对照条件对照组模型是否真的“没见过”目标数据例如对照组训练时间晚于数据发布时间。检查数据时间线候选数据的公开时间、模型训练时间、微调时间是否匹配。检查工具口径n-gram 的 n、困惑度的分词方式、重复度计算逻辑是否一致。大部分“结论漂移”问题最后都会落在版本不一致或参数不一致上。6.3 记录证据避免靠印象下结论训练数据调查是一个需要长期积累证据的过程。每轮实验都建议生成一份记录文件至少包含调查对象模型名称和版本。测试数据来源和采集时间。提示词全文和采样参数。模型输出原文。人工标注结果是疑似记忆、无法判断或未记忆。调查日期和涉及工具版本。有了这些记录后续面对“这个模型到底行不行”的争论时才有可检索的依据。7. 把训练数据调查做成可复用流程7.1 数据来源调查清单在每次选型或评估前建议先对照下面的清单收集材料不用一次性收集完但优先级别从高到低官方模型卡是否包含训练数据、截止时间、基础模型字段。技术报告是否包含数据配方表、数据量、配比、过滤策略。论文附录是否包含更细的数据统计和消融实验。Hugging Face 元数据是否关联数据集、基础模型、标签。社区讨论是否有人复现训练流程或发现数据污染特征。基准测试结果模型是否在某些特定 benchmark 上异常高。自建记忆检测实验用业务相关文本测试模型输出。没有前四项时后三项的权重才应该提高。不能一上来就只做实验那样容易错过现成信息。7.2 评估报告模板每次调查完成后输出一份固定模板的报告能让多个模型之间的对比更公平。推荐模板如下# 模型训练数据调查简报 模型example-model-7b-chat 版本v1.2 撰写日期2025-XX-XX ## 官方信息 - 模型卡有 / 无 - 技术报告有 / 无 - 数据截止时间2024-06-30 - 数据总量3T tokens - 数据来源说明网页、代码、论文、书籍、多语言社区 ## 社区线索 - 是否有复现训练流程仓库有 - 是否有数据污染讨论未发现 ## 自建实验 - 测试集20 条业务文档片段 - 对比模型base 英文模型、另一家中型开源模型 - 实验参数temperature0, max_tokens256 - 结果目标模型在 12 条高熵事实上输出准确疑似记忆对照模型在 3 条上输出准确 ## 结论 - 疑似记忆范围公司产品文档、行业报告摘要 - 无法确证的内容具体训练文件是否包含目标文本 - 建议在涉及高合规业务时仍需模型方提供书面确认模板的意义在于把“看起来知道”和“证据支持知道”分开。7.3 选型阶段的实际建议根据调查结果选型时可以按以下场景决策使用场景对训练数据透明度的要求建议策略通用问答、内容生成低优先看基准分数和商业授权范围数据细节作为参考垂直领域客服中检查是否包含领域语料做针对性记忆检测代码开发辅助中关注代码语料占比和许可证兼容性金融、医疗等高风险场景高要求官方提供数据说明并建立自建验证集长期监控处理用户隐私数据极高优先使用本地部署模型评估训练数据中是否可能包含外部隐私语料不要把“数据透明度低”直接等同于“模型差”。有些商业模型虽然不公开数据但通过后期微调和评测证明了能力。重点是自身业务是否依赖对数据边界的精确了解。7.4 长期跟踪与版本更新模型训练数据的情况不会一成不变。同一系列模型升级后数据来源和截止时间都会变化。建议建立轻量级跟踪机制订阅官方 release note 和技术报告更新。每季度对新版本跑一次自建记忆检测集。记录新旧版本对同一测试集的行为差异。把关键结论保存到团队知识库避免人员变动后丢失上下文。如果一个模型在升级后突然对某类数据表现出更强的记忆而业务上这正是需要关注的风险点就要及时把结论同步到合规和产品侧。回到最初的问题。想知道某个 LLM 被哪些数据训练过单靠官方回答往往不够完整的做法是结合文档、社区和自建实验三条线索形成交叉验证。文档能确认数据总量和来源大类社区能暴露数据污染和复现差异自建实验能验证模型对特定业务文本的熟悉程度。三条线索都指向同一结论时判断才足够可靠。对于那些完全未公开的数据细节最理性的做法是承认边界并在业务决策中留出风险空间。
LLM训练数据调查指南：从官方文档到记忆检测
真正做过 LLM 选型的人基本都遇到过同一个问题模型在通用任务上表现很好但一碰到与自身业务相关的专业内容就明显不在状态。这时候大家的第一反应是它到底有没有训练过这些数据可惜大多数情况下模型方给出的答案相当模糊。训练数据是决定模型能力边界的关键因素但它也是目前开源社区、研究机构和商业公司之间信息最不对称的部分。想真正搞清楚“哪些 LLM 被哪些数据训练过”需要把官方文档、社区情报、数据集线索和受控实验组合起来形成一套可执行的判断流程。下面围绕这条主线展开。1. 先理解为什么 LLM 训练数据难以精确确认1.1 训练数据不是单个文件而是一套完整流水线很多初学者以为训练数据就是“一堆 txt 文件丢进模型”实际上现代 LLM 的数据体系要复杂得多。一个模型从无到有通常要经历以下阶段预训练阶段从大规模网页、书籍、论文、代码仓库中采集原始语料经过清洗、过滤、去重、混合后训练基础模型。继续预训练针对特定领域或语言追加训练例如增加中文文档、法律文本、医疗文献。指令微调阶段把人工撰写的指令、用户问题、回答示例组织成结构化数据让模型学会“按指令回答”。对齐阶段使用人类反馈数据、规则过滤数据、安全测试数据调整输出偏好。每个阶段的数据来源不同清洗策略不同配比也不同。只看“训练数据”四个字根本看不出模型真正的能力边界。比如一个模型预训练语料只有 2 万亿 token但其中 60% 是代码那么它的代码能力强但医疗问答弱这并不意外。在这个流水线下“数据”不是一个目录而是一份包含采集来源、清洗规则、去重逻辑、混合比例的数据配方。要知道模型学过什么本质上是在反向推断这份配方。1.2 不透明来自商业、合规与工程三个层面真实项目中训练数据不公开并不是因为模型方偷懒而是存在多层现实约束商业竞争预训练数据配比被认为是核心能力之一公司不愿意披露完整配方。版权与合规公开训练集可能包含受版权保护的文本逐项披露会带来法律风险。工程变更模型在开发过程中会反复调整数据最终版本可能和论文描述不一致。第三方数据授权部分数据集来自商业购买或合作保密协议限制公开。幻觉风险与声誉如果官方公开数据清单后用户发现某些敏感内容进入训练集会引发舆论问题。这些原因叠加后模型卡里写的“训练数据包括公开网页、书籍、论文、代码等”几乎成了标准话术但它无法回答“具体是哪些公开网页”、“占比多少”、“过滤规则是什么”等细节问题。1.3 信息边界能确认、能推断、不能确证面对“哪个 LLM 训练了哪些数据”这个问题最好先建立信息分级意识。不是所有结论都能达到“确证”级别大多数时候只能做到“证据充分”。信息层级来源示例可靠程度可确证官方技术报告、模型卡、训练代码仓库数据总量、token 数、数据来源大类高可推断论文消融实验、社区复现、基准表现模型更擅长哪些类型文本中难确证黑盒模型的具体训练文件某条具体文本是否完整出现在训练集低完全未知未公开的数据细节内部过滤阈值、去重窗口、采样策略无法判断理解这个边界之后调查工作才不会走偏。目标不是拿到“100% 实锤”而是把判断落到“有依据、可复现、能更新”的层面。2. 从官方文档和公开资料中读训练数据配方2.1 模型卡是第一个入口大多数模型发布时都会附一份模型卡。不要把模型卡当成宣传页它是目前最规范的信息来源之一。查找时重点看以下字段字段要确认的内容典型疑问模型名称与版本是否区分 base、instruct、chat 等变体不同变体的数据配方可能不同发布日期训练数据截止日期的参考依据发布日前必须出现的内容才可能学到训练数据token 量、来源大类、语言分布是否区分预训练和微调数据评估结果在哪些基准上评测过评估集可能进入训练集的风险已知局限官方承认的弱项和数据边界局限描述就是数据范围的间接证据许可证是否能用于商业场景数据许可证不等同于模型许可证看模型卡时有一点容易忽略很多模型页面会给出“训练数据集链接”或“引用论文”。这些链接点开之后才是真正有价值的数据细节。如果页面只是笼统写“大量高质量数据”建议把它标为低信息量来源。一个相对完整的模型卡信息摘要示例Model: Example-Model-1.5-7B-Chat Base Model: Example-Model-1.5-7B Training Data: - Pre-training: 3T tokens - Common Crawl: 49% - Chinese Wikipedia: 8% - English Books: 6% - Code: 25% - Academic Papers: 12% - SFT: 5M instruction-response pairs - Alignment: RLHF with 2M preference samples Training Data Cutoff: 2024-06-30这类摘要不会把所有内容都写清楚但它足以帮你判断模型偏向代码、偏向中文、还是偏向学术内容。如果两份模型的摘要差异明显后续选型方向就清晰了。2.2 技术报告里的数据集配方表技术报告是比模型卡更详细的一层。开源模型通常会在技术报告中用表格列出数据来源和配比。阅读时建议关注三个关键点。第一是数据来源是否分阶段呈现。预训练、继续预训练、指令微调的数据会分别列示不能混在一起看。第二是是否给出过滤和去重策略。例如是否移除低质量网页、是否做语义去重、是否保留多语言。第三是是否公布“重复训练”或“多轮训练”信息。有些模型对核心数据会训练多个 epoch这会显著影响记忆程度。一份典型的数据配方表结构如下数据来源语言占比过滤规则采样权重Common Crawl多语言45%按质量分过滤1.0开源代码库代码为主25%去重 过滤低质文件0.8学术论文英文12%段落级去重1.2中文社区语料中文10%敏感内容过滤1.0书籍多语言8%按类别保留1.5如果技术报告没有给出这类表格说明数据细节未公开。此时要继续看论文的实验部分和社区复现材料不能停留在一句话结论上。2.3 论文和消融实验是补充证据研究团队发布的技术报告和论文中消融实验往往隐藏着大量信息。例如论文会对比“加入代码数据前后”的代码评测分数这间接证明模型训练数据中包含代码语料。又比如论文报告“去重后效果提升 3%”说明原始语料中存在重复数据问题。阅读论文时不要只读摘要和结论应该重点看数据收集章节说明采集了哪些来源、采样比例。预处理章节清洗、过滤、去重的规则。训练细节是否用多轮训练数据是否混合。评估章节在哪些 benchmark 上测试是否做了数据污染检测。附录常包含 prompt 模板、评估样例和更细的数据统计。需要提醒的是论文描述的是“实验时的数据状态”正式发布版本可能不一致。遇到论文和模型卡冲突时以发布时间更晚、版本更接近的文档为准。2.4 开源模型与闭源 API 的差异开源模型和商用 API 模型的调查策略完全不同。开源模型通常能拿到权重、训练代码、数据说明甚至部分真实数据可以本地运行、微调、对比。调查深度较高。闭源 API 模型只能通过文档和黑盒实验观察数据细节要少得多。对闭源模型建议把重心放在“官方文档声明的数据截止时间”和“实测表现”上而不是试图找出完整训练数据。如果项目对数据合规要求很严格例如需要确认训练数据中不包含用户私有数据或特定版权内容那么在未获得官方书面确认前最好不要下“绝对安全”的结论。开源模型在这一点上更具可验证性因为社区可以审查权重和训练流程。3. 借助社区生态和检测工具补盲区3.1 Hugging Face 元数据和数据集关联Hugging Face 是目前最集中的模型与数据集发布平台。模型详情页通常会挂出 base_model、datasets、tags 等元数据。这些元数据不只是给浏览器看的也可以直接通过 API 查询from huggingface_hub import HfApi import json api HfApi() model_id your-model-org/example-model info api.model_info(model_id, files_metadataFalse) result { id: info.id, datasets: getattr(info.cardData, datasets, None) or [], base_model: getattr(info.cardData, base_model, None), tags: info.tags[:20], pipeline_tag: info.pipeline_tag, } print(json.dumps(result, ensure_asciiFalse, indent2))这段脚本的作用是把模型的关联数据集和标签结构化输出。正常模型页面显示的数据集标签越多说明模型方越愿意公开数据构成。如果标签中没有数据集信息只能说明未声明不代表没有训练过这些数据。3.2 社区复现实验与问题跟踪很多训练数据线索并不会出现在官方文档中而是散落在社区里。GitHub Issues、技术论坛、论文讨论区和模型仓库的 Discussion 区都可能出现如下讨论模型能够“背诵”某本书的段落。模型在某个版权代码仓库的问题上产生了高度相似的输出。社区成员复现训练流程发现数据配比与官方报告不一致。有人用特定数据集做探测发现模型回答质量明显高于其他模型。这些信息不能直接当结论但可以作为调查线索。看到这类讨论后回到官方文档确认再设计自己的验证实验。至少要两条独立线索交叉印证才值得记录到评估报告里。3.3 从基准测试分数反推数据污染数据污染是判断训练数据构成时绕不开的话题。如果一个模型在某个公开基准测试上分数异常高往往不是因为模型更聪明而是因为测试数据已经出现在训练集里。这种现象在选择题、代码补全、考试类任务中尤其明显。实际项目中的判断思路是选一组与业务强相关的测试题。查这些测试题公开时间是否早于模型训练截止时间。对比不同模型的分数分布。观察模型是否能用“记忆型回答”复现题目原文。如果模型对题目能输出接近原文的答案同时该题目出现在训练截止日之前的公开语料中那么数据污染的概率就很高。这只是推断还不能确证因为模型可能通过推理能力答对题目。更稳妥的方法是用 n-gram 重叠检测候选文本是否与已知公开语料重合。下面给出一个用于检查文本片段重复度的示例脚本from collections import Counter def get_ngrams(text: str, n: int 8): tokens text.strip().split() if len(tokens) n: return [text] return [ .join(tokens[i:in]) for i in range(len(tokens) - n 1)] def overlap_ratio(candidate: str, reference: str, n: int 8): cand_ngrams set(get_ngrams(candidate, n)) ref_ngrams set(get_ngrams(reference, n)) if not cand_ngrams: return 0.0 return len(cand_ngrams ref_ngrams) / len(cand_ngrams) candidate_text 某段用于测试模型记忆的业务描述文本 reference_text 从公开语料中截取的同一主题长文本 print(overlap_ratio(candidate_text, reference_text))n-gram 越高说明候选文本与参考语料在文字层面越接近。需要说明的是这只是文本相似度检查不等同于证明模型训练过该数据。它的价值在于快速筛出“高度疑似出现在公开语料中”的文本片段再交给人工判断。3.4 数据去重与污染检测工具意识社区中已有一些数据集去重和污染检测类的开源工具例如基于 MinHash 的相似文本去重工具、基于 tokenizer 的文档重叠检测脚本、以及各类 benchmark 污染分析仓库。使用这些工具时要注意它们的判断标准并不统一字面 n-gram 重叠只能检测“原样出现”的文本。语义相似度检查能检测“改写后出现”的文本但误报率更高。token 级重叠检查依赖具体 tokenizer不同分词结果会产生差异。因此不要把工具输出的数字当作最终结论要结合人工审查样例。4. 设计受控实验判断模型是否记忆过特定内容4.1 记忆检测的三种常见题型判断模型是否接触过某类数据最简单的方法是做记忆检测实验。这里讲的“记忆”不是指模型像数据库一样存储原文而是指其输出分布明显偏向某一训练语料特征。常见题型有三类第一类是续写测试。给一句文本的上半部分让模型续写下半部分。如果模型高度熟悉该文本它可能会生成与原文几乎一致的后续内容。第二类是填空测试。把一段文本的关键词挖掉让模型补全。模型记忆越强补全准确率越高。第三类是事实问答。针对一段文本中的具体事实提问比如日期、金额、编号、人物关系这类信息只靠推理很难猜中需要模型记忆作为支撑。设计时不要把三类混在一起。续写测试容易受文风影响填空测试对提示词格式敏感事实问答最难但参考价值最高。4.2 利用困惑度和输出概率观察熟悉度除了看生成文本是否匹配还可以利用模型内部信号最常见的是困惑度和输出概率。困惑度衡量模型对一段文本的熟悉程度。简单理解如果模型经常见到某种表达那么它对这段文本的困惑度会偏低。不能把困惑度当直接证据但它可以作为排序指标把多段候选文本一起测找出模型“最熟悉”的文本集中分析。以 huggingface transformers 环境为例计算一段文本困惑度的最小思路如下import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_path your-model-path tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path) model.eval() texts [ 候选文本 A与业务高度相关的长段说明, 候选文本 B与业务无关的通用新闻段落, ] for text in texts: inputs tokenizer(text, return_tensorspt) with torch.no_grad(): outputs model(**inputs, labelsinputs[input_ids]) loss outputs.loss.item() ppl torch.exp(torch.tensor(loss)).item() print(f{ppl:.2f} | {text[:30]})这段代码输出的困惑度只能做相对比较。因为不同 text 的长短、语言、格式不同直接比绝对值没有意义。更合理的做法是准备一组基线文本使候选文本与基线文本在领域、长度、语言上尽可能匹配再观察候选文本困惑度是否显著低于基线。4.3 成员推断与合规边界学术界把“判断一条数据是否属于某个模型训练集”的问题称为成员推断。典型方法是训练一个攻击分类器把模型对目标样本的输出分布作为特征区分“在训练集中”和“不在训练集中”的样本。成员推断在隐私审计、数据泄露评估、版权调查中都有正规用途但它也是一把双刃剑。需要明确只能对你有权使用的模型和数据进行判断。不能把这类技术用于窃取他人私有数据。报告结果时要区分“疑似”和“确证”。不要公开可能包含敏感信息的模型输出片段。在实际写博客时不建议展开实现攻击分类器的完整代码。更稳妥的落地方式是用自己的业务文本做上述困惑度和生成测试把模型输出保存在本地人工判断。4.4 一个可执行的最小实验框架如果你想在项目里形成一轮记忆检测可以按下面框架组织实验。它不需要复杂模型只需要能调用候选模型的 API 或本地推理脚本。import json from openai import OpenAI client OpenAI( base_urlhttp://localhost:8000/v1, api_keylocal-test-key, ) test_items [ { id: 1, type: continuation, prompt: 公司内部培训手册第一章的开头部分……, expected_span: 预期出现的原文片段, }, { id: 2, type: qa, prompt: 根据公司 2023 年度财务说明第四季度营收是多少, expected_answer: 具体的数字或结论, }, ] results [] for item in test_items: response client.chat.completions.create( modelcandidate-model, messages[{role: user, content: item[prompt]}], temperature0, max_tokens256, ) output response.choices[0].message.content results.append({ id: item[id], type: item[type], prompt: item[prompt], completion: output, matches_expected: (item[expected_span][:20] in output) if output else False, }) with open(memory_test_result.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)这个框架的核心不是代码本身而是三个设计原则每个测试项都包含 ID 和类型方便后续统计。输出写入 JSON 文件而不是只打印到控制台保留证据。temperature 设为 0减少采样随机性对结论的干扰。如果本地没有部署模型也可以换成远程 API 地址。代码中的 base_url 是本地推理服务示例实际项目需要按要求替换成真实可用的服务地址。5. 实验中容易误判的五个细节5.1 训练截止时间不是边界条件那么简单很多人直接以“训练截止日期”为界判断模型是否可能接触某数据。这个习惯有一定道理但存在三个盲区数据收集时间可能早于截止日期也可能晚于截止日期报告里的日期是计划截止日期不代表所有管道都在那一天停止。继续预训练和微调阶段会追加较新数据模型卡上写的日期无法覆盖所有阶段。第三方数据集可能被重复引入部分旧数据会以更晚的时间点被再次处理。因此时间线只能作为必要条件不能作为充分条件。5.2 通用知识不等于训练数据记忆如果问模型“什么是大模型”模型给出流畅回答这是语言能力和通用知识的体现不能说明它“训练过某一篇特定文章”。真正能说明问题的句子应该包含足够独特的信息组合例如特定数字、特定人名、特定事件、特定编号的组合。设计测试题时建议优先选择那些“只能从单一来源获得”的高熵事实片段。例如某公司内部产品的具体版本号和维护团队名称。某篇论文中一个不常见的实验参数组合。某本书中一段包含专有名词的连续表述。某次行业会议中某个嘉宾发言的精确动词。这些内容模型仅靠语言逻辑是推断不出来的回答越准确记忆证据越强。5.3 提示词改写会改变结果同一个事实用不同方式提问模型的回答可能完全不同。这不是模型“故意撒谎”而是提示词改变了模型的解码路径。因此单次提问的负结果不能证明模型没记忆过该数据。推荐做法是为每个测试项准备三到五种问法直接问这段内容的后半部分是什么换主语请用第三人称复述这个事件。换格式把这个信息整理成表格。给开头给定前面若干字请补充完整。反向问这个信息可能来自什么来源如果多种问法都无法触发相关记忆负结论的可靠度才会提高。5.4 采样随机性会干扰结论生成式模型的输出受到 temperature、top_p、top_k 等采样参数影响。temperature 较高时同一句 prompt 可能生成完全不同的结果。如果在检测实验中使用默认随机采样很容易把一次偶然输出当成稳定证据。建议结论性实验将 temperature 设为 0 或接近 0。至少重复采样三次观察一致性。对比不同参数下输出分布判断结论是否稳定。在报告中明确记录采样参数方便他人复现。5.5 缺少对照组会让结论失真只测一个模型不对照其他模型很难判断“熟悉”是否是所有大模型的共性。很多公开知识可能被所有模型学到并不是目标模型独有的。合理对照设计至少需要两组对照组 A使用明显不可能训练过该数据的模型例如测试某公司内部文档时选一个训练数据以英文为主的模型作为对照。对照组 B使用另一家同类模型观察数据覆盖度差异。空白组对完全没有上下文的提示词做同样实验排除模型默认话语模式的影响。对照模型之间的分数差异比单个模型的绝对值更能说明问题。6. 常见问题排查路径6.1 用一张表定位大部分疑问实际调查中很容易遇到“信息对不上”的困惑。下面是按经验整理的排查表现象可能原因检查方式处理建议模型答对了训练截止时间之后的信息截止时间改变、数据追加、微调阶段引入新数据查看新版本模型文档、刷新模型卡以模型版本对应的文档时间为准不轻信旧结论模型能背诵某段原文但模型卡未列出该来源数据经过第三方数据集引入、去重失效在社区搜索相似案例、检查数据集引用链记录为“疑似记忆”不能确证训练来源不同模型对同一测试题分数差异过大数据配比差异、评估采样、模型容量不同固定测试集和采样参数重新评估多次重复实验取平均分和波动范围困惑度低但生成内容不匹配模型熟悉表达风格不代表记得具体事实检查高熵名词、数字、专有名称更换测试题类型从风格测试改为事实测试模型在线 API 与本地开源模型行为不一致服务端版本更新、系统提示词注入、动态路由检查 API 文档的 model 标识、响应内容将实验固定到同一模型版本工具输出的重叠率很高但人工判断不相关n-gram 过长导致巧合匹配、语料本身重复降低 n、检查重叠片段是否连贯以人工判断为准自动工具只做初筛6.2 按顺序走一遍排查链路如果某个结论反复对不上建议按下面顺序排查检查输入文本本身是否有错别字、截断、乱码直接影响 n-gram 和困惑度计算。检查模型标识当前调用的是 base 版本还是 chat 版本是否有量化、蒸馏差异。检查文档版本模型卡、论文、release note 是否对应同一版本。检查参数设置temperature、max_tokens、system prompt 是否在多次实验中一致。检查对照条件对照组模型是否真的“没见过”目标数据例如对照组训练时间晚于数据发布时间。检查数据时间线候选数据的公开时间、模型训练时间、微调时间是否匹配。检查工具口径n-gram 的 n、困惑度的分词方式、重复度计算逻辑是否一致。大部分“结论漂移”问题最后都会落在版本不一致或参数不一致上。6.3 记录证据避免靠印象下结论训练数据调查是一个需要长期积累证据的过程。每轮实验都建议生成一份记录文件至少包含调查对象模型名称和版本。测试数据来源和采集时间。提示词全文和采样参数。模型输出原文。人工标注结果是疑似记忆、无法判断或未记忆。调查日期和涉及工具版本。有了这些记录后续面对“这个模型到底行不行”的争论时才有可检索的依据。7. 把训练数据调查做成可复用流程7.1 数据来源调查清单在每次选型或评估前建议先对照下面的清单收集材料不用一次性收集完但优先级别从高到低官方模型卡是否包含训练数据、截止时间、基础模型字段。技术报告是否包含数据配方表、数据量、配比、过滤策略。论文附录是否包含更细的数据统计和消融实验。Hugging Face 元数据是否关联数据集、基础模型、标签。社区讨论是否有人复现训练流程或发现数据污染特征。基准测试结果模型是否在某些特定 benchmark 上异常高。自建记忆检测实验用业务相关文本测试模型输出。没有前四项时后三项的权重才应该提高。不能一上来就只做实验那样容易错过现成信息。7.2 评估报告模板每次调查完成后输出一份固定模板的报告能让多个模型之间的对比更公平。推荐模板如下# 模型训练数据调查简报 模型example-model-7b-chat 版本v1.2 撰写日期2025-XX-XX ## 官方信息 - 模型卡有 / 无 - 技术报告有 / 无 - 数据截止时间2024-06-30 - 数据总量3T tokens - 数据来源说明网页、代码、论文、书籍、多语言社区 ## 社区线索 - 是否有复现训练流程仓库有 - 是否有数据污染讨论未发现 ## 自建实验 - 测试集20 条业务文档片段 - 对比模型base 英文模型、另一家中型开源模型 - 实验参数temperature0, max_tokens256 - 结果目标模型在 12 条高熵事实上输出准确疑似记忆对照模型在 3 条上输出准确 ## 结论 - 疑似记忆范围公司产品文档、行业报告摘要 - 无法确证的内容具体训练文件是否包含目标文本 - 建议在涉及高合规业务时仍需模型方提供书面确认模板的意义在于把“看起来知道”和“证据支持知道”分开。7.3 选型阶段的实际建议根据调查结果选型时可以按以下场景决策使用场景对训练数据透明度的要求建议策略通用问答、内容生成低优先看基准分数和商业授权范围数据细节作为参考垂直领域客服中检查是否包含领域语料做针对性记忆检测代码开发辅助中关注代码语料占比和许可证兼容性金融、医疗等高风险场景高要求官方提供数据说明并建立自建验证集长期监控处理用户隐私数据极高优先使用本地部署模型评估训练数据中是否可能包含外部隐私语料不要把“数据透明度低”直接等同于“模型差”。有些商业模型虽然不公开数据但通过后期微调和评测证明了能力。重点是自身业务是否依赖对数据边界的精确了解。7.4 长期跟踪与版本更新模型训练数据的情况不会一成不变。同一系列模型升级后数据来源和截止时间都会变化。建议建立轻量级跟踪机制订阅官方 release note 和技术报告更新。每季度对新版本跑一次自建记忆检测集。记录新旧版本对同一测试集的行为差异。把关键结论保存到团队知识库避免人员变动后丢失上下文。如果一个模型在升级后突然对某类数据表现出更强的记忆而业务上这正是需要关注的风险点就要及时把结论同步到合规和产品侧。回到最初的问题。想知道某个 LLM 被哪些数据训练过单靠官方回答往往不够完整的做法是结合文档、社区和自建实验三条线索形成交叉验证。文档能确认数据总量和来源大类社区能暴露数据污染和复现差异自建实验能验证模型对特定业务文本的熟悉程度。三条线索都指向同一结论时判断才足够可靠。对于那些完全未公开的数据细节最理性的做法是承认边界并在业务决策中留出风险空间。