AI 内容核查怎么做：智能内容 AI 核查系统实践
百度Geek说 · 软件开发
原创 欢迎关注的 2026-11-06 12:00 上海 把内容拆成最小可验证主张、以权威证据逐条判定、由规则下结论——多阶段小模型流水线让 AIGC 内容核查降本落地五类业务。 。 点击蓝字，关注我们 作者 | 弘远君 导读 introduction AIGC 内容里的事实错误越来越隐蔽：前几段都对，最后一句张冠李戴；检索结果里对的错的都有，模型挑了不权威的那条。我们建设了一套内容 AI 核查系统，核心做法是把内容拆成最小的可验证主张，以权威证据为准逐条判断，让模型只判断证据与主张的关系，由规则给出结论。在此基础上，我们用多阶段小模型流水线把核查成本降下来，覆盖海量批量数据。系统已在知识百科、内容问答等五类业务落地。 全文 4682 字，预计阅读时间 6 分钟 GEEK TALK 01 核查难在哪 先看几个线上真实出现过的错误： 这些错误有个共同点：单看每一句都"有出处"，错误藏在局部、藏在限定条件里、藏在多个数字之间的关系里。人工抽查覆盖不了这么大的量，简单规则也识别不出来。 业界常见的做法有两类。一类依赖模型自身知识，比如多次采样看一致性、看输出的不确定性，但模型不知道的事实就验证不了，多次调用成本也高。另一类结合检索做验证，引入了外部证据，可搜索排在前面的结果是"和问题最相关"的，不一定是"权威且正确"的。开源框架方面，通用 RAG 框架缺少多轮"搜索 + 推理"的能力，专门的研究项目大多维护不活跃，没有能直接用到生产的方案。 除了效果，还有工程上的约束：成本要撑得住海量且持续增长的数据，效果提升不能只靠换更大的模型，系统还要留出持续迭代的空间。 GEEK TALK 02 核查思路：五条原则 我们的核查方法可以归结为五条原则。 1. 主张是最小核查单位 长文本里的错误通常只出现在局部，整段判断容易被前文的正确内容"带过去"。我们先按文档结构拆段，再把每段拆成原子主张：一条主张只讲一个事实，主体完整，时间、地点补全。例如"它于 2019 年发布"要补全成"某型号手机于 2019 年发布"。每条主张独立检索、独立判断。 主张粒度还有一个好处：相同或高度相似的主张可以复用结果，热点事实不用反复核查。 2. 证据以权威性为第一排序因素 核查的依据是外部证据，模型自身的知识只做辅助。证据的质量决定了核查的上限，而质量的第一指标是权威性。 数据源按权威程度分成多个等级，从政府官网这类绝对权威的来源，到主流媒体，再到无权威性的来源。每个垂类维护自己的权威站点表。检索时先查高权威源，不够再逐级放宽。来源之间冲突时高权威优先，低权威来源只做风险提示。同一内容被多个不同域名转载，会被当作互证信号。 3. 搜索与推理交替 很多事实要多跳才能确认。"某城市最高楼有多高"，要先确定最高的建筑是哪座，再查它的高度。我们参考 Search-R1 和 ReAct 的思路，让模型在推理中发现知识缺口时主动检索，拿到结果后继续推理，直到不再需要外部知识。 检索 Query 也不直接用原句。主张会先被改写成适合检索的 Query，并单独处理时间限定这类容易召回失败的信息。 4. 不同类型的内容走不同的路 不是所有内容都需要最贵的通用链路。主张会先按垂类分流：通用事实走多轮搜索，电话号码查权威库，歌词和章节做结构化匹配，链接做有效性校验。纯观点、主观评价这类没有可核查事实的内容，在入口就被过滤掉。 5. 模型判关系，规则做决策 早期让模型直接输出"正确 / 错误 / 不确定"，遇到两个问题。一是同一输入多次运行结果不一致，结果会"闪烁"。二是不同业务对"正确"的标准不一样：医疗要求权威来源，旅游可以接受多方印证，模型分不清该用哪套标准。 改造后，模型只判断证据和主张之间的关系，在支持、部分支持、矛盾、无关、信息不足五类里选一个。业务结论交给规则映射： 规则再结合来源等级、证据数量、是否高风险领域，输出正确 / 错误 / 争议 / 无权威来源的业务标签。这样业务之间的差异变成了配置差异，判定也更稳定。原来写在 Prompt 里、靠模型"自觉"遵守的要求也变成了代码里的硬规则。例如灾害伤亡、医疗、法律、金融等高风险领域，模型判"矛盾"但置信度不高时，不直接判错，而是降级为"无法验证"并进入复核队列。 △ 改造前模型直接给结论；改造后模型只判断证据与主张的关系，由规则引擎映射成业务标签 GEEK TALK 03 系统全貌 △ 一次核查请求经过解析、校验、判定三段，每段上方标出对应的核查原则，底部是效果迭代闭环 一次核查请求依次经过三段，上面五条原则落在各段里： 1. 解析 ：过滤不需要核查的内容，按垂类把文本拆成原子主张，再复核一遍，去掉主体错位、信息丢失的主张。 2. 校验 ：把主张改写成检索 Query，按权威等级逐级检索，证据按内容去重后按来源等级取最相关的