NeurIPS'26 | 如何减少共情推理中的错误传播？
新智元 · 人工智能
新智元 2026-11-07 13:04 北京 新智元报道 多阶段推理中，局部误判可能成为后续判断的前提，并持续影响后续步骤。 这一问题在共情语音对话中尤为突出：感知、心理状态推断与回应生成紧密关联，早期偏差可能最终导致对说话人需求的误解和不恰当的回应。即使后续分析逻辑连贯、表达得体，也可能建立在错误的依据之上。 仅凭最终回复的整体评价，难以定位偏差并提供针对性的反馈。 如何建模阶段之间的依赖，并将反馈落实到对应步骤，成为减少多阶段推理错误传播的关键。 针对这一挑战，香港中文大学与微软研究团队提出 EchoChat 。团队指出，将共情简化为输入到回复的直接映射，容易使模型陷入「共情模仿」（empathetic mimicry）：回应在表达上显得温暖，却与说话人的潜在心理状态和实际需求并不匹配。因此，共情能力的提升需要深入回应背后的认知过程。 EchoChat将感知、心智理论推理与语音回复生成纳入统一优化框架，通过级联门控奖励约束阶段依赖，并利用步骤级信用分配提供针对性的更新信号，缓解错误在推理过程中的延续。该工作发表于 NeurIPS 2026 。 论文链接 ： https://arxiv.org/abs/2610.04826 推理有了中间步骤 训练还需要更细的反馈 在共情对话中，对情绪强度的低估，可能让模型忽略说话人迫切的支持需求；对心理需求的误解，则可能使回应策略偏离对话真正需要解决的问题。 EchoChat将这一过程显式组织为感知、心理状态推断、策略规划与回复生成，使不同环节具有可区分的结构。 但结构清晰的推理并不自动保证判断可靠：后续分析即使逻辑连贯，也可能沿着错误前提继续展开。 因此，训练需要区分各阶段的表现，识别哪些环节提供了可靠依据、哪些环节引入了偏差，并给予相应反馈。 奖励体现依赖，反馈对应步骤 EchoChat在强化学习阶段，从奖励设计和信用分配两个层面处理这一问题。 级联门控：后续奖励需要可靠的前序依据。 不同阶段的评分不能被简单视为彼此独立。如果感知已经出现偏差，基于这一感知生成的心理分析，即使表面合理，也缺乏可靠的前提。若后续阶段仍能获得较高奖励，整体分数就可能掩盖上游错误。 EchoChat因此为推理奖励引入级联门控，使心理状态推断和策略规划的奖励受到前序阶段表现的约束，减少模型通过后续看似合理的分析补偿前序错误的可能。 SDCA：将阶段反馈分配到相应的生成片段。 即使奖励已经考虑了阶段依赖，仍需明确这些反馈应当作用于哪些步骤。标准GRPO通常根据整条轨迹的总奖励计算统一的优势信号，并将其应用于所有生成token，难以充分区分各阶段的贡献。 为此，EchoChat提出 Step-Decomposed Credit Assignment（SDCA） ：针对不同阶段分别计算组内相对优势，再将其分配到对应生成片段的token，使各步骤获得与自身表现相匹配的训练信号。 在此基础上，EchoChat结合回复层面的多模态奖励，联合优化推理过程、回应内容与语音表达。 让长链推理保持声学依据 减少错误传播，也需要关注推理最初依赖的信息。 长链推理（Long CoT）时常面临一个重要风险：随着生成文本不断累积，模型可能越来越依赖自身已有的判断，对原始输入的关注逐渐减弱。 这一问题在共情语音对话中尤其值得关注。语调、节奏、停顿与声音强弱，承载着难以被文字完整保留的情绪信息。当推理逐渐由生成文本主导时，这些声学线索可能被忽略，最初的误判也更容易在后续心理状态推断和策略选择中延续。 为此，EchoChat在监督微调阶段引入 Acoustic-Anchored Attention （AAA） ，通过注意力约束，增强感知阶段的推理对声学表征的关注，使情绪判断更充分地建立在声音证据之上，为后续推理与回应提供可靠基础。 为提供相应的学习信号，研究团队构建了 EchoDialogue-400K 。数据集涵盖多样化对话情境、语言风格与细粒度情感表达，并将感知、心理状态分析、策略选择和回应联系起来，为多阶段学习提供结构化监督。 EchoEval 从感知到回应的多维评测 为了尽可能客观地衡量共情能力，团队在对最终回复进行主观评价之外，进一步考察模型是否准确感知情绪、合理推断心理状态与支持需求，为共情评价建立更明确、可分析的依据。 为此，研究团队提出 EchoEval ，采用真人录制语音与心理学专家标注，涵盖隐含情绪、语义与语气冲突、情绪变化等复杂表达。通过以专家标注为参照的分层评测，EchoEval将对共情的整体感受细化为对感知、推理与回应质量的系统考察。 EchoChat在感知、推理和回应对齐方面取得了领先表现。消融与错误传播分析进一步显示，级联门控与步骤级信用分配能够改善不同阶段之间的衔接，缓解中间误判对后续推理和回应的影响，为这一训练