NeurIPS 2026 | 小红书智创 AIGC 团队提出视觉文本生成新方法 GlyphAnchor
小红书技术REDtech · 软件开发
原创 REDtech 2026-11-06 17:59 湖北 GlyphAnchor 通过位置锚定字形先验，提升文生图与图像编辑模型在长文本、复杂密集文本和生僻字场景中的文字准确性，同时保持图像质量。 论文标题： GlyphAnchor: Enhancing Visual Text Rendering via Position-Anchored Glyph Priors 论文链接： https://arxiv.org/abs/2609.02349 项目地址： https://github.com/FireRedTeam/GlyphAnchor 01 摘要 我们提出的 GlyphAnchor 可以通过 位置锚定字形先验 ，增强文生图和图像编辑模型的文本渲染能力。该方法以轻量级字形图块提供字形信息，结合分阶段监督微调与针对文字的后训练，在 长文本、复杂密集文本和生僻字 场景中持续改善对应基础模型的表现。我们在 FireRed-Image-Edit-1.1、Qwen-Image-Edit-2511 和 Z-Image 上进行了验证，实验表明，GlyphAnchor 在 保持整体图像质量的同时大幅提升文字准确性。 图 1：GlyphAnchor 的生成结果。 02 背景 准确的视觉文本渲染已成为文生图和图像编辑基础模型的关键瓶颈。近期图像扩散模型能够生成高质量场景并遵循复杂指令，但对于 长文本、复杂且密集排列的文本以及生僻字 ，生成效果仍不够可靠。在海报、笔记和信息图等富文本应用中，缺失或错误的单个字符就可能影响图像的可用性。模型需要同时做到 渲染正确的字符形状，将文本放在预期位置，并保持周围的风格和图像质量。 显式字形信息有助于提高文本准确性，但将所有文本渲染在整张画布上作为参考，会引入较大的 token 开销，并影响风格保真度；使用紧凑的字形块可以减少开销，但缺少空间定位时，仍可能遗漏文本或生成损坏的字符。因此，GlyphAnchor 将 紧凑字形块与布局锚点结合 ，同时提供字形与空间线索。 03 方法 图 2：GlyphAnchor 概览。提示词、可选的源图像和渲染后的字形块图像被编码为 token，拼接后输入文生图或图像编辑 DiT。字形块 token 位于额外的条件帧中，形成坐标锚定到目标布局的虚拟字形平面。 GlyphAnchor 通过模型原生的位置编码，将每个字形块锚定到目标图像中的预期位置。具体而言，模型将目标文本渲染为字形块，经 VAE 编码后，与标准视觉 token 序列拼接；字形块的位置编号根据目标布局分配，使其中心与对应文本边界框的中心对齐。布局既可由用户指定，也可由多模态大语言模型规划。 这一条件机制 轻量且易于适配不同的扩散 Transformer 基础模型。 对于采用三维 RoPE 或其变体的模型，只需添加字形 token 并重新分配位置编号，便可引入字形条件。该设计 不改变注意力模式，兼容各类标准注意力加速内核。 训练方面，我们采用 分阶段监督微调 ，逐步从目标图像中的真实文本裁切块过渡到渲染字形图块，使训练条件接近推理输入；同时对字形块进行随机换行、缩放、旋转等增强，减少对参考字形外观的过拟合。在此基础上，通过 文本感知 DiffusionNFT 后训练 ，联合优化文本与布局一致性、风格一致性和视觉融合，进一步改善困难样例中的稳定性与视觉质量。 04 效果与对比 我们在两个图像编辑模型 FireRed-Image-Edit-1.1、Qwen-Image-Edit-2511 和文生图模型 Z-Image 上实现了 GlyphAnchor ，并在 LongTextBench、OneIGBench-text、CVTG-2K、ChineseWord 和 InfoTextBench 上评估长文本、复杂密集文本及生僻字渲染能力。 通用文本生成：三个基础模型均获得提升 表 1：LongTextBench、OneIGBench-text 和 CVTG-2K 上的定量对比。紫色数字为加入 GlyphAnchor 后相对对应基础模型的差值，正值表示提升，负值表示下降。 GlyphAnchor 在三个基础模型上均提升了长文本渲染能力，其中两个编辑模型的提升尤为明显。在 LongTextBench 上，FireRed-Image-Edit-1.1 的中英文平均得分由 0.897 提升至 0.985 ，Qwen-Image-Edit-2511 由 0.912 提升至 0.984 ，Z-Image 由 0.936 提升至 0.981 。在 OneIGBench-text 上，三个模型的中英文平均得分也分别从 0.875、0.928、0.988 提升至 0.965、0.967、0.991 。已有较强文本渲染能力的 Z-Image，