新标题：TextDiffuser：无惧图像中的文字，提供更高质量的文本渲染

在过去几年中，Text-to-Image 领域取得了巨大的进展，特别是在人工智能生成内容（AIGC）的时代。随着DALL-E模型的兴起，学术界涌现出越来越多的Text-to-Image模型，比如Imagen、Stable Diffusion、ControlNet等模型。然而，尽管Text-to-Image领域发展迅速，现有模型在稳定地生成包含文本的图像方面仍然面临一些挑战

尝试过现有 sota 文生图模型可以发现，模型生成的文字部分基本上是不可读的，类似于乱码，这非常影响图像的整体美观度。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

现有的sota文本生成模型生成的文本信息可读性较差

经过调研，学术界在这方面的研究较少。事实上，包含文本的图像在日常生活中十分常见，例如海报、书籍封面和路牌等。如果 AI 能够有效地生成这类图像，将有助于辅助设计师的工作，激发设计灵感，减轻设计负担。除此之外，用户可能只希望修改文生图模型结果的文字部分，保留其他非文本区域的结果。

为了不改变原始意思，需要将内容改写成中文。不需要出现原句

• 论文地址：https://arxiv.org/abs/2305.10855
• 项目地址：https://jingyechen.github.io/textdiffuser/
• 代码地址：https://github.com/microsoft/unilm/tree/master/textdiffuser
• Demo地址：https://huggingface.co/spaces/microsoft/TextDiffuser

TextDiffuser 的三个功能

本文提出了 TextDiffuser 模型，该模型包含两个阶段，第一阶段生成 Layout，第二阶段生成图像。

需要重新编写的是：TextDiffuser框架图

模型接受一段文本 Prompt，然后根据 Prompt 中的关键词确定每个关键词的 Layout（也就是坐标框）。研究者采用了 Layout Transformer，使用编码器-解码器的形式自回归地输出关键词的坐标框，并用 Python 的 PILLOW 库渲染出文本。在这个过程中，还可以利用 Pillow 现成的 API 得到每个字符的坐标框，相当于得到了字符级别的 Box-level segmentation mask。基于此信息，研究者尝试微调 Stable Diffusion。

他们考虑了两种情况，一种是用户想直接生成整张图片（称为 Whole-Image Generation）。另一种情况是 Part-Image Generation，在论文中也称之为 Text-inpainting，指的是用户给定一张图像，需要修改图里的某些文本区域。

为了实现上述两个目标，研究人员重新设计了输入特征，将维度从原来的4维增加到了17维。其中包括4维加噪图像特征、8维字符信息、1维图像掩码以及4维未被掩码的图像特征。如果是整体图像生成，研究人员将掩码区域设为整个图像；反之，如果是部分图像生成，只需对图像的一部分进行掩码。扩散模型的训练过程类似于LDM，对此感兴趣的同伴可以参考原文中的方法部分描述

在推理阶段，TextDiffuser具有非常灵活的使用方式，可以分为三种：

• 根据用户给定的指令生成图像。并且，如果用户不大满意第一步 Layout Generation 生成的布局，用户可以更改坐标也可以更改文本的内容，这增加了模型的可控性。
• 直接从第二个阶段开始。根据模板图像生成最终结果，其中模板图像可以是印刷文本图像，手写文本图像，场景文本图像。研究者专门训练了一个字符集分割网络用于从模板图像中提取 Layout。
• 同样也是从第二个阶段开始，用户给定图像并指定需要修改的区域与文本内容。并且，这个操作可以多次进行，直到用户对生成的结果感到满意为止。

构造的 MARIO 数据

为了训练TextDiffuser，研究人员收集了一千万张文本图像，如上图所示，包括三个子集：MARIO-LAION，MARIO-TMDB和MARIO-OpenLibrary

研究者在筛选数据时考虑了若干方面：例如在图像经过 OCR 后，只保留文本数量为 [1,8] 的图像。他们筛掉了文本数量超过 8 的文本，因为这些文本往往包含大量密集文本，OCR 的结果一般不太准确，例如报纸或者复杂的设计图纸。除此之外，他们设置文本的区域大于 10%，设置这个规则是为了让文本区域在图像的比重不要太小。

在对 MARIO-10M 数据集进行训练后，研究人员对 TextDiffuser 进行了定量和定性的比较，与现有方法进行了对比。例如，在整体图像生成任务中，本文方法生成的图像具有更清晰可读的文本，并且文本区域与背景区域的融合更好，如下图所示

与现有工作比较文本渲染性能

研究人员还进行了一系列定性实验，结果如表1所示。评估指标包括FID、CLIPScore和OCR。特别是OCR指标，本研究方法相对于对比方法有显著的提升

重写后的内容：实验结果见表1：定性实验

对于 Part-Image Generation 任务，研究者尝试着在给定的图像上增加或修改字符，实验结果表明 TextDiffuser 生成的结果很自然。

文本修复功能可视化

总的来说，本文提出的 TextDiffuser 模型在文本渲染领域取得了显著的进展，能够生成包含易读文本的高质量图像。未来，研究者将进一步提升 TextDiffuser 的效果。

# AIGC  # 在这个  # 是在  # 取得了  # 的是  # 类似于  # 第二个  # 进行了  # 掩码  # 所示  # 关键词  # prompt  # ai  # microsoft  # https  # ocr  # Imagen  # stable diffusion  # transformer  # 人工智能  # github  # pillow  # Python 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： 智谱AI创意设计怎么用_智谱AI创意设计使用方法详细指南【教程】  GTA Online: 2025最新无限隐形套装防消失技巧  AI症状自检：最佳AI症状检查器，告别网络庸医！  C3.ai深度解析：投资者必知的关键洞察  1-11月30万元以上插电混动车型销量榜：问界双车前二  豆包AI能否用提示词调整回答深度_豆包AI深度控制提示词技巧【方法】  AI赋能软件测试：自动化、智能化与未来趋势  MAKA AI排版怎样设置动画效果_MAKA AI排版动画添加与参数调整【技巧】  AI同伴的未来：超越工具，迈向情感连接与个人成长  Tune AI: 革新音乐创作，AI音乐平台深度测评  探索贝奥武夫：英雄史诗的起源、故事与文化意义  一键改变发型：Gemini AI 助你轻松打造时尚造型  如何用AI一键生成求职简历？AI简历优化与制作工具推荐【干货】  啦啦队女孩：青春活力与性感魅力的完美结合  AI音频增强和视频背景替换终极指南  Lovart AI设计助手：AI驱动设计，零成本开启创意新纪元  教你用AI把照片变成动漫风格，3个简单步骤刷爆朋友圈  AI 3D建模革命：免费生成高质量模型和纹理  Pictory AI视频制作平台深度评测：功能、价格与使用指南  AI女友：时尚穿搭与美丽瞬间的完美融合  Z270 Mini-ITX主板全面评测：为Skylake和Kaby Lake打造迷你主机  生物医学图像分割：U-Net模型训练与应用详解  3步教你用AI帮你把菜谱转换成详细的烹饪步骤视频脚本  智行ai抢票如何查看抢票进度_智行ai抢票进度查询与状态解读【实操】  ATS优化：Euron ResumeAI打造高效求职简历  EdrawMind终极评测：AI赋能思维导图，提升效率与创造力  Google AI Studio文本转语音教程：零成本创作高质量音频  grokai如何生成动态图表_grokai动态图表生成工具使用及数据可视化技巧  DeepSeek AI：AI通用谜题解题器，解题思路全解析  通义千问怎么设置功能偏好_通义千问偏好设置【教程】  AI论文写作终极指南：DeepSeek与HIX Bypass结合使用教程  2025年AI图像生成指南：Google Gemini Nano Banana教程  3步教你用AI将文字转换成语音，实现配音自由  轻松生成二维码：免费AI工具终极指南  Depseek如何让提示词包含上下文_Depseek上下文补充提示词写法【步骤】  AI赋能QA：测试管理的未来趋势与实践  Gemini怎么用新功能实时问答_Gemini实时问答使用【步骤】  百度输入法怎么去除ai模块 百度输入法纯净版安装教程  ChatGPT图像生成器完全指南：文化影响、伦理挑战与商业变革  XRAI Glass：AI赋能的增强现实眼镜，对话新体验  探索古希腊之美：AI打造的绝|美女|神形象赏析  AI生成克里希纳短视频：一步步教程，快速爆款！  现代集团CES 2026首秀机器人Atlas 发布AI机器人战略  AI赋能音频转录：SovereignAudio自托管解决方案  ChatGPT怎样用提示词模拟专家视角_ChatGPT专家视角设置【指南】  Claude怎样写任务型提示词_Claude任务提示词写法【步骤】  旅游营销AI：ChatGPT邮件营销策略，提升旅游业务转化率  AI Excel公式生成工具有哪些_一键生成函数公式的AI工具推荐  创客贴AI排版如何批量处理图文_创客贴AI排版批量操作与效率提升【方法】  豆包AI能否生成领导汇报版总结_豆包AI汇报版精简与结构调整【教程】 

 2023-09-26