复旦大学与腾讯联手，教会AI"读懂"花式艺术字！

这项由复旦大学可信具身智能研究所、复旦复旦大学上海多模态具身智能重点实验室、大学读懂腾讯微信视觉团队及华南理工大学联合开展的腾讯前沿研究，已于2026年6月23日以预印本形式发布（论文编号：arXiv:2606.24484v1）。联手该研究通过构建大规模合成数据集与专用模型架构，花式显著提升了AI对复杂艺术字（WordArt）的艺术识别能力。

一、复旦 痛点解析：为何艺术字是大学读懂AI识别的“噩梦”？

在商业海报、游戏封面及杂志设计中，腾讯WordArt（艺术字）无处不在。联手设计师通过拉伸、花式扭曲、艺术纹理填充及异形排版，复旦赋予文字极强的大学读懂视觉冲击力。然而，腾讯对于人工智能而言，这类非标准文本的识别难度极高：

• 形态极度多变：艺术字常呈现弧形排列、竖排堆叠、透视变形或内部嵌入复杂图案，远超传统印刷体的规整结构。
• 视觉干扰强烈：复杂的背景纹理与字体装饰相互交织，导致AI难以区分笔画与背景，极易产生误判。
• 数据与模型双重缺失：
• 数据匮乏：现有专用数据集（如WordArt）仅含约4805张图片，样本量不足以支撑深度学习模型的泛化需求。
• 模型适配性差：主流OCR模型强制将输入图像缩放至固定尺寸（如32×128像素），导致正方形、竖长形或圆弧形的艺术字发生严重几何畸变，识别准确率从标准场景的99%骤降至70%左右。

为解决这一长期被忽视的难题，研究团队提出了WATER（WordArt-oriented scene TExt Recognition）框架，从数据构建与模型架构两个维度进行系统性革新。

二、 数据引擎：构建200万张高质量合成数据集（WATER-S）

针对数据稀缺的核心瓶颈，团队采用“工具渲染”与“AI生成”双轨并行的策略，构建了包含200万张标注图片的WATER-S合成数据集。

1. WATER-T：基于工具渲染的高精度数据

• 字体库构建：收集并审核了11,250款开源艺术字体，涵盖手写、卡通、哥特等多种风格。
• SynthWordArt引擎：开发专用渲染引擎，支持曲线排列、多方向布局及透视变形。其中，约20%为弧形文字，30%为多方向文字。
• 真实性增强：复用真实场景文字标签作为生成内容，确保文字分布贴近现实。
• 产出：生成100万张图片（WATER-T子集），标注准确率100%，字形可控。

2. WATER-Z：基于AI生成的风格化数据

• 提示词挖掘：利用腾讯Qwen3-VL-8B视觉大模型，对31,335张真实艺术字进行视觉风格解析（材质、排版、氛围），生成273,488个高质量风格描述提示词。
• 图像合成：使用开源生成模型Z-Image-Turbo，将真实文字内容替换至占位符，生成风格多样、视觉自然的艺术字。
• 产出：生成100万张图片（WATER-Z子集）。尽管存在约12.56%的标注噪声，实验证明保留这些样本有助于模型学习复杂风格，优于严格过滤。

策略优势：WATER-T提供精确的结构先验，WATER-Z提供丰富的视觉风格，两者互补，共同提升了模型的泛化能力。

三、 模型架构：WATERec——为AI戴上“不变形”的眼镜

现有模型在输入变形和解码方式上的局限性，促使团队设计了全新的WATERec模型。

1. 输入处理：任意形状自适应

• 摒弃固定缩放：WATERec不再强制将图片缩放至固定尺寸，而是保持原始宽高比进行缩放。
• 动态词块生成：将图片切分为4×4像素的视觉“词块”，数量控制在64至256之间。高窄图片词块少，宽扁图片词块多，从而保留字形比例，避免几何畸变。

2. 位置编码：旋转位置编码（RoPE）

• 相对位置感知：引入RoPE技术，通过坐标相关的旋转操作，使模型理解词块间的相对位置关系。
• 优势：无需预设固定尺寸，模型能自然适应不同形状输入，解决了传统位置编码在变长序列上的失效问题。

3. 解码策略：自回归（AR）逐字生成

• 顺序依赖建模：采用自回归解码器，逐字符生成文本。每生成一个字，均可参考前文上下文。
• 适用性：特别适用于竖排、螺旋等非常规阅读顺序的艺术字，显著提升了复杂排版下的识别准确率。
• 轻量化设计：模型包含6层视觉编码器与2层解码器，参数量仅约2600万，兼顾推理速度与精度。

四、 真实数据清洗：构建WATER-R训练集

除合成数据外，团队整合并清洗了现有真实数据集，构建WATER-R：
* 来源：合并Union14M-L、WordArt训练集及WAS-R数据集。
* 严格去重：执行严格的哈希去重，确保训练集与测试集无数据泄露，保证评估结果的公正性。
* 规模：最终包含3,225,130条文字实例，为模型提供了坚实的真实场景基础。

五、 实验结果：准确率突破90%，超越大型视觉模型

在WordArt测试集（A-Bench，1511张图片）及多个常规场景测试集（C-Bench, U-Bench）上，WATERec展现了卓越性能：

关键发现：
1. 数据比例最优：合成数据与真实数据比例约为2:3（200万合成 vs 320万真实）时效果最佳。过量合成数据（如300万）可能导致分布偏移，性能轻微下滑。
2. 泛化性强：WATER-S数据可提升SVTRv2、ABINet及SVTRv2-AR等多种架构模型的准确率（提升幅度+2.12%至+2.78%）。
3. 小模型胜过大模型：即使将Qwen3-VL-8B进行LoRA微调（准确率提升至84.78%），仍低于参数量仅为其3%的WATERec。这证明了专用架构+专用数据在特定任务上的压倒性优势。

六、 消融实验：设计决策的价值验证

• 位置编码：RoPE表现最佳（88.55%），优于无编码（49.57%）、绝对位置编码（87.69%）及正弦余弦编码（87.29%）。
• 词块范围：64-256个词块为最佳平衡点。下限设为1会导致小图识别率下降；上限扩展至512虽提升精度至88.82%，但推理速度从361 FPS降至191 FPS，故未采用。
• 可视化验证：任意形状模式下的特征图清晰保留了文字结构，而固定尺寸模式下的特征图因拉伸而严重扭曲，难以提取有效特征。

七、 多语言扩展：从英语到中文的迁移验证

研究团队验证了该框架在多语言环境下的适用性：
* 方法：替换底层文字语料库，生成中文、法文、俄文、德文、日文及阿拉伯文艺术字数据。
* 中文验证：在BCTR-Test测试集（101张中文艺术字）上，WATERec结合中文WATER-S数据后，准确率从87.13%提升至92.08%，远超通用大模型Qwen3-VL-8B的82.77%。
* 结论：WATER框架具有良好的跨语言迁移能力，非英语专属。

八、 总结与展望

复旦大学与腾讯的这项研究，系统性地解决了AI识别艺术字的难题。通过“双轨合成数据”弥补数据缺口，通过“任意形状输入+RoPE+自回归解码”重构模型架构，实现了从70%到90%+的跨越。

实际意义：
* 用户体验：提升手机扫描海报、名片、包装时艺术字识别的准确率。
* 行业应用：助力设计师与商家实现艺术字的自动化数字化与搜索。
* 科研价值：开放的代码与数据集为后续研究提供了坚实基础，包括多语言扩展及生成模型的迭代。

尽管手写体混淆（如"l"与"1"）及边缘装饰误读等挑战依然存在，但WATERec无疑为场景文字识别领域树立了一个新的标杆。

Q&A

Q1：WATER-S合成数据集是如何生成的？为何采用两种不同方法？
A：WATER-S由WATER-T和WATER-Z两个子集组成。
* WATER-T（工具渲染）：利用11,250款艺术字体及SynthWordArt引擎生成，字符内容与位置完全可控，标注准确率100%，但风格相对单一。
* WATER-Z（AI生成）：利用Qwen3-VL-8B提取风格提示词，再由Z-Image生成，风格多样且视觉自然，但存在约12.56%的标注噪声。
* 互补性：两者结合既保证了结构的准确性，又丰富了视觉风格，整体效果优于单一来源。

Q2：WATERec模型与普通文字识别模型的主要区别是什么？
A：
1. 输入自适应：支持任意宽高比输入，不强制缩放，避免艺术字字形畸变。
2. 位置编码：采用旋转位置编码（RoPE），有效感知不同形状图片中词块的相对空间位置。
3. 解码方式：采用自回归（AR）逐字解码，更好地处理竖排、螺旋等非常规阅读顺序。

Q3：WATERec与GPT等通用大型AI相比，谁的艺术字识别能力更强？
A：WATERec更强。
* 在WordArt-Bench上，WATERec准确率达90.40%。
* 通用视觉大模型（如Qwen3-VL-8B）仅为72.01%，即使经过专项微调也仅达84.78%。
* 专为OCR优化的HunyuanOCR最高为81.54%。
* 这表明在特定垂直领域，经过专门数据训练和架构优化的轻量级模型，往往优于通用大模型。

(责任编辑：探索)