白翔：ECCV 2022 | 白翔团队提出CAN：手写数学公式识别新算法

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—> CV 微信技术交流群

转载自：CSIG文档图像分析与识别专委会

本文简要介绍ECCV 2022录用的论文“When Counting Meets HMER: Counting-Aware Network for Handwritten Mathematical Expression Recognition”的主要工作。该论文旨在缓解目前大部分基于注意力机制的手写数学公式识别算法在处理较长或者空间结构较复杂的数学公式时，容易出现的注意力不准确的情况。本文通过将符号计数任务和手写数学公式识别任务联合优化来增强模型对于符号位置的感知，并验证了联合优化和符号计数结果都对公式识别准确率的提升有贡献。相关代码已开源，地址见文末。

一、研究背景

OCR技术发展到今天，对于常规文本的识别已经达到了较高的准确率。但是对于在自动阅卷、数字图书馆建设、办公自动化等领域经常出现的手写数学公式，现有OCR算法的识准确率依然不太理想。不同于常规文本，手写数学公式有着复杂的空间结构以及多样化的书写风格，如图1所示。其中复杂的空间结构主要是由数学公式独特的分式、上下标、根号等结构造成的。虽然目前的OCR算法能较好地识别水平排布的常规文本，甚至对于一些多方向以及弯曲文本也能够有不错的识别效果，但是依然不能很好地识别具有复杂空间结构的数学公式。 

图1 手写数学公式示例

二、研究动机

现有的大部分手写数学公式识别算法采用的是基于注意力机制的编码器-解码器结构，模型在识别每一个符号时，需要注意到图像中该符号对应的位置区域。在识别常规文本时，注意力的移动规律比较单一，往往是从左至右或从右至左。但是在识别数学公式时，注意力在图像中的移动具有更多的可能性。因此，模型在解码较复杂的数学公式时，容易出现注意力不准确的现象，导致重复识别某符号或者是漏识别某符号。

为了缓解上述现象，本文提出将符号计数引入手写数学公式识别。这种做法主要基于以下两方面的考虑：1）符号计数（如图2(a)所示）可以隐式地提供符号位置信息，这种位置信息可以使得注意力更加准确（如图2(b)所示）。2）符号计数结果可以作为额外的全局信息来提升公式识别的准确率。 

图2 （a）符号计数任务；（b）符号计数任务让模型拥有更准确的注意力

三、方法简述

模型整体框架：如图3所示，CAN模型由主干特征提取网络、多尺度计数模块（MSCM）和结合计数的注意力解码器（CCAD）构成。主干特征提取网络采用的是DenseNet[1]。对于给定的输入图像，主干特征提取网络提取出2D特征图F。随后该特征图F被输入到多尺度计数模块MSCM，输出计数向量V。特征图F和计数向量V都会被输入到结合计数的注意力解码器CCAD来产生最终的预测结果。 

 图3 CAN模型整体框架

多尺度计数模块：在人群计数等任务中，部分方法采用弱监督的范式，在不需要使用人群位置标注的情况下预测人群密度图。本文借鉴了这一做法，在只使用公式识别原始标注（即LaTeX序列）而不使用符号位置标注的情况下进行多类符号计数。针对符号计数任务，该计数模块做了两方面独特的设计：1）用计数图的通道数表征类别数，并在得到计数图前使用Sigmoid激活函数将每个元素的值限制在(0,1)的范围内，这样在对计数图进行H和W维度上的加和后，可以直接表征各类符号的计数值。2）针对手写数学公式符号大小多变的特点，采用多尺度的方式提取特征以提高符号计数准确率。 

图4 多尺度计数模块MSCM

结合计数的注意力解码器：为了加强模型对于空间位置的感知，使用位置编码表征特征图中不同空间位置。另外，不同于之前大部分公式识别方法只使用局部特征进行符号预测的做法，在进行符号类别预测时引入符号计数结果作为额外的全局信息来提升识别准确率。 

图5 结合计数的注意力解码器CCAD

四、实验结果

在广泛使用的CROHME数据集以及新出现的HME100K[2]数据集上都进行了实验并与之前的最优方法做了比较。如表1和表2所示，可以看出CAN取得了目前最高的识别准确率。此外，使用经典模型DWAP[3]作为baseline得到的CAN-DWAP以及使用之前最优模型ABM[4]作为baseline得到的CAN-ABM，其结果都分别优于对应的baseline模型，这说明本文所提出的方法可以被应用在目前大部分编码器-解码器结构的公式识别模型上并提升它们的识别准确率。

表1 在CROHME数据集上的结果

表2 在HME100K数据集上的结果 

图6 在CROHME数据集上DWAP和CAN-DWAP的识别结果展示

对于模型各部分带来的提升，本文做了消融实验。如表3所示，加入位置编码、将两种任务联合优化以及融合符号计数结果进行预测都能提升模型对于手写数学公式的识别准确率。此外，为了验证采用多尺度的方式提取特征的有效性以及研究符号计数结果对于公式识别准确率的影响，本文做了实验进行验证。如表4所示，使用大小不同的卷积核提取多尺度特征有助于获得更高的符号计数准确率。并且计数结果越准确，对公式识别的提升也越大。表5则展示了当使用符号计数的GT（Ground Truth）时对于模型识别准确率的提升。

表3 模型各部分带来的提升 

表4 计数模块中卷积核大小的影响 

表5 符号计数结果对公式识别准确率的影响 

符号计数对于公式识别有促进作用，那么反过来公式识别能否提升符号计数的准确率呢？本文对这一问题也做了探讨，实验结果和符号计数可视化结果如表6和图7所示，可以看出公式识别任务也可以提升符号计数的准确率。本文认为这是因为公式识别的解码过程提供了符号计数任务缺少的上下文语义信息。

表6 公式识别对符号计数准确率的影响 

图7 符号计数结果及计数图可视化

五、文本结论

本文设计了一种新颖的多尺度计数模块，该计数模块能够在只使用公式识别原始标注（即LaTeX序列）而不使用符号位置标注的情况下进行多类别符号计数。通过将该符号计数模块插入到现有的基于注意力机制的编码器-解码器结构的公式识别网络中，能够提升现有模型的公式识别准确率。此外，本文还验证了公式识别任务也能通过联合优化来提升符号计数的准确率。

相关资源

论文地址：https://arxiv.org/pdf/2207.11463.pdf

代码地址：https://github.com/LBH1024/CAN

参考文献

[1] Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K.Q.: Densely connected convolutional networks. In: Proc. of IEEE Intl. Conf. on Computer Vision and Pattern Recognition. pp. 4700–4708 (2017)

[2] Yuan, Y., Liu, X., Dikubab, W., Liu, H., Ji, Z., Wu, Z., Bai, X.: Syntax-aware network for handwritten mathematical expression recognition. In: Proc. of IEEE Intl. Conf. on Computer Vision and Pattern Recognition. pp. 4553–4562 (2022)

[3] Zhang, J., Du, J., Dai, L.: Multi-scale attention with dense encoder for handwritten mathematical expression recognition. In: Proc. of Intl. Conf. on Pattern Recognition. pp. 2245–2250 (2018)

[4] Bian, X., Qin, B., Xin, X., Li, J., Su, X., Wang, Y.: Handwritten mathematical expression recognition via attention aggregation based bi-directional mutual learning. In: Proc. of the AAAI Conf. on Artificial Intelligence. pp. 113–121 (2022)

---

原文作者:Bohan Li, Ye Yuan, Dingkang Liang, Xiao Liu, Zhilong Ji, Jinfeng Bai, Wenyu Liu and Xiang Bai

撰稿：李泊翰  编排：高 学

审校：连宙辉 发布：金连文

点击进入—> CV 微信技术交流群

CVPR 2022论文和代码下载

后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

OCR 交流群成立扫描下方二维码，或者添加微信：CVer6666，即可添加CVer小助手微信，便可申请加入CVer-OCR 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。一定要备注：研究方向+地点+学校/公司+昵称（如OCR‍‍‍‍‍‍‍‍‍+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信: CVer6666，进交流群CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！▲扫码进群▲点击上方卡片，关注CVer公众号整理不易，请点赞和在看