技术发布 | 一款汉文敦煌文献专用的人工智能OCR引擎！-ai论文润色

>>> 1. AI论文免费大纲 10分钟3万字! >>> 2. 免费AI论文写作润色! >>> 3. 学术导航推荐

一

缘起

敦煌文献发现于1900年，至今已有120余年。百年来，各国学者通过对敦煌遗书、敦煌莫高窟及相关文献、文物的深入研究，在世界上创建了一门新的学问——敦煌学。敦煌文献中蕴含了古代世界四大文化、六种宗教的信息，它的面世与研究，促成了敦煌学在20世纪成为世界的显学。

随着互联网、人工智能等数字技术的发展，敦煌文献数字化，即利用数字技术来保护、整理与研究敦煌文献，已经成为敦煌文献研究工作的重要方向。古籍数字化过程中，非常重要的一项工作是古籍文本的数字化，这是古籍真正融入数字社会的基础。

2021年8月，如是研究院与方广锠教授、释定源法师所在团队交流、探讨了汉文敦煌文献数字化方面的工作。研究院提出训练一款针对汉文敦煌文献的人工智能OCR引擎，以促进敦煌文献数字化工作。敦煌OCR引擎的研发工作得到了方老师团队的大力支持，也得到了如是研究院人工智能OCR技术合作方，即华南理工大学金连文老师团队的大力支持。

二

数据标注

为了训练这款敦煌OCR引擎，研究院与方老师团队合作挑选了5000张具有代表性的敦煌图片，包括4600张楷书，400张草书和行书（以草书为主），之后与金连文老师团队合作进行了敦煌数据标注工作。

敦煌文献大部分是手写体，还包括部分的草书和行书，版式也不规范。相比雕版古籍而言，它的标注工作要复杂很多。为了规范、有效地开展敦煌数据标注工作，研究院专门成立了敦煌数据标注项目组，由校对部副部长王金雷任项目经理，以研究院的人工智能OCR技术和如是古籍数字化生产平台为依托，从社会上招募了一批专职校对员进行标注。

数据标注主要包括切分标注和文字标注。切分标注从2021年12月16日启动，至2022年2月16日完成切分校对、审定，历时2个月，参与人数达23人。

文字标注要复杂很多。敦煌古籍中异体字的现象很普遍，“今”字常常写作“𫝆”，“若”字常常写作“𠰥”，虽然字形非常相似，但仍属于不同的计算机文字。我们采用通字校对的原则进行校对（即采用与图片字最接近的计算机文字进行校对，如：今与𫝆作为两个不同的字），就需要把它们区分开来。另外，400页的草书和行书，还需要找懂得书法的专门人才进行校对，因此文字标注也分成了楷书和行草书两个小组分开进行。楷书文字标注从2022年2月23启动，至6月20日完成文字校对、审定，历时近4个月，参与人数达28人。行草书文字标注从4月8日启动，至7月7日完成文字校对、审定，历时近3个月，共4人参与。

图1 敦煌数据标注的甘特图

参与数据标注的人员包括佛教僧人和居士、敦煌爱好者、在校学生、退休教师、在职人员等等。在他们的参与和帮助下，研究院得以顺利完成了敦煌数据的标注工作。

三

引擎训练及测试

OCR文字识别技术有字符级（简称字引擎）和文本行级（简称行引擎，在古籍中又叫列引擎）两种类型，OCR的文字识别过程又可分为切分和识别两个步骤，加上训练数据可分为楷书、草书两类，因此，总的引擎分类如下表：

表1 敦煌OCR引擎分类

单独的字引擎或列引擎都可以实现文字识别的目的。为了更好地辅助人工校对，如是研究院的OCR技术采用的是双引擎模式，针对同一个文字，会利用字引擎、列引擎分别处理给出识别结果，计算机结果以字引擎为准，列引擎结果供参考。

（一）切字引擎

敦煌切字引擎是在已有的古籍通用标注数据基础之上，加入敦煌切分标注数据进行调整训练而得到的，切字引擎没有对楷书和草书进行区分。2022年2月27日，研究院将敦煌切分标注数据交付给金连文老师团队，开始进行切字引擎的训练。3月1日，金老师团队反馈第一次训练结果。随后我们对引擎进行了测评，针对发现的问题（包括漏切、多切或者切分得不太理想等）进行讨论，然后重新训练。期间，由于标注数据、引擎训练等种种问题而进行重新训练，前后迭代了5次，至5月15日，敦煌切字引擎达到预期水平。详情可参看《敦煌OCR引擎工作进展》。