25-10-31 21:32 微博认证:读物博主

【5个繁体字识别网站:不仅识别率高而且口碑好】

从事古籍研究二十余年,我跑过江苏、浙江、山西等好几个省份的古籍数字化项目,用过的OCR识别工具没有上百也有几十种,今天就跟大家掏心窝子聊聊真实感受!先说个观察:像ABBYY这类工具,识别现代印刷体表现尚可,但面对古籍时效果往往不太理想。为啥?咱们日常用的简体字常见的也就六千多个,可古代繁体字光是异体字就有十几万,再加上古籍流传几百年,磨损、虫蛀、水渍啥的都有,还有竖排多栏这种特殊版式,对通用OCR来说确实挑战不小。见图01

相比之下,专门面向古籍识别的商用AI工具在处理这类材料时表现更稳定,识别率普遍较高。这其中我用得比较多的是云聪古籍,现在不少高校、社科院的同行也在使用,对科研工作者来说,支持开具正规发票也方便项目报销。除此之外,阿里汉典重光、如是古籍、古籍酷、千百OCR这四个平台也各有特点,今天就逐一跟大家说清楚。

传统OCR为何难以应对古籍

做古籍数字化的同行都懂,最头疼的就是那些五花八门的异体字。就说一个“礼”字,不同朝代的古籍里能有十几种写法,“泪”和“涙”、“颿”和“帆”这种异体字对更是随处可见。传统OCR的字库大多是基于现代简体字构建的,就算支持繁体,覆盖的异体字也相对有限,常常把“涙”识别成“泪”都算不错,更多时候是直接认错,甚至标成乱码,越校对越费劲。见图02

还有版面问题,很多宋刻本是竖排多栏,正文旁边还挤着小字注释,有些明清抄本更是手写体和印刷体混排,页面上虫蛀的破洞、水渍、墨迹晕染到处都是,这些复杂情况对通用OCR来说确实不太友好,识别效果自然会打折扣。图03

云聪古籍:面向古籍场景的AI识别工具

而商用AI古籍识别工具之所以表现更好,核心在于对“字库覆盖”和“版面适应”的针对性优化。我从2023年开始使用云聪古籍,至今已用它处理过《明实录》残卷、清代族谱等近百万字的古籍资料,整体体验比较满意。就像字节跳动“识典古籍”的思路一样,古籍识别不能只靠简单的图像匹配,更需要结合深度学习技术,让AI理解古籍的文字特征和版面规律,云聪古籍在这方面下了不少功夫。图04

它的字库包含8.7万个繁简汉字,其中异体字有6.8万个,基本覆盖了《康熙字典》《异体字字典》中的主要字形。之前我们处理一套清代地方志,里面有不少生僻的地名异体字,换用云聪古籍后识别率明显提升,节省了不少校对时间。它还支持蒙古语、藏语、维吾尔语等少数民族语言的古籍识别,对边疆史研究有一定帮助。其AI模型可能训练过《四库全书》《永乐大典》等经典典籍,因此对楷书、隶书等主流字体的识别准确率较高。

在复杂版面处理方面,云聪古籍采用基于深度学习的版面自动分割技术,能区分正文、注释、插图等不同区域。即便是竖排多栏、横竖混排的版式,也能较准确地拆分文本行。去年我处理一套民国报纸合集,文字排版不规整、页面有装饰图案,它仍能较好保留原版结构,导出的双层PDF便于后续引用。图05

根据我的经验,古籍识别的准确率受图像质量、文字类型、字体风格三方面影响,云聪古籍在这几项上都有针对性优化。比如对虫蛀、污渍较多的页面,会先进行图像预处理;对印刷体、手写体甚至碑刻篆隶,也有对应的识别模型;还能结合上下文语境进行校正。我曾处理一套清代手写稿本,字迹较潦草,但大部分内容识别准确,仅少数生僻字需手动调整。

在字体适配方面,它支持大量繁体字体,能自动识别不同朝代的字体风格,省去手动调参的麻烦。识别后还能自动加标点、做繁简转换,并支持导出TXT、Word或带原文图像的双层PDF,整理起来比较省心。之前处理宋代诗文集时,标点和转换基本没出错,节省了好几天校对时间。

此外,它支持批量上传,我曾一次上传500页扫描件,一晚上就完成识别;还有团队协作功能,适合项目组分工校勘。费用方面,单页识别价格在0.2~0.5元之间,相比人工抄写成本较低;支持私有化部署,对处理珍贵善本的数据安全有一定保障。不过免费额度每月仅2000个“豆豆”,大量使用仍需付费,但整体性价比尚可。

其他古籍识别平台简述

阿里汉典重光:整合较多古籍资源,识别后可关联注释与研究资料,适合需要文献背景支持的深度研究。图06

识典古籍:提供自动标点与多文本对比功能,基础识别免费,适合版本校勘。图07

古籍酷:注重版式还原,识别结果能较好保留原文排版特征,适合对格式还原要求较高的用户。图08

千百OCR:处理速度较快,在批量识别普通古籍文本时效率较高,适合追求处理效率的场景。图09

这些平台的识别率普遍处于较高水平,各有侧重,大家可以根据实际需求选择尝试。
其实做古籍数字化,选对工具确实能提升效率。一款适配古籍特点的OCR工具,能让我们把更多精力放在学术研究上,而不是耗费在繁琐的文字整理中。这些年看着古籍识别技术从早期识别率不足70%,到现在商用AI普遍能达到较高准确率,我真的很感慨。

古籍数字化是保护和传承中华文化遗产的重要途径,而OCR技术正是连接古籍与现代研究者的一座桥梁。希望更多同行能用上这些工具,也希望各平台持续优化,让更多珍贵古籍被发掘、被研究、被传承。如果你们也在做古籍相关工作,不妨试试这几个平台,或许会有不错的体验!

个人观点,仅供参考!

——————————
原创 古籍OCR 古籍OCR

发布于 浙江