⏶13
活化文化遗产：一种全面的历史文献修复新颖方法
发表
由 
Yuyi Zhang 提交
Yuyi Zhang 提交作者: Yuyi Zhang, Peirong Zhang, Zhenhua Yang, Pengyu Yan, Yongxin Shi, Pengwei Liu, Fengjun Guo, Lianwen Jin
摘要
历史文献是宝贵的文化遗产，但随着时间的推移，它们会因撕裂、水蚀和氧化而遭受严重退化。现有的历史文献修复（HDR）方法主要侧重于单一模态或有限尺寸的修复，未能满足实际需求。为了弥补这一空白，我们提出了一个全页HDR数据集（FPHDR）和一个新颖的自动化HDR解决方案（AutoHDR）。具体而言，FPHDR包含1,633张真实图像和6,543张合成图像，带有字符级和行级位置，以及不同损坏程度的字符标注。AutoHDR通过三阶段方法模拟历史学家的修复工作流程：OCR辅助的损伤定位、视觉-语言上下文文本预测以及补丁自回归外观修复。AutoHDR的模块化架构实现了无缝的人机协作，允许在每个修复阶段进行灵活的干预和优化。实验证明AutoHDR在HDR方面表现卓越。在处理严重损坏的文档时，我们的方法将OCR准确率从46.83%提高到84.05%，通过人机协作进一步提升到94.25%。我们相信这项工作代表了自动化历史文献修复的重大进展，并为文化遗产保护做出了巨大贡献。模型和数据集可在https://github.com/SCUT-DLVCLab/AutoHDR获取。
历史文献是无价的文化遗产，然而随着时间的推移，它们因撕裂、水蚀和氧化而遭受了严重退化。现有的历史文献修复（HDR）方法主要侧重于单模态或有限尺寸的修复，未能满足实际需求。为了填补这一空白，我们提出了一个全页HDR数据集（FPHDR）和一个新颖的自动化HDR解决方案（AutoHDR）。具体而言，FPHDR包含1,633张真实图像和6,543张合成图像，具有字符级和行级位置，以及不同损坏程度的字符标注。AutoHDR通过三阶段方法模拟历史学家的修复工作流程：OCR辅助的损坏定位、视觉-语言上下文文本预测和补丁自回归外观修复。AutoHDR的模块化架构实现了无缝的人机协作，允许在每个修复阶段进行灵活的干预和优化。实验证明了AutoHDR在HDR方面的卓越性能。在处理严重损坏的文档时，我们的方法将OCR准确率从46.83%提高到84.05%，通过人机协作进一步提升至94.25%。我们相信这项工作代表了自动化历史文献修复的重大进展，并为文化遗产保护做出了实质性贡献。模型和数据集可在此https URL获取。