0
点赞
收藏
分享

微信扫一扫

数据预处理(中文论文PDF)

前程有光 2022-01-04 阅读 25
python

思路:

1、PDF转txt,Python库包pdfminer,效果挺差的,很多字母都识别不出来;

2、PDF2TXT软件,效果没那么差,字母在,但是格式很不好处理;

3、PDF2doc,网站好用,转出来的doc格式几乎一致,不过感觉人工转有些费劲,Python库包PDF2docx效果不大好,会乱;

4、试着解析doc,若效果好则再进行后续

5、发现很多PDF都是图片格式,则PDF2doc也不能使用了,需要用OCR识别,使用pdfconv

GitHub - xieyan0811/pdfconv: 中文PDF转TXT的实用工具https://github.com/xieyan0811/pdfconv效果尚可,初步决定使用这个,在数学公式部分识别不好

6、问题在于如何标注分割论文正文各功能结构(章节)部分。

7、一个txt要做哪些处理:删除空行,去掉正文以外的部分,去掉行内空格,分割得到结语;换行符替代为~,正则表达式匹配目标字符串,然后分割正文部分写入Excel

 

 

8、得到章节标题对应的文本,正则表达式匹配出很多干扰内容,需要人工删除非章节标题部分,然后用代码将正确的部分合在一起,由于数学公式识别效果一般(会识别出不合理不通顺的中文或英文),文本语料不算是上乘文本

 

 

举报

相关推荐

0 条评论