整理网页资料加入App的流程
编者：李国帅
时间：2019/11/11
起因:
以前收集了一些电子图书，后来学了android编程，就像把它们放到app里，自己有时间的话就会翻翻，比起直接看txt应该好很多。
步骤：
网上的资料很多都是html的形式，需要格式化才能放到app。这需要一个流程，我就是按照下面的流程来做的。
说明：
1、下载。
首先我们不管爬的网页，还是下的chm书，都会是html的形式。
2合并。
我们可能一次下载成千上万的文章，这时候，就需要进行分门别类的进行合并，这样处理起来才会更方便。
3、提出html标记。
把那些无用的标记去除，但是注意：一个笑话可能有标题，需要对标题和内容使用特殊符号标出来。
4、除杂。
从上面步骤获取的文件依然有很多乱七八糟的符号文字，依然出需要整理。
5、断句处理。
走到这一步，基本上文章已经定型，只需要做一些修饰处理了。
因为html格式的原因，会有一些句子还没有结束就直接换行了。所以需要判断一句话是否结束，如果不是以？。这些符合结束的，又不是标题，可以合并这一行。
6、文件格式化
对文件进行格式化，让程序能够判断一个文件中，那些是标题，那些是内容。
如果资料很多，那些没有标题的文章可以舍弃，因为开发者不是编辑。
7、文字审查
对文件进行简单审查，抛弃那些不完整，重复，低俗的内容。
8、入库。
编写一个小程序，把txt中的文章一个个的存入sql数据库中。
9、排错
使用数据库查询语句删除那些不符合要求的文章，删除重复的文章。
10、加密
放入程序之前，可以使用数据库加密工具进行简单加密。
主要方法：
文本正则式处理。
编写简单程序，进行字符串处理。
Sql语句删除重复。
处理原则
基于所处理的文章都非常小，对段落和句子的区别要求很松，所以既可以一句一段，也可以只使用一个段落。这一点在处理的可以节省很多时间。
同时这些程序只是整理而不是创作，并且资料量很大，所以没有必要对每个文章进行审核，觉得不合适的部分可以进行抛弃，没必要编辑和润饰，毕竟不是编辑人员。
App共享：
有兴趣可以直接问我要。
微云
格言卡片
https://share.weiyun.com/58k0SSr
笑话大全
https://share.weiyun.com/5eZlO1r
阿凡提故事
https://share.weiyun.com/5dCta3O
百度网盘
阿凡提故事
https://pan.baidu.com/s/1duH0pmOY-zaCmdImRAN8YA
格言卡片
https://pan.baidu.com/s/1yFNl5Sx0SBoWzMnkS17JSw
笑话大全
https://pan.baidu.com/s/1zy3QHNxGgZ2aZwdTRrhubA
