建议文本处理添加去重复行

动作需求 · 699 次浏览

呆大师创建于 2021-09-02 15:38

在文本处理的模块中添加去重复行的模块，在别人网页上采集一些内容的时候，会出现相似或者相同的段落，例如aaaaa，bbbbb，aaaaa，ccccc，将其中的重复去除。

CL 2021-09-02 15:44

用这个子程序：

呆大师 2021-09-02 16:01 :

感谢