上节课，修改了配置文件中的样本路径，接下来，继续修改数据加载流程。这份数据集作者比较贴心，提供数据不仅是字符标签一对一的，而且连句子都拆分好了，空行表示一句的结束。之前项目里面，按50个字拆分句子的逻辑就不需要了，这节课重点修改这部分代码。

代码示例

1、分类型加载文件 

内容不可见，请联系管理员开通权限。

2、按空行断句 

内容不可见，请联系管理员开通权限。

3、修改加载方法 

内容不可见，请联系管理员开通权限。

4、调用测试

Python高版本，next()方法有改动。 

内容不可见，请联系管理员开通权限。

这节课，主要是修改了数据加载的方法，依托数据集的优势，替换掉了之前自己拆分句子的逻辑，可以看出前面数据集处理的好，后面用起来就更方便了。

本文链接：http://ichenhua.cn/edu/note/615

版权声明：本文为「陈华编程」原创课程讲义，请给与知识创作者起码的尊重，未经许可不得传播或转售！