TextCNN项目 P17 验证组合模型效果并调参
到目前为止,我们的模型已经封装完了,但还有一个遗留问题,就是在开篇讲到的,我们先做多分类,再做单标签兜底的这个方案,是为了提高模型整体的效果。那这节课,我们就用封装之后的这个模型,再来对测试集做一次预测,看这个组合模型的效果,有没有变好。
代码示例
1、读取文件
内容不可见,请联系管理员开通权限。2、分段读取数据
内容不可见,请联系管理员开通权限。
3、预测标签
内容不可见,请联系管理员开通权限。
4、对比计算准确率
内容不可见,请联系管理员开通权限。
5、完整代码
内容不可见,请联系管理员开通权限。
最终的模型准确率为:0.8095,终于到了0.8以上,但跟之前多标签分类的模型对比,效果只是略有提升。所以我对 CLS_PROB_BAR 参数,进行了进一步的调整,结果如下:
内容不可见,请联系管理员开通权限。
我们发现阈值调大,模型效果会变好,到一定程度后,又会拐头向下。原因是单标签的模型,只是对多标签判断为空时的一个补充,如果阈值太小,多标签判断为空的情况就少,单标签的补充模型就没有太大的施展空间,但大到一定程度之后,应该判断为多标签的,也判断不出来时,整体准确率就会下降。另外,我们这个数据集,单标签的情况居多,所以,这个阈值可以设得相对大一些。
通过以上比较,我们选择0.9这个阈值,作为最终的参数,当然,在0.7-0.95之间,还有没有更好的效果,大家有兴趣可以自己去尝试。这里只是提供一个思路,大家遇到类似场景的时候,可以参考这个方案,去进一步的调参。
那到目前为止,多标签的改造这个功能,就彻底结束了。下节课开始,给大家补充一个“问题+答案”的情感分析模型,方便在第三阶段做整体的商品问答分析可视化。
本文链接:http://ichenhua.cn/edu/note/569
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!