TextCNN项目 P18 电商问答情感分析数据集整理
前面课程中,问题的多标签分类模型,我们已经做完了。这节课开始,正式进入“问题+回答”的情感分析模型部分。
这一部分的数据集,也是业务人员帮我们标注的数据,商品类别还是面霜,训练集是7k条,测试集是2k条。
模型分析
接下来,我们先简单分析一下,这个情感分析模型,和之前的问题分类有什么不同。其实很简单,就一点不同,问题分类的模型,是对一个句子做分类,而情感分析,是“问题+答案”两个句子的组合做分类。并且,情感分类的类别只有三个:好评、中评、差评,训练难度会更小。
Q:能美白吗? A:不能 -1 Q:能美白吗? A:还没开始用,不知道 0 Q:能美白吗? A:坚持用了三个月了,白了不少 1
同样的问题,搭配不同的答案,情感分析的类别也会有所不同。做情感分析的目的,就是通过搜集和分析一个问题的不同答案,统计出不同观念的比例,或者深挖某一类观点的细节,供业务方参考。
代码示例
复制文本分类项目,命名为:Pytorch_Bert_TextCNN_Sentiment,并导入数据集。
1、修改配置项
# config.py TRAIN_SAMPLE_PATH = './data/input/tb_question_answer_sentiment_7k.xlsx' TEST_SAMPLE_PATH = './data/input/jd_question_answer_sentiment_2k.xlsx' QUESTION_TEXT_LEN = 50 ANSWER_TEXT_LEN = 50 NUM_CLASSES = 3 ID2LABEL = ['中评', '好评', '差评']
配置项中的问题长度和答案长度参数,是随意给的一个值,还需要根据实际的数据集,验证参数值是否合理。
2、预处理,统计长度
# process.py import pandas as pd from config import * from utils import * def count_text_len(): question_text_len = [] answer_text_len = [] df = pd.read_excel(TRAIN_SAMPLE_PATH) print(len(df)) df.dropna(subset=['questionContent', 'answerContent', 'sentiment'], how='any', inplace=True) print(len(df)) for id, row in df.iterrows(): question_text_len.append(len(row['questionContent'])) answer_text_len.append(len(row['answerContent'])) print(len([i for i in question_text_len if i>50])) print(len([i for i in answer_text_len if i>50])) if __name__ == '__main__': count_text_len()
这节课,主要是给大家讲解了情感分析模型,和之前做的文本分类模型的不同,然后添加了几个配置项,下节课,就可以开始修改模型部分的代码了。
本文链接:http://ichenhua.cn/edu/note/570
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!