商品评论情感分析：数据清洗、TF-IDF与逻辑回归的可视化实践

简介：面向计算机相关专业毕业设计场景的 Python 机器学习商品评论情感分析项目，整合源码、数据集、已训练模型与 GUI 界面，适合正在完成大作业、毕业设计或想上手 NLP 情感分析实战的学习者。资源共 43 个文件，压缩包约 66.66MB，以 Python 脚本为主体，含 14 个 py 文件覆盖数据预处理、模型训练、测试与绘图流程；配有多份 csv/xls 评论数据集、npy 词向量与 pkl/h5 格式的 SVM、LSTM 训练模型，以及 yml、xml 等配置与项目结构文件，目录划分清晰，方便按模块学习和复现。项目同时提供基于 SVM 与 LSTM 两条技术路线的完整实现，并带 GUI 主界面，可直观展示情感分析结果；还包含评论爬虫与文本预处理脚本，便于扩展真实数据测试。目前已有 80 人学习，适合需要可运行示例作为参考、快速搭建演示系统并理解模型调参与评估细节的同学。

1. 商品评论情感分析：一套能跑通全流程的毕设基座

商品评论情感分析这个题目，看着门槛不高，但真正能做到“数据清洗、模型训练、GUI演示一条链路都走得通”的代码包并不算多。这套资源把整条路都串好了：自带标注好的数据集、可以直接加载的模型文件、还有一个基于 Tkinter 的预测界面。你拿到手的最短路径是从界面粘贴一句话看到情感判断结果，而不是先啃一堆训练脚本。它适合两类人：一类是毕业设计选题还在犹豫、需要一个能讲清楚且能现场演示的完整项目的学生；另一类是学完机器学习基础、想看看一个模型怎么从 CSV 变成可交互产品的开发者。模型本身不复杂，但清洗规则、特征参数、线程处理这些细节，才是看起来简单、做起来容易翻车的部分。

2. 数据清洗与预处理：清洗规则比模型参数更影响结果

这份资源自带的数据集是 CSV 格式，起步两列：评论内容和标签。第一次打开先别急着跑训练脚本，用最简单的方式把数据摸一遍，这一步省不得。评论数据的字段名在不同来源里差别很大，有的叫comment，有的叫content，标签也有一段是字符串（“好评”“差评”）一段是数字（1/0）的情况。不先确认好，后面所有代码都要跟着改。

2.1 拿到数据集先做三件事

先看字段名、标签分布和文本样例，三件事一把梭：

import pandas as pd df = pd.read_csv('data/comments.csv', encoding='utf-8') print(df.columns.tolist()) # 字段名 print(df['label'].value_counts()) # 标签分布 print(df.head()) # 前五条文本

逻辑说明：第一行确认评论列是不是叫comment，如果叫content，后续所有apply就要改列名。第二行value_counts()看正负样本比例，如果差评占比不到 15%，后面训练就必须处理类别不均衡。第三行head()是人工扫一眼噪声类型：有没有 HTML 标签、有没有重复刷屏、评论长度大致在什么范围，这决定了清洗正则要写多重。

标签本身也值得检查一下：

df['y'] = df['label'].map({'好评': 1, '差评': 0}) df = df.dropna(subset=['y']) print(df['y'].value_counts())

参数说明：map把中文标签转成 0/1，转完如果出现 NaN，说明存在脏标签，比如“还行”这种中性词被标进了 label 列。直接dropna删掉，不要把中性样本混进二分类，否则模型永远学不清边界。

2.2 文本清洗的四步流程

中文电商评论的噪声集中在四类：复制粘贴残留的 HTML 标签、商品链接、夹杂的英文数字、多余空白。清洗顺序很重要，先处理结构性内容，再处理字符：

import re def clean_text(text): text = str(text) text = re.sub(r'<[^>]+>', '', text) # 1. 去 HTML 标签 text = re.sub(r'https?://\S+', '', text) # 2. 去 URL text = re.sub(r'[a-zA-Z0-9]', '', text) # 3. 去英文和数字 text = re.sub(r'\s+', ' ', text) # 4. 合并多余空白 return text.strip() df['clean_comment'] = df['comment'].apply(clean_text)

逻辑说明：先删标签和链接，再删英文数字。中文评论里的“iPhone15 掉电快”，英文字母和数字本身不含情感，删掉之后剩下“掉电快”，特征是干净明确的。反过来如果先删空白，标签里的属性值可能撕成碎片，正则就不好写了。最后strip()去掉首尾空格，避免同一个词因为尾部差异被拆成两个特征。

表情符号这里单独说一句。评论里“满意😊”和“辣鸡😡”，表情本身携带情感，但 Unicode 表情在经过 jieba 分词后通常被拆成乱码片段，留着只会制造噪声特征。常见做法是转成文本形式：

import emoji text = emoji.demojize(text)

转出来是:smiling_face:这种文本身份，可以被分词器当作一个完整 token。毕设场景做到这步就够了，不需要自己训练表情分类器。

2.3 中文分词与停用词表的取舍

分词用的是 jieba，这个库在中文短文本上的稳定性和可控性最好，而且不依赖额外模型文件，适合毕设场景。

import jieba stop_words = set() with open('data/stopwords.txt', 'r', encoding='utf-8') as f: for line in f: stop_words.add(line.strip()) def tokenize(text): words = jieba.lcut(text) words = [w for w in words if w not in stop_words and len(w.strip()) > 1] return ' '.join(words) df['tokens'] = df['clean_comment'].apply(tokenize)

逻辑说明：jieba.lcut返回词列表，拼回空格分隔字符串是为了下一步直接喂给TfidfVectorizer。停用词表里排除“的”“了”“就”这类高频无意义词，len(w.strip()) > 1顺手把单字过滤掉，单字在情感判断里几乎没有区分度。

停用词表不是越全越好，两个容易翻车的地方：第一，“很”“太”“超”这类程度副词不能进停用词表，“很好”和“好”在情感强度上完全不是一个级别，删了等于主动丢掉信息；第二，电商场景的“快递”“包装”要谨慎，“发货快包装好”是明确的好评信号，“快递慢包装破”是差评信号，这类词是否停用取决于任务目标，不是固定公式。

2.4 类别不均衡的快速处理方法

扫一眼value_counts如果发现差评只有几百条、好评有两千条，先不要上 SMOTE 过采样那套复杂方案。毕设场景性价比最高的做法是给模型加class_weight，让少数类在损失函数里自动获得更高权重：

from sklearn.linear_model import LogisticRegression model = LogisticRegression(class_weight='balanced', max_iter=1000)

参数说明：balanced模式下 sklearn 会根据各类别频率自动算权重，差评占比低就自动放大它的惩罚系数。这比手动过采样干净，因为过采样会复制少数类样本，容易在训练集里形成重复模式，测试集上看着好的指标，换个数据集就崩。先把class_weight='balanced'跑通拿一个结果，这应该是情感分析模型的第一个 baseline，而不是直接追深度学习。

3. 特征工程与模型训练：TF-IDF 配合逻辑回归的完整调参路径

这套资源里训练好的模型走的是 TF-IDF + 线性分类器的路线。第一次拆它的时候我也想过这个问题：都 2020 年代了，为什么不用 BERT？后来把数据集规模和应用场景摊开看，这个选型反而是最合理的。商品评论数据集通常在几千条的量级，这个规模下预训练模型带来的增益很有限，却要引入 GPU、显存、推理时间一整套新问题。

3.1 为什么这套资源选传统机器学习而不是 BERT

下面这个对比表可以直接写进论文或答辩 PPT，也解释了资源作者的选型逻辑：

表里值得注意是“可解释性”这一行。毕业设计答辩最怕被问“模型为什么这么判断”。TF-IDF 方案可以把每个词的权重直接打印出来，说清楚“因为‘难用’这个词权重最高，所以这条评论被判为差评”。BERT 在这个问题上很难给出同样直接的答案。另一个实际约束是时间，几千条数据做 TF-IDF，普通笔记本上从特征构建到训练结束三十秒内完成，改参数迭代的快感是深度学习给不了的。

这套资源的作者把模型文件也存好了，说明他走通了“训练 → 持久化 → 加载”这条链路。你拿到手要做的不是从零写模型，而是沿着他的路再走一遍，搞清楚每个参数为什么那么设。

3.2 TF-IDF 参数设定：max_features、ngram_range、min_df

特征构建是整条链路里参数最密集的环节，默认参数直接跑也能出结果，但效果会有明显落差：

from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer( max_features=5000, # 只保留最重要的 5000 个词 ngram_range=(1, 2), # 保留单词和双词搭配 min_df=2, # 词至少要出现在 2 条评论里 sublinear_tf=True # 词频用 1+log(tf) 平滑 ) X = vectorizer.fit_transform(df['tokens'])

参数说明：max_features=5000是最关键的一个值。中文分词后词表轻松破万，特征维度太高会带来两个问题：一是小样本条件下模型容易过拟合，训练集 98% 测试集 70% 就是这么来的；二是存储和推理变慢，GUI 里每个字符都要走一遍矩阵运算。ngram_range=(1, 2)让特征里同时出现“慢”和“发货慢”两种粒度，后者的情感强度明显更高，单看“慢”会误伤“发货慢但客服态度好”这种评论。min_df=2过滤只在一条评论里出现过的生僻词，这种特征对模型来说纯属噪声。

提示：max_features可以按数据量调整。数据在 3000 条以下建议 3000 到 5000，数据到万条以上可以提到 8000，但不是越高越好，要与数据量匹配。

接着切分训练集和测试集：

from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, df['y'], test_size=0.2, random_state=42, stratify=df['y'] )

stratify=df['y']这一行不要省。它保证训练集和测试集里正负样本比例一致，防止随机切分把差评样本都分进测试集，导致训练时没见过几条差评、测试时全错在差评上。

3.3 朴素贝叶斯与逻辑回归的对比实验

这套资源训练好的模型文件不止一个，说明作者做过多模型对比。推荐至少跑朴素贝叶斯和逻辑回归两个：

from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import accuracy_score, f1_score models = { 'naive_bayes': MultinomialNB(), 'logistic': LogisticRegression(class_weight='balanced', max_iter=1000), } for name, model in models.items(): model.fit(X_train, y_train) y_pred = model.predict(X_test) print(name, 'acc:', round(accuracy_score(y_test, y_pred), 4), 'f1:', round(f1_score(y_test, y_pred), 4))

逻辑说明：两个模型都跑，选 F1 高的那个作为最终模型。多校贝叶斯在短文本情感分类上经常表现不弱，而且训练速度比逻辑回归还快；逻辑回归在特征之间存在相关性时更稳。两种都跑的好处是你手上有了一组对比数据，论文实验章节可以直接用。

评估指标上不要只看准确率。情感分析场景里“把差评判成好评”比“把好评判成差评”严重得多，所以重点盯 F1 以及差评那一类的召回率。打印完整分类报告：

from sklearn.metrics import classification_report print(classification_report(y_test, y_pred, target_names=['差评', '好评']))

看差评行的 recall，如果低于 80%，说明大量差评被吞成了好评，需要回去调权重或补样本。

3.4 模型持久化：模型与向量器必须成对保存

训练完成后这两个文件要同时存下来：

import joblib joblib.dump(model, 'models/sentiment_model.joblib') joblib.dump(vectorizer, 'models/tfidf_vectorizer.joblib')

逻辑说明：sentiment_model.joblib存分类器，tfidf_vectorizer.joblib存向量器。预测时先用向量器把新文本转成和训练时完全一致的向量空间，再喂给模型。资源里已经带了训练好的模型文件，你重新训练后覆盖这两个文件即可，GUI 代码不需要改。

这里有个几乎每个人都会踩的坑：只保存模型，不保存向量器。等加载模型做预测时报“维度对不上”，才想起来特征空间没了。向量器和模型是两个文件，缺一不可。

4. GUI 界面封装：从模型文件到可点击的预测窗口

资源里自带的 GUI 是基于 Tkinter 做的。Tkinter 是 Python 标准库，不需要额外装 PyQt 那套重型依赖，机器上只要有 Python 就能跑，这对毕设演示很友好——答辩现场不会给你时间装环境。界面功能拆开看就三块：输入、结果展示、批量预测。

4.1 界面拆成三个区域：输入、结果、批量操作

主界面用Entry做单条输入，Label展示预测结果，Button触发预测。布局用 pack 从上往下排：

import tkinter as tk import joblib # 模型只加载一次 model = joblib.load('models/sentiment_model.joblib') vectorizer = joblib.load('models/tfidf_vectorizer.joblib') app = tk.Tk() app.title('商品评论情感分析') result = tk.StringVar() tk.Label(app, textvariable=result, font=('微软雅黑', 14)).pack(pady=10) entry = tk.Entry(app, width=40) entry.pack(pady=10) def predict(): text = entry.get().strip() if not text: result.set('请输入评论内容') return vec = vectorizer.transform([text]) proba = model.predict_proba(vec)[0][1] label = '好评' if proba >= 0.5 else '差评' result.set(f'{label} 信心值 {proba:.2f}') tk.Button(app, text='分析', command=predict).pack(pady=10) app.mainloop()

逻辑说明：模型加载写在mainloop()之前，只读一次磁盘。如果把它写进predict()函数，每次点击按钮都读一遍模型文件，界面会明显卡顿。predict_proba比predict多返回一个概率值，界面上显示“信心值 0.87”会比只显示“好评”更有说服力，演示效果好很多。

Entry组件只支持单行文本。如果想粘贴长评论，换成tk.Text组件，取值方式变成text.get('1.0', 'end').strip()，其他逻辑不用动。

4.2 模型加载时机与主线程阻塞

GUI 卡死是这个项目被问得最多的问题。现象是点“分析”按钮后窗口失去响应，过几秒才恢复。原因在于 Tkinter 是单线程模型，predict()在事件循环里执行，大批量预测时主线程被矩阵运算占满，界面刷新就被堵死了。

常见做法是把批量预测丢到子线程：

import threading def batch_predict_async(): result.set('分析中...') def worker(): # 这里放批量预测逻辑 result.set('完成，已导出结果') threading.Thread(target=worker, daemon=True).start()

逻辑说明：daemon=True保证主界面关闭时子线程自动退出，不会残留后台进程。细究的话，result.set在子线程里调用并不被 Tkinter 官方保证线程安全，但实测对字符串赋值没出现过崩溃。想更规范就通过app.after(0, lambda: result.set('...'))把更新调度回主线程，这样一个阻塞操作都不会卡界面。

4.3 批量预测与 CSV 导出

批量预测功能接收一个 CSV 文件，逐行预测后导出结果：

def batch_predict_file(filepath): df = pd.read_csv(filepath, encoding='utf-8') df['pred'] = model.predict(vectorizer.transform(df['comment'])) df.to_csv('output/result.csv', index=False, encoding='utf-8-sig')

参数说明：这里的细节在encoding='utf-8-sig'。省略-sig只写utf-8，CSV 文件在 Excel 里打开中文全部乱码，原因是没有 BOM 头，Excel 默认用 ANSI 解码。批量预测对单条预测也很有用：先用批量功能跑全量数据，把预测结果存下来，再用界面单独检查置信度低的样本。

5. 避坑记录：训练与部署阶段最常见的五个翻车点

这套资源从数据到界面链路完整，但你照着重新训练一遍，大概率会遇到下面五个问题。每一条都是实际跑代码时踩过的坑，不是从文档里抄出来的。

5.1 现象：模型预测结果全是“好评”

跑完训练拿测试集一看，所有样本都被判成好评，准确率看起来还挺高，因为测试集里本来就是好评居多。

原因：两类。最可能是差评样本占比太低，模型学会输出多数类就能拿到高准确率；其次是标签映射写反了，把“好评”映射成 0、差评映射成 1，模型学的东西和你想的正好相反。

解决：先打印value_counts()确认类别分布，再看训练时的y_train前几条是不是和 label 列对应。分布不均衡就加class_weight='balanced'，不要在数据层面硬造样本。映射写反这种低级错误，打印几条预测结果和真实标签一对比就看出来了。

5.2 现象：分词后特征维度爆炸，模型训练变慢

TfidfVectorizer用默认参数跑出来的特征矩阵有几万列，训练时间从秒级变成分钟级，F1 还不升反降。

原因：默认没有限制max_features，全部词都进特征空间。中文分词后“很好”“好”“好极了”全部是独立特征，其中有大量出现次数很少、对分类毫无帮助的词，纯属噪声。

解决：max_features设在 3000 到 8000 之间，min_df=2过滤低频词。特征量压缩到几千列后，训练速度回到秒级，F1 通常会不降反升，因为模型不再花精力拟合那些只在一条评论里出现的词。这是一个让数据说话的参数：特征维度不是越多越好，而是与样本量匹配最好。

5.3 现象：GUI 启动后卡在中途，按钮没反应

写了 GUI 界面后，点击“分析”按钮窗口就冻结，或者启动时长时间白屏。

原因：joblib.load和predict_proba是 CPU 密集型任务，丢在 Tkinter 的主线程里，事件循环被阻塞，界面无法重绘。另一个隐蔽原因是模型文件里存了不可序列化的自定义函数，加载时直接抛异常。

解决：大文件和重计算全部移到子线程，界面只负责显示结果。自定义函数不要混进模型管线，如果用到了自定义分词器，加载模型之前先确认自定义类在环境里可导入。最简单的验证方式是在命令行里先跑一句joblib.load('models/sentiment_model.joblib')，能秒加载再去做 GUI 接线。

5.4 现象：训练集准确率 98%，测试集只有 70%

训练和测试差距过大，第一反应是过拟合，但加正则、换模型都没用。

原因：很多情况下是预测链路和训练链路不一致。训练时文本经过了完整的清洗和分词，但 GUI 或测试脚本直接拿原始文本去vectorizer.transform，词表完全对不上。测试集里的词在特征空间里全是零向量，模型只能靠默认逻辑兜底。

解决：把“原始文本 → 预测结果”封装成一个函数，内部走一遍清洗、分词、向量转换、模型预测，保证训练和预测链路处处一致。从那以后我每次做这类项目，都会强制写出这个predict(text)函数，绝不在别的地方写第二套处理逻辑。

5.5 现象：换一台电脑加载模型报错

在开发机上训练好的模型文件，拷贝到别的机器加载失败。

原因：joblib或sklearn版本不一致。joblib序列化格式在小版本之间有兼容性风险，而老版本 sklearn 训练出的模型文件，新版本可能加载不了；反过来新版本训练的模型文件，老版本往往会出现不可读取。

解决：把依赖版本写进requirements.txt，比如scikit-learn==1.2.2、joblib==1.3.2。换机器第一件事是pip install -r requirements.txt而不是直接在全局环境跑。如果答辩现场无法安装依赖，带上一个运行环境打包版是最后的后悔药，但这个方案体积大、跨平台差，只建议作为备用。

6. 进阶用法：二分类升级为带置信度的三分类判断

把模型跑通只是第一步。资源里训练好的模型是标准二分类，预测结果只在“好评”和“差评”之间二选一。但实际上大量商品评论是“东西还行，快递这次有点慢”这种混合情绪，强行归到哪一边都不准确。这里有一个不需要重新训练就能升级模型的技巧：用predict_proba的输出概率做阈值拆解。

proba = model.predict_proba(vec)[0][1] if proba >= 0.8: label = '好评' elif proba <= 0.2: label = '差评' else: label = '中性'

逻辑说明：0.8 和 0.2 这两个阈值不是拍脑袋定的。可以在验证集上跑通后，把predict_proba输出的概率值存下来，画出好评和差评各自的概率分布直方图，看两类分布的重叠区间在哪里。重叠比较大的位置就是阈值设在 0.7 还是 0.8 的决策依据。这个技巧让模型从二分类变成三分类，中间“中性”区间专门承接不确定样本，实测误判率明显下降。

置信度输出还可以用来做数据筛选。批量预测结果里，凡是被判到 0.4 到 0.6 之间的评论，大概率是标注不清晰或文本本身信息不足，拿出一部分人工复核，标注修正后再加入训练集，这是回归优化阶段的持续数据来源：

df['proba'] = model.predict_proba(vectorizer.transform(df['comment']))[:, 1] uncertain = df[(df['proba'] > 0.35) & (df['proba'] < 0.65)] uncertain.to_csv('output/uncertain_review.csv', index=False, encoding='utf-8-sig')

验证方面，别只盯着准确率这一个数字。打印一次混淆矩阵，重点看差评被误判成好评的格子上：

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay cm = confusion_matrix(y_test, y_pred) ConfusionMatrixDisplay(cm, display_labels=['差评', '好评']).plot()

如果这个误判格子明显偏高，说明模型对负面表达的识别偏弱，优先补充差评样本比增加总样本量更有效。这个结论可以直接写进论文的“实验分析与改进”章节，比一句“准确率达到 85%”有说服力得多。

从那以后，我每做一个情感分析类的项目，都会强制自己在交付前走一遍完整的验证链路：重新切分数据、打印分类报告、画混淆矩阵、人工抽查十条置信度最低的样本，确认模型到底是“会判断”还是“碰运气”。这套资源和这份拆解笔记，希望帮到你。

本文还有配套的精品资源，点击获取