TextBlob vs. zero-shot vs. few-shot vs. QLoRA fine-tuned Qwen — real benchmark numbers from the source project's evaluation runs.
评论智能分析 · 中文餐厅评论基准
基于美团点评 ASAP 数据集（46,730 条真实评论），对比 TextBlob 规则基线、Zero-shot LLM、Few-shot LLM 与微调 Qwen2.5-1.5B（QLoRA）在情感、评分、维度识别与运营字段上的表现。
数据说明
所有指标直接来自 reports/baseline_results.json 与 baseline_results_yelp.json——200 样本 ASAP 中文测试集 + 200 样本 Yelp 英文跨语言验证集的真实运行结果。
| 方案 | 情感 F1 | 评分 MAE | 维度 F1 | JSON 有效率 | 延迟 |
|---|---|---|---|---|---|
| TextBlob（规则基线） | 0.111 | 1.20 | 0.000 | 100% | <1ms |
| Zero-shot LLM | 0.701 | 0.42 | 0.662 | 100% | 1331ms |
| Few-shot LLM | 0.757 | 0.43 | 0.658 | 100% | 1368ms |
| 微调 Qwen2.5-1.5B（QLoRA） | N/A（见运营字段） | — | — | 100% | 1093ms |
TextBlob 是纯英文规则库，在中文评论上情感 F1 只有 0.111（接近随机），验证了「规则方法有很强的语言依赖」；LLM 方案（zero/few-shot）不依赖语言特定规则，F1 达到 0.70+。
情感/评分/维度识别在 ASAP 中已有 gold label，微调模型专门针对 DeepSeek 生成的银标签（problem_type / action_priority / operator_action）做训练，这是 baseline 无法直接输出的字段。
问题类型准确率
65%
优先级准确率
74%
建议动作准确率
65%