用DistilBERT LoRA与TF-IDF基线做IMDb情感分析:校准、可解释性与半监督学习
本教程基于Stanford IMDb数据集构建端到端情感分析流程,对比TF-IDF逻辑回归基线与LoRA微调的DistilBERT。模型评估涵盖准确率、macro-F1、ROC-AUC及期望校准误差,并分析置信错误、长度影响与词级遮挡显著性。最后利用未标注IMDb数据做置信度伪标注,比较半监督模型与基线,保存合并后的Transformer用于推理。
推荐理由:从 TF-IDF 基线到校准和截断分析,教程展示了评估情感模型短板的方法,可用于自己的分类项目。
