文本分类的训练、推理
基于transformers包,huggingface的社区,streamlit的界面。简单记录当前的内容。
文本分类训练的说明
文本分类训练
训练标签与ID的对应关系和训练进度条的展示,保存最佳模型,用于后续的推理。
精度折线图和精度
文本分类推理
输出分类结果类别以及名称
PLAN迭代训练
- 使用小量数据训练模型,得到初始模型A
- 使用模型A,对数据进行标注,标注时使用阈值筛选分数较大的部分,这部分简单做了个实验,简单证明了一下可行性。阈值从0到0.9的效果,一个是分数一个是数量。
- 使用标注后的数据,对原有数据进行补充,对原有模型重复进行训练,暂未定好训练的方式,得到模型B。
- 使用模型B再反复进行以上的操作