关于多标签长文本分类

[luckyhfzd]

问题描述

小白一枚，此前有尝试使用ernie_health做医疗行业多标签文本分类，但因模型有512长度限制，微调效果不佳。
需求：
标签数据大约有5W+，文本长度约2000至3000.
想了解下paddle是否有相关解决方案或示例，请大佬指点。感激不尽~！

[liuzhipengchd]

可以用pipline方式，把文本切分，训练多个ernie_health，然后把每个模型的输出结果concat，后面再接一个多分类的模型

[w5688414]

现在推荐使用大模型来做分类