06 基于ERNIE-AA模型的诉求文本分类技术

高永兵,李春灿,郑伟业,姜春光

• 1:内蒙古科技大学信息工程学院

• 2:中冶西北工程技术有限公司市政设计研究院

• 
  

摘要(Abstract)：

12345市民服务热线中汇集了大量的市民诉求，对这些诉求文本进行分类能够有效地提高市民服务热线的办事效率。为了快速且精准地对诉求文本进行分类，提出一种融合了人工注意力机制的ERNIE-AA模型。该模型将人工分类时的启发式规则通过人工注意力机制引入ERNIE模型的输入表示，通过预训练模型增加影响分类的关键词的注意力权重。实验结果表明：ERNIE-AA模型在诉求文本数据集上具有良好的表现，分类准确率可达86.71%。

关键词(KeyWords)： 诉求文本;文本分类;ERNIE模型;人工注意力机制

基金项目(Foundation): 内蒙古自治区自然科学基金(2021LHMS06004)

作者(Author): 高永兵,李春灿,郑伟业,姜春光

DOI: 10.16559/j.cnki.2095-2295.2024.01.006