• 中国核心期刊(遴选)数据库收录期刊
  • 中文科技期刊数据库收录期刊
  • 中国学术期刊(光盘版)收录期刊
  • 中国人民大学报刊资料数据库收录期刊
  • 中国学术期刊综合评价数据库统计源期刊
  • 中国台湾华艺数据库收录期刊

情报探索 ›› 2024, Vol. 1 ›› Issue (6 ): 1-.

• 理论探索 •    

基于BERT-Graphormer的中文专利文本分类模型研究

  

  1. (福州大学经济与管理学院 福建福州 350000)

  • 出版日期:2024-06-15 发布日期:2024-07-08
  • 作者简介:李永忠(1963—),男,硕士研究生,副教授,硕士研究生导师,主要研究方向为电子政务与自然语言处理,已发表学术论文40余篇,参编及出版著作3部,主持和完成省部级课题5项;吕菲(2000—),女,2021级硕士研究生,通讯作者,主要研究方向为自然语言处理;黄种标(1999—),男,2021级硕士研究生,主要研究方向为自然语言处理。

  • Online:2024-06-15 Published:2024-07-08

摘要:

[目的/意义]随着专利申请量不断增长和专利分类类别的复杂化,针对提高专利分类工作效率、审查质量、节约人力资源的需求,构建中文专利文本分类模型。\[方法/过程\]通过微调Graphormer模型对专利标签的结构及信息进行建模,利用建模后的标签信息来增强BERT模型的文本表示。\[结果/结论\]相对于其他基线模型,该模型的Micro-F1与Macro-F1分数分别提升了1.6%与3.5%。实现了多标签专利的自动分类,通过对标签、文本的信息进行建模、融合,从而进一步提升模型的分类效果。

关键词:

专利分类, 层次分类, 注意力机制, BERT