情报探索 ›› 2024, Vol. 1 ›› Issue (6 ): 1-.
• 理论探索 •
基于BERT-Graphormer的中文专利文本分类模型研究
(福州大学经济与管理学院 福建福州 350000)
摘要:
[目的/意义]随着专利申请量不断增长和专利分类类别的复杂化,针对提高专利分类工作效率、审查质量、节约人力资源的需求,构建中文专利文本分类模型。\[方法/过程\]通过微调Graphormer模型对专利标签的结构及信息进行建模,利用建模后的标签信息来增强BERT模型的文本表示。\[结果/结论\]相对于其他基线模型,该模型的Micro-F1与Macro-F1分数分别提升了1.6%与3.5%。实现了多标签专利的自动分类,通过对标签、文本的信息进行建模、融合,从而进一步提升模型的分类效果。