基于文档关系改进的向量空间模型

doi:10.3969/j.issn.1000-1565.2020.03.014

河北大学学报(自然科学版) ›› 2020, Vol. 40 ›› Issue (3): 322-327.DOI: 10.3969/j.issn.1000-1565.2020.03.014

基于文档关系改进的向量空间模型

何丹丹¹,吴树芳²,徐建民¹

收稿日期:2020-01-12 出版日期:2020-05-25 发布日期:2020-05-25
通讯作者: 徐建民(1966— ),男,河北邯郸人,河北大学教授,博士,主要从事信息检索、在线社交网络方向研究.E-mail:hbuxjm@hbu.edu.cn
作者简介:何丹丹(1991— ),女,河北邯郸人,河北大学在读硕士研究生,主要从事信息检索方向研究. E-mail:1326320110@qq.com
基金资助:
国家社科基金后期资助项目(17FTQ002)

Improved vector space model based on document relationships

HE Dandan¹,WU Shufang²,XU Jianmin¹

1.College of Cyberspace Security and Computer, Hebei University, Baoding 071002, China; 2.School of Management, Hebei University, Baoding 071002, China

Received:2020-01-12 Online:2020-05-25 Published:2020-05-25

摘要/Abstract

摘要： 由于用户查询信息不足而导致传统向量空间模型检索结果不够准确,针对此问题,提出了一种基于文档关系改进的向量空间模型.改进模型将初始检索结果中排名靠前的高相关文档组成基准集,通过计算初始检索结果集中每篇文档与基准集的相似度,来修正原模型中文档与查询的相似度,实现对检索结果的重排序,从而实现对向量空间模型的改进.实验结果表明:与传统向量空间模型相比,改进模型使得相关文档排名更合理,在保证召回率的条件下提高了准确率.

关键词: 文档关系, 向量空间模型, 文档相似度, 信息检索

Abstract: Due to insufficient user query information, the retrieval results of traditional vector space model are not accurate enough. To solve this problem, an improved vector space model based on document relationship is proposed. The improved model combines the related documents ranked first in the initial retrieval results into a benchmark set. By calculating the similarity between each document in the initial retrieval result set and the benchmark set, the similarity between documents and queries in the original model and reorder the retrieval results is corrected, thus improving the vector space model.The experimental results show that, compared with the traditional vector space model, the improved model makes the ranking of related documents more reasonable and improves the precision while ensuring the recall rate.

Key words: document relationship, vector space model, document similarity, information retrieval

中图分类号:

TP391

何丹丹,吴树芳,徐建民. 基于文档关系改进的向量空间模型[J]. 河北大学学报(自然科学版), 2020, 40(3): 322-327.

HE Dandan,WU Shufang,XU Jianmin. Improved vector space model based on document relationships[J]. Journal of Hebei University (Natural Science Edition), 2020, 40(3): 322-327.

参考文献

[1] 余传明, 蔡林, 胡莎莎, 等. 基于深度学习的查询扩展研究[J]. 情报学报, 2019, 38(10): 1066-1077. DOI: 10.3772/j.issn.1000-0135.2019.10.007.
[2] 徐也, 徐蔚然. 基于语义特征扩展的知识库增量引文推荐算法[J]. 山东大学学报(理学版), 2016, 51(11): 26-32. DOI: 10.6040/j.issn.1671-9352.1.2015.E14.
[3] 黄名选, 严小卫, 张师超. 基于矩阵加权关联规则挖掘的伪相关反馈查询扩展[J]. 软件学报, 2009, 20(7): 1854-1865. DOI: 10.3724/SP.J.1001.2009.03368.
[4] 闫蓉, 高光来. 基于伪文档的伪相关反馈方法[J]. 中文信息学报, 2016, 30(6): 156-163.
[5] KEIKHA A, ENSAN F, BAGHERI E. Query expansion using pseudo relevance feedback on wikipedia[J]. Journal of Intelligent Information Systems, 2018, 50(3): 455-478. DOI: 10.1007/s10844-017-0466-3.
[6] 李岩, 张博文, 郝红卫. 基于语义向量表示的查询扩展方法[J]. 计算机应用, 2016, 36(9):2526-2530. DOI: 10.11772/j.issn.1001-9081.2016.09.2526.
[7] 徐建民, 何丹丹, 吴树芳. 基于文档关系的扩展信念网络检索模型[J]. 情报学报, 2019, 38(11): 1160-1165. DOI: 10.3772/j.issn.1000-0135.2019.11.004.
[8] BALINSKI J, DANILOWICZ C. Re-ranking method based on inter-document distances[J]. Information Processing & Management, 2005, 41(4): 759-775. DOI: 10.1016/j.ipm.2004.01.006.
[9] PLANSANGKET S, GAN J Q. Re-ranking google search returned web documents using document classification scores[J]. Artificial Intelligence Research, 2016, 6(1): 59-68. DOI: 10.5430/air.v6n1p59.
[10] ACID S, DE CAMPOS L M, FERNÁNDEZ-LUNA J M, et al. An information retrieval model based on simple Bayesian networks[J]. International Journal of Intelligent Systems, 2003, 18(2): 251-265. DOI: 10.1002/int.10088.
[11] 张仰森, 郑佳, 李佳媛. 一种基于语义关系图的词语语义相关度计算模型[J]. 自动化学报, 2018, 44(1): 87-98. DOI: 10.16383/j.aas.2018.c170002.
[12] LIN Y S, JIANG J Y, LEE S J. A similarity measure for text classification and clustering[J]. IEEE Transactions on Knowledge & Data Engineering, 2014, 26(7): 1575-1590. DOI: 10.1109/tkde.2013.19.
[13] 徐建民, 许彩云. 基于文本和公式的科技文档相似度计算[J]. 数据分析与知识发现, 2018,2(10): 103-109. DOI: 10.11925/infotech.2096-3467.2018.0211.
[14] VECHTOMOVA O, KARAMUFTUOGLU M. Elicitation and use of relevance feedback information[J]. Information Processing & Management, 2006, 42(1): 191-206. DOI: 10.1016/j.ipm.2004.10.006.
[15] 徐建民, 王平. 小型中文信息检索测试集的构建与分析[J]. 情报杂志, 2009, 28(1): 13-16.
[16] XUAN H, GAO L, LIN X, et al. WikiMirs: a mathematical information retrieval system for wikipedia[C] // ACM/IEEE-CS Joint Conference on Digital Libraries,New York, USA: ACM Press,2013: 11-20, 2013. DOI: 10.1145/2467696.2467699.
[17] 杨海锋. 对数透视法在信息检索结果评价中的应用研究[J]. 现代情报, 2017, 37(1): 66-70. DOI: 10.3969/j.issn.1008-0821.2017.01.012.

基于文档关系改进的向量空间模型

Improved vector space model based on document relationships

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 5

编辑推荐

Metrics

本文评价

[1]	张锡忠,徐建民. 基于术语同义关系的文档相似度研究[J]. 河北大学学报(自然科学版), 2017, 37(1): 108-112.
[2]	徐建民,王丹青,谢朋林. 基于科技文献引用关系扩展的信念网络模型[J]. 河北大学学报(自然科学版), 2013, 33(1): 77-83.
[3]	刘劲松,张彬,柴文磊,魏建行,刘振鹏. 校园网园区搜索引擎的设计与实现[J]. 河北大学学报(自然科学版), 2011, 31(4): 439-444.
[4]	徐建民,唐万生,陈振亚. 贝叶斯网络在信息检索中的应用[J]. 河北大学学报(自然科学版), 2007, 27(1): 93-98,112.
[5]	张明,王煜,杨敬伟,袁方,赵红,石强. 基于Ontology的智能信息检索研究[J]. 河北大学学报(自然科学版), 2005, 25(5): 561-566.