提出一种基于量化同义词关系的改进的TF-IDF文本特征词提取方法.该方法将在同一文本中出现的某个词的同义词做为一个集合,在传统TF-IDF方法计算的词语权重的基础上对同义词集合中的词语及其相关词进行权重调整,通过相似度对同义词集合中的词语进行了合并加权.实验证明该方法对文本中的同义词及其相关词进行了有效处理,提高了文本特征词提取的准确性.
A method of improved feature extraction based on synonymous was proposed. The method collected synonyms in the text as a set, adjustment the weights of synonyms in the set and related words based on TF-IDF,and combined synonyms through the similarity.The experimental results display that the new method improves the accuracy of feature extraction.
[1] 刘丽珍, 宋瀚涛. 文本分类中的特征选取 [J]. 计算机工程 2004.doi:10.3969/j.issn.1000-3428.2004.04.006
[2] 邹娟, 周经野, 邓成, 高南莎, ZOU Juan, ZHOU Jing-ye, DENG Cheng, GAO Nan-sha. 特征词提取中同义处理的新方法 [J]. 中文信息学报 2005.doi:10.3969/j.issn.1003-0077.2005.06.007
[3] 吕震宇, 林永民, 赵爽, 朱卫东. 基于同义词词林的文本特征选择与加权研究 [J]. 情报杂志 2008.doi:10.3969/j.issn.1002-1965.2008.05.042
[4] 鲁松, 李晓黎, 白硕. 文档中词语权重计算方法的改进 [J]. 中文信息学报 2000.doi:10.3969/j.issn.1003-0077.2000.06.002
[5] 廖浩, 李志蜀, 王秋野, 张意, LIAO Hao, LI Zhi-shu, WANG Qiu-ye, ZHANG Yi. 基于词语关联的文本特征词提取方法 [J]. 计算机应用 2007.
[6] 熊忠阳, 黎刚, 陈小莉, 陈伟, XIONG Zhong-yang, LI Gang, CHEN Xiao-li, CHEN Wei. 文本分类中词语权重计算方法的改进与应用 [J]. 计算机工程与应用 2008.doi:10.3778/j.issn.1002-8331.2008.05.059
[7] 秦春秀, 赵捧未, 刘怀亮. 词语相似度计算研究 [J]. 情报理论与实践 2007.doi:10.3969/j.issn.1000-7490.2007.01.029
[8] 马颖华, 王永成, 苏贵洋, 张宇萌. 一种基于字同现频率的汉语文本主题抽取方法 [J]. 计算机研究与发展 2003.
[9] SAHAMIM. Usingmachine learning to improve information access [D]. Stanford, California:Stanford University, Computer Seience Department 1999.
[10] 梅家驹. 同义词词林 [M]. 上海:上海辞书出版社 1983.
[11] 刘群, 李素建. 基于<知网>的词汇语义相似度计算 [J]. 中文计算语言学 2002, 7(02).
