基于LDA模型和T-OPTICS算法的中文新闻话题检测

doi:10.3969/j.issn.1000-1565.2016.01.017

河北大学学报(自然科学版) ›› 2016, Vol. 36 ›› Issue (1): 106-112.DOI: 10.3969/j.issn.1000-1565.2016.01.017

• • 上一篇

基于LDA模型和T-OPTICS算法的中文新闻话题检测

李琮¹,袁方²,刘宇²,李欣雨¹

收稿日期:2015-09-20 出版日期:2016-01-25 发布日期:2016-01-25
通讯作者: 袁方(1965—),男,河北保定人,河北大学教授,主要从事数据挖掘与社会计算研究.E-mail:yuanfang@hbu.edu.cn
作者简介:李琮(1987—),男,河北保定人,河北大学硕士研究生,主要从事数据挖掘研究. E-mail:licongche@hotmail.com
基金资助:
河北省软科学研究计划项目(13455317D;12457206D-11)

Chinese news topic detection based on LDA and T-OPTICS

LI Cong¹,YUAN Fang²,LIU Yu²,LI Xinyu¹

1.College of Computer Science and Technology, Hebei University, Baoding 071002, China; 2.College of Mathematics and Information Science, Hebei University, Baoding 071002, China

Received:2015-09-20 Online:2016-01-25 Published:2016-01-25

摘要/Abstract

摘要： 给出了一种针对大量新闻数据的话题检测方法.首先通过LDA(latent dirichlet allocation)模型从语义层面抽取新闻数据主题,有效降低数据分析维度,更合理地体现新闻主题特征.然后改进OPTICS(ordering point to identify the cluster structure)密度聚类算法,基于新闻话题的时间延续性给出了T-OPTICS算法.该算法继承了OPTICS算法对参数不敏感的特性,降低了参数选择对聚类结果的影响.改进了OPTICS算法中文本间相似度的计算方法,体现了话题的时间延续性.基于TDT4数据集的实验表明,该方法能够快速有效地发现新闻中的话题.

关键词: LDA模型, T-OPTICS, 聚类, 降维

Abstract: A method of topic detection from large-scale news dataset is proposed.First,latent dirichlet allocation(LDA)is used to reduce the dimension of data by express the news to probabilistic distribution on a set of topics.Then,T-OPTICS algorithm,one algorithm proved based on OPTICS(ordering point to identify the cluster structure)algorithm,is used to cluster news to topics.Because of the OPTICS algorithm is not sensitive to parameters variation,the influence of parameters choice is reduced.The calculation method of text similarity is proved by considering the effect of time parameters.The experimental results show that the algorithm can detect the topics in the TDT4 data set quickly and effectively.

Key words: LDA model, T-OPTICS, cluster, dimensionality reduction

中图分类号:

TP391.1

李琮,袁方,刘宇,李欣雨. 基于LDA模型和T-OPTICS算法的中文新闻话题检测[J]. 河北大学学报(自然科学版), 2016, 36(1): 106-112.

LI Cong,YUAN Fang,LIU Yu,LI Xinyu. Chinese news topic detection based on LDA and T-OPTICS[J]. Journal of Hebei University (Natural Science Edition), 2016, 36(1): 106-112.

参考文献

[1] DEERWESTER S.Indexing by latent semantic analysis[J].Journal of the American Society of Information Science,1990,26(4):147-157.DOI:10.1002/(SICI)1097-4571(199009)41:6<391::AID-ASI1>3.0.CO;2-9.
[2] JORDAN M I,BLEI D M,NG A Y.Latent Dirichlet Allocation[J].Journal of Machine Learning Research,2003,3:993-1022.DOI:10.1109/MLSP.2011.6064562.
[3] 卜质琼,郑波尽.基于LDA模型的Ad-hoc信息检索方法研究[J].计算机应用研究,2015,32(5):1369-1372.DOI:10.3969/j.issn.1001-3695.2015.05.022. BU Zhiqiong,ZHENG Bojin.Ad hoc information retrieval method based on LDA[J].Application Research of Computers,2015,32(5):1369-1372.DOI:10.3969/j.issn.1001-3695.2015.05.022.
[4] 石晶,胡明,石鑫,等.基于LDA模型的文本分割[J].计算机学报,2008,31(10):1865-1873.DOI:10.3321/j.issn:0254-4164.2008.10.022. SHI Jing,HU Ming,SHI Xin,et al.Text segmentation based on model LDA[J].Chinese Journal of Computers,2008,31(10):1865-1873.DOI:10.3321/j.issn:0254-4164.2008.10.022.
[5] 洪宇,张宇,刘挺,等.话题检测与跟踪的评测及研究综述[J].中文信息学报,2007,21(6):71-87.DOI:10.3969/j.issn.1003-0077.2007.06.011. HONG Yu,ZHANG Yu,LIU Ting,et al.Topic detection and tracking review[J].Journal of Chinese Information Processing,2007,21(6):71-87.DOI:10.3969/j.issn.1003-0077.2007.06.011.
[6] 贺敏,杜攀,张瑾,等.基于动量模型的微博突发话题检测方法[J].计算机研究与发展,2015,52(5):1022-1028.DOI:10.7544/issn1000-1239.2015.20131549. HE Min,DU Pan,ZHANG Jin,et al.Microblog bursty topic detection method based on momentum model[J].Journal of Computer Research and Development,2015,52(5):1022-1028.DOI:10.7544/issn1000-1239.2015.20131549.
[7] DING W,CHEN C.Dynamic topic detection and tracking:A comparison of HDP,C-word,and cocitation methods[J].Journal of the Association for Information Science & Technology,2014,65(10):2084-2097.DOI:10.1002/asi.23134.
[8] 马彬,洪宇,陆剑江,等.基于线索树双层聚类的微博话题检测[J].中文信息学报,2012,26(6):121-128.DOI:10.3969/j.issn.1003-0077.2012.06.017. MA Bin,HONG Yu,LU Jianjiang,et al.A thread-based two-stage clustering method of microblog topic detection[J].Journal of Chinese Information Processing,2012,26(6):121-128.DOI:10.3969/j.issn.1003-0077.2012.06.017.
[9] ANKERST M.OPTICS:Ordering points to identify the clustering structure[C] // Proc 1999 ACM SIGMOD International Conference on Management of Data(SIGMOD-99)1999:49-60.DOI:10.1145/304181.304187.
[10] 张小明,李舟军,巢文涵.基于增量型聚类的自动话题检测研究[J].软件学报,2012,23(6):1578-1587.DOI:10.3724/SP.J.1001.2012.04111. ZHANG Xiaoming,LI Zhoujun,CHAO Wenhan.Research of automatic topic detection based on incremental clustering[J].Journal of Software,2012,23(6):1578-1587.DOI:10.3724/SP.J.1001.2012.04111.

[1]	张宇敬,王柳,齐晓娜,许美玲,王蕾. 基于信息熵的商业银行客户画像属性约简研究[J]. 河北大学学报(自然科学版), 2022, 42(1): 98-104.
[2]	张建,卢凯,石晶,郭怀忠. 多糖部分降解产物在板蓝根颗粒多糖成分分析中的应用[J]. 河北大学学报(自然科学版), 2021, 41(1): 40-46.
[3]	翟俊海, 田石, 张素芳, 王谟瀚, 宋丹丹. 基于MapReduce和Spark的大数据模糊K-means算法比较[J]. 河北大学学报(自然科学版), 2020, 40(4): 433-440.
[4]	齐晓娜, 王佳,徐东升, 张宇敬, 郭佳,刘阳. 基于改进的k-means差分隐私保护方法在位置隐私保护中的应用[J]. 河北大学学报(自然科学版), 2018, 38(3): 315-320.
[5]	李凯,翟璐璐,崔丽娟. 基于样本权重的v -支持向量机[J]. 河北大学学报(自然科学版), 2018, 38(2): 185-193.
[6]	高学伟,付忠广,孙力,张刚. 基于Hadoop分布式支持向量机球磨机大数据建模[J]. 河北大学学报(自然科学版), 2017, 37(3): 309-315.
[7]	王光磊,苑昊,魏帅,时亚松,刘秀玲. 基于区域生长和聚类的主动脉CTA图像序列分割算法[J]. 河北大学学报(自然科学版), 2015, 35(6): 644-650.
[8]	哈艳,杜瑞忠,钟莲,张东琦,李森. 一种改进的网络突发话题检测算法[J]. 河北大学学报(自然科学版), 2015, 35(5): 526-531.
[9]	李凯,王亮,周宇飞. 基于偶对约束和马氏距离的半监督模糊聚类算法[J]. 河北大学学报(自然科学版), 2014, 34(5): 535-540.
[10]	李昆仑,王哲,张娟,武倩,宋嵩. 基于ELM集成和半监督聚类的SNS隐私保护[J]. 河北大学学报(自然科学版), 2013, 33(1): 84-89.
[11]	邓佳佳,刘爽. 基于免疫模糊聚类的LSSVM在短期负荷预测中的应用[J]. 河北大学学报(自然科学版), 2012, 32(3): 234-239.
[12]	王春才,杨华民,张彩虹,郭威,韩贵东. 一种适用于数据仓库环境的增量聚类方法[J]. 河北大学学报(自然科学版), 2010, 30(2): 211-215.
[13]	唐皓,刘希玉. 基于密度流形上的空间聚类[J]. 河北大学学报(自然科学版), 2009, 29(6): 658-662.
[14]	李凯,常圣领,高悦. 基于聚类技术的集成学习方法研究[J]. 河北大学学报(自然科学版), 2009, 29(2): 209-213.
[15]	李凤超,刘存歧,管越强,刘炜炜,康现江. 应用多元分析方法评价白洋淀水质现状[J]. 河北大学学报(自然科学版), 2006, 26(4): 405-410.

基于LDA模型和T-OPTICS算法的中文新闻话题检测

Chinese news topic detection based on LDA and T-OPTICS

PDF (PC)

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价