基于统计语言模型,对<续资治通鉴长编>进行了统计分析.根据互信息特征抽取候选字串,通过人机交互确定其是否构成词,然后动态修正相关字串的互信息值,逐步建立宋史语料库词表.实验中据互信息阈值抽取候选字串6 500个,根据汉语大词典确定是词的有3 694个,占56.8%.结果表明互信息法是建立古汉语语料库词表的有效辅助手段.
[1] 郑家恒, 李文花. 基于构词法的网络新词自动识别初探 [J]. 山西大学学报(自然科学版) 2002.doi:10.3969/j.issn.0253-2395.2002.02.007
[2] 刘秉伟, 黄萱菁, 郭以昆, 吴立德. 基于统计方法的中文姓名识别 [J]. 中文信息学报 2000.doi:10.3969/j.issn.1003-0077.2000.03.003
[3] 罗盛芬, 孙茂松. 基于字串内部结合紧密度的汉语自动抽词实验研究 [J]. 中文信息学报 2003.doi:10.3969/j.issn.1003-0077.2003.03.002
[4] Haodi Feng, Kang Chen, Xiaotie Deng, Weimin Zheng. Accessor Variety Criteria for Chinese Word Extraction [J]. Computational linguistics 2004, 1(1).
[5] Thanaruk THEERAMUNKONG, Thanasan TANHERMHONG. Pattern-Based Features vs. Statistical-Based Features in Decision Trees for Word Segmentation [J]. IEICE transactions on information and systems 2004, 5(5).
[6] Richard Sproat, Chilin Shih, William Gale, Nancy Chang. A stochastic finite-state word-segmentation algorithm for Chinese [J]. Computational linguistics 1996, 3(3).
