如何对超链接中的url进行分词

很多url是由连续单词或单词简写拼接而成，有什么样方法把这些词划分出来。例如：
http://www.energycentraljobs.com/ -->energy central jobs
http://www.bestjobs.ie/-->best jobs
因为需要对链接进行评分，这些词就隐含有语义信息所以需要拆分出来。

数据挖掘


share
akdijsh 11 years, 3 months ago

Answers

之前做过的的是把这些常规词建立一个表来维护，在操作时取出QueryString,然后分别用预备的词来进行正则表达式匹配非贪婪匹配，最终取出子匹配，不过效率就肯定不理想了。
另外也可以用字符截取来找数据库中有没有这个词，截取0-1看是否是常用词，不是的话截取0-2，然后0-3依次类推，一旦找到相匹配的词，则从下一个字符开始截取比较。


share
邪恶的宅猫 answered 11 years, 3 months ago

Your Answer

Ask Question
Related questions

怎么python检索Twitter搜索功能？

php file_get_contents抓取网页时抓到手机版页面

数据挖掘需要学习些什么？

关于数据挖掘书或入门方法

一个优秀的数据挖掘工程师应该学习哪些东西？

twitter、微博之类网站的大量数据分析是怎么做的？什么原理？采集吗？