我现在想从网上爬特定关键词的网页,目前还没有目标网站,想请问下solr这样的搜索引擎支持没有目标网站的爬取了,爬取的效率大概怎么样?
搜索引擎
solr是个搜索引擎,它不会主动去爬取数据,它就像个数据库。你可以使用爬虫软件把数据爬下来,再用solr做搜索功能。
Google、Baidu或其他搜索引擎哪家有网页搜索的SDK可以使用?
怎么利用Google的语法查出一个网站的所有二级,三级域名?
Google 或 百度 的首页查看源代码都是非常复杂的,但页面很简洁,哪些源代码除了排版还干了什么?
京东网上的商品搜索关键词联想提示是如何将拼音转换为汉字的?
如何定制一款适合自己的搜索引擎?
sphinx搜索结果同一个用户发布的信息太多如何打散?