用scrapy+redis+mongodb写的爬虫,爬到的数据可以存储在mongodb中,可以导出为excel格式吗?
mongodb
mongodb数据导出支持csv格式,excel可以直接打开
当然可以的。
scrapy 本身就可以指定保存数据的格式,默认支持 json,xml,csv 等三种格式。
scrapy
json,xml,csv
scrapy crawl projectname -o items.csv
然后可以将这个 csv 文件转成 excel 格式。
csv
excel
这个转换非常简单。
方法
当然,你可以搜索一下, mongodb 有没有导出数据为 excel 的方法。
spark集群中每个节点都有一个独立数据库,可以实现分布式统计计算吗?
如何高效的做数据覆盖操作
mongodb SNS design 问题
使用mongodb搭配memcache
mongodb 重复建表
开始使用mongo 发现一个问题,很难描述,请慢慢看代码