日志收集探讨 | Dami

0 0

日志收集探讨

在项目上线后，往往需要监控一些日志，但是日志分散在各个服务器的不同角落，查看时需要找到某应用在那台服务器上，然后翻apache或nginx配置找日志路径，耗时耗力很麻烦。
所以想将这些日志收集到一个地方，做一套web界面的日志查看工具
需要的日志主要有

apache日志
apache虚拟主机access,error日志
nginx日志
nginx虚拟主机access,error日志
php错误日志
mysql日志
php应用日志(如yii的/runtime/application.log)

基本实现实时查看即可（一分钟内延迟）
看了下Scribe和Flume，似乎太过重量级，
我的想法是做个简单的文本变化检测，将新增内容发送到统一redis队列，后端脚本处理入库。
不知道大家是如何解决这个问题的？探讨下吧！

python Redis php go

9 years, 9 months ago

windry

share

windry 9 years, 9 months ago

0

看一下logstash吧。 http://logstash.net/

answered 9 years, 9 months ago

炎零Hambe

share

炎零Hambe answered 9 years, 9 months ago

0

http://finallygo.iteye.com/blog/2170588
建议你看看这个,非常轻量

answered 9 years, 9 months ago

克洛克达尔

share

克洛克达尔 answered 9 years, 9 months ago

0

楼主可以关注下开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)

answered 9 years, 9 months ago

穆遥的天空

share

穆遥的天空 answered 9 years, 9 months ago

0

go语言的话可以考虑一下 heka

answered 9 years, 9 months ago

undine

share

undine answered 9 years, 9 months ago

0

看看Sentry？ https://github.com/getsentry/sentry

answered 9 years, 9 months ago

xzxzxz

share

xzxzxz answered 9 years, 9 months ago

0

参考：在Linux上使用logwatch分析监控日志文件

answered 9 years, 9 months ago

RaidenX

share

RaidenX answered 9 years, 9 months ago

0

来点前沿科技——systemd 的 journald～不用检测文本变化，它本身就是类似数据库那种二进制存储，直接用它给的 API 读取就可以了。当然目前 journald 不支持搜索，只能根据一些域来取数据，不过满足你的需求够了。

当然我猜测你们服务器上目前是不会用 systemd 的。journald 大概也不能不依赖 systemd 自己跑……

answered 9 years, 9 months ago

羊的左边是火

share

羊的左边是火 answered 9 years, 9 months ago

0

说一个常用方案：很多公司都是专门布了脚本，定时去抓，抓完了索引存到数据平台，数据平台提供查询，接口确实是略重。

answered 9 years, 9 months ago

那羽劍十三

share

那羽劍十三 answered 9 years, 9 months ago

0

负责任地说，成熟的日志处理和监控平台很多很多很多很多。。手机用户就不方便写了改天用电脑的时候给你列出来十几样

answered 9 years, 9 months ago

KURAI

share

KURAI answered 9 years, 9 months ago

0

你的这个需求直接使用elasticsearch、logstash和kibana结合即可，部署配置都比较简单，实时性较高，又不用开发代码~

answered 9 years, 9 months ago

frane

share

frane answered 9 years, 9 months ago

Your Answer