flume-ng 使用 MySQL Sink


我准备使用apache flume 1.3 来处理日志的收集工作,日志的量不是很大,每天10个G左右,
我准备仅把WARN和ERROR级别的日志抽取出来保存,供后续分析使用。
由于目前这两类数据不会很多,初步打算把他们写入MySQL DB, 使用起来方便一些。

问题:
1. 官方文档没有提供到普通关系数据的Sink实现,我是否需要自己实现,或者是否已经有比较好的第三方实现?
2. 把日志写入MySQL是否是个好主意?

flume 日志分析

liu643 11 years, 9 months ago

flume本身没有实现,自己写个插件吧,不费力。
将日志写到mysql没问题的,但是得考虑到分表,也便于以后统计。

XiAo哗 answered 11 years, 9 months ago

Your Answer