有没有好用的大数据ETL工具


目前业界有没有好用的etl工具?用于数据仓库建设的。
1、hadoop的oozie和azkaban用了下感觉更适合小型任务的,但在数据仓库建设中感觉会十分麻烦。
2、ETL Automation、kettle等适合于oracle等,不太适合hadoop等。
3、自己开发ETL了,有些互联网公司就是这么干的。

etl 大数据 hive

托奇.灵梦 10 years, 5 months ago

你是准备ETL之后把数据放进传统的SQL数据仓库么?

如果数据量非常大,可以试着直接存放在Hadoop或者NonSQL数据库,比如Cassandra。然后在这基础上使用一些SQL on Hadoop的方案去查询数据,比如Spark,或者Impala等。也有个中国人做的开源产品Apache Kylin,可以一看。

紫翎炽天使 answered 10 years, 5 months ago

Your Answer