目前业界有没有好用的etl工具?用于数据仓库建设的。 1、hadoop的oozie和azkaban用了下感觉更适合小型任务的,但在数据仓库建设中感觉会十分麻烦。 2、ETL Automation、kettle等适合于oracle等,不太适合hadoop等。 3、自己开发ETL了,有些互联网公司就是这么干的。
etl 大数据 hive
你是准备ETL之后把数据放进传统的SQL数据仓库么?
如果数据量非常大,可以试着直接存放在Hadoop或者NonSQL数据库,比如Cassandra。然后在这基础上使用一些SQL on Hadoop的方案去查询数据,比如Spark,或者Impala等。也有个中国人做的开源产品Apache Kylin,可以一看。
Hive待导入的数据是如何生成的?
做数据etl相关工作的各位工程师都踩过那些坑?
执行Hive的`SHOW CREATE TABLE`语句,结果有中文乱码
hadoop上java
hive中sql如何注释?
DB2大数据迁移