文章目录
  1. 1. 要求
  2. 2. 编译项目
  3. 3. 支持oozie
  4. Change Log

1. 要求

sqoop-1.4.6-cdh5.7.1

参见 RRADME.txt

2. 编译项目

参见 COMPILING.txt

  • ant jar : 漫长的编译过程, 打开vpn啥的试试
  • 编译完了会在 build 目录下生成jar
  • 命令测试:bin/sqoop 即可,如果缺少三方jar,将jar放入到 lib 中,比如数据库的连接驱动
  • 单元测试代码例子: src/test/com/cloudera/sqoop/terminus/TestImport.java, 即可断点调试

3. 支持oozie

将编译完的jar build/sqoop-1.4.6-cdh5.7.1.jar 替换掉 oozie share中 的 sqoop 目录中的jar, 然后重启oozie服务

1
比如路径为:/user/oozie/share/lib/lib_20161124175836/sqoop 下的 sqoop-1.4.6-cdh5.7.1.jar 或者 sqoop.jar 替换掉

Change Log

  • 2016-12-05
    • SQOOP-951 基础上新增 --recursive-export 支持子目录递归 (hive分区表全量导出)
  • 2016-12-21
    • 新增 导入 参数 --encoding 解决oracle库(ISO8859-1)导入乱码问题
    • 解决hive parquet格式导出不依赖于 .metadata (Kite SDK) 目录的问题, see also SQOOP-2907
    • 新增 导出 参数 --ignore-transaction 导出数据到数据库时是否开启事务
文章目录
  1. 1. 要求
  2. 2. 编译项目
  3. 3. 支持oozie
  4. Change Log