ArrayList源码分析

[TOC] ArrayList源码分析ArrayList类的源码分析, 主要针对java1.6和java1.7的进行源码的分析。如果有明显的差异, 我会明确的指出, 要是实现方式基本相同, 那比较的上面就不多说废话了, 下面开始。类中涉及到的进行维护的变量, 这里只说主要相同的

hive解决元数据乱码

hive解决元数据乱码1. 修改hive表由于 Cloudera Manager 安装的hive的元数据(如在mysql中)的编码是 latin1, 所以在各种有 COMMENT 是中文的情况下各种乱码。注意：不要修改hive整库的编码，会有问题，报错如下： 12FAILE

[TOC] parquet压缩hive表1. 应用场景原表为txt格式，占用硬盘空间太大，hive支持 parquet格式，所以将原表更新为利用parquet格式，来压缩该表占用的硬盘空间。 2. 压缩过程1. 建立新表show create table TABLE_NAME ;

删除MacOS X文件系统的附加属性@场景：之前手贱，一不小心删除了Hdfs的一个目录。还好之前做了备份，但是只是备份整个电脑的，所以只将里面的关于HDFS的备份拿出来。但是拿过来之后有个问题, 目录最后多了个@符号： 123456> lldrwxr-xr-x@ 4

[TOC] hive处理增量数据1. 场景前提：通过 Sqoop 拉取的数据含有主键或者唯一键场景：每天按时间或者其他列值增量拉取数据, 如下 123每天按照时间(如更新时间updated_at)，来增量拉取数据。然后把每天的拉取的数据，增量放入到hive表中

hive导入数据的一些方式Hive 五种数据导入方式介绍

Hive表动态分区[TOC] 1. 动态分区应用场景静态分区和动态分区的区别在于导入数据时，是手动输入分区名称，还是通过数据来判断数据分区。对于大数据批量导入来说，显然采用动态分区更为简单方便。应用场景为，若需要导入一个系统的历史数据，且这些历史数据的数据量较大，需要根

#sqoop增量导出问题 ##1、未分区表1、默认情况； 1sqoop export --connect jdbc:mysql://localhost:3306/bvs --username root --password anywhere --table dwd_tes

1. 要求 sqoop-1.4.6-cdh5.7.1 参见 RRADME.txt 2. 编译项目参见 COMPILING.txt ant jar : 漫长的编译过程, 打开vpn啥的试试编译完了会在 build 目录下生成jar 命令测试：bin/sqoop 即可，

Sqoop命令1. sqoop导入基本命令 1sqoop import --connect jdbc:mysql://localhost:3306/bvs --username root --password anywhere --table bvs_users --fie