Impala读取parquet格式时间的一个坑

Impala读取parquet格式时间的一个坑1. 描述发现用Impala读取parquet格式表的时候，timestamp类型的字段读取的是UTC时间，并没有做本地化时间转换，即时间晚了8个小时。一开始以为是原始插入表的数据出了问题，但是使用hive进行查询的时候，时间却是对

Spark ALS应用与理解

Spark ALS1. 简介推荐的意义和应用于推荐的协同过滤算法，这里就不说明了。这里主要讲解一下Spark对协同过滤的应用和实现。官方文档说的很明确，Spark目前支持的是基于模型的协同过滤算法，即Alternating Least Squares (ALS)。中文名称是交替

[TOC] Mysql性能优化1. 优化的目的避免页面出现5xx访问错误 1231. 数据库连接可能timeout了2. 慢查询导致页面无法加载3. 事物阻塞造成数据无法提交增加数据库稳定性 1很多时候的问题都是由于低效的sql查询引起的优化用户体验 121. 提

[TOC] 04_Redis持久化RDB

[TOC] 04_Redis之事务与Lua1. 事务之前学习的Pipeline，但是Pipeline执行命令的过程并不是原子性的。所以为了保证多条命令组合的原子性，Redis提供了简单的事务功能以及集成Lua脚本来解决这个问题。 1.1 使用Redis提供了简单的事务功能，将一组

[TOC] 04_Redis之Pipeline1. 简介Redis执行的命令的过程如下：发送命令命令排队命令执行返回结果其中1和4成为Round Trip Time(RTT 往返时间) Redis提供了mget，mset等来有效解决RTT时间。但大部分命令是不支持批

[TOC] 04_Redis之Shell可以使用redis-cli --help查看帮助 1Usage: redis-cli [OPTIONS] [cmd [arg [arg ...]]] OPTIONS如下： 1. redis-cli --help，--version -p

[TOC] 04_Redis慢查询分析1. 简介许多存储系统（如MySQL）提供慢查询日志帮助开发和运维定位系统存在的问题。所谓慢查询，就是系统在命令执行前后计算每条命令的执行时间，当超过预设阀值，就将命令相关信息（发生时间、耗时、详细信息等）记录下来。 2. 配置参数Redis

[TOC] 03_Redis基本键的管理1. 简介针对键的管理，如type，del，object，exists，expire等，下面介绍几个重要的。 2. 单个键的命令2.1 键重命名123456789101112131415$ rename key newkey> 示例1

[TOC] Redis基本命令的使用-有序集合1. 简介与集合不同的是，有序集合中的元素可以排序，排序的依据是给每个元素设置一个分数(score)。比如对一个班级的学生进行分数排名。 2. 命令2.1 集合操作添加成员 1234567$ zadd key [NX|XX]