2016-10-10

Oozie-9_自定义UDF和Action节点

[TOC] Oozie-9_自定义UDF和Action节点1. 自定义UDF有的时候oozie提供的EL函数没法满足需求，这个时候就需要对oozie的udf进行扩展。 新建maven工程项目，这里的pom最好使用oozie项目自身的pom(在oozie的目录下可以找到) 然后我

2016-09-24

Hive-5_UDF

Hive-5_UDF[TOC] 参考 UDF In Beeline or the CLI, use the commands below to show the latest documentation 语法: 123SHOW FUNCTIONS;DESCRIBE FUN

2016-09-23

Hive-4_Select语句

Hive-4_Select语句[TOC] 参考 LanguageManual Select 1. select 语句 语法 12345678910[WITH CommonTableExpression (, CommonTableExpression)*] (Note

2016-09-22

Hive-3_DML使用

Hive-3_DML使用[TOC] 原文参考 1. Loading files into tablesload 数据到hive表中是不会对数据进行转化的, 其实load的操作就是数据文件直接move/copy到hive表中。 语法 1LOAD DATA [LOCAL] I

2016-09-21

Hive-2_DDL使用

Hive-2_DDL使用[TOC] 1. DDL (Hive Data Definition Language) 概述和一般的RDBMS一样，Hive也有自己的DDL语句。且不管是DDL，还是DML，感觉都和mysql很相似。 Hive DDL 大致包括如下： CREATE

2016-09-20

Hive-1_安装配置

Hive-1_安装配置[TOC] 1. 节点Apache Hive是基于分布式存储（Hadoop HDFS）的一个数据仓库。它可以通过 SQL 很方便的读写、管理上面的庞大的数据集。用户可以通过 命令行 和 JDBC Driver 连接Hive并使用。 2. 下载和安装 下载地址

2016-07-16

Oozie-8_高级配置

Oozie-8_高级配置[TOC] 1. 时区的配置由于Oozie默认使用的是 UTC 的时区，所以我们在提交 Coordinator Job的时候，会发现启动和结束等时间不对。由于中国在东八区，一种方式是可以将时间减去8h，来表示Oozie的执行时间（有点混乱，不推荐）。还有种

2016-07-16

Oozie搭建常见问题

Oozie搭建常见问题1. Could not lookup launched hadoop Job ID 错误1234### 比如：JA017: Could not lookup launched hadoop Job ID [job_1468396821235_0004]

2016-07-15

Oozie-7_Java API

Oozie-7_Java API1. 一个简单的例子 依赖包 12345<dependency> <groupId>org.apache.oozie</groupId> <artifactId>oozie-client</a

2016-07-14

Oozie-6_Web Service API

Oozie-6_Web Service API[TOC] 1. 简介The Oozie Web Services API is a HTTP REST JSON API.All responses are in UTF-8 . Assuming Oozie is runing a