首页 > 其他 > 详细

Hive UDF 用户自定义函数 编程及使用

时间:2019-04-30 20:52:56      阅读:146      评论:0      收藏:0      [点我收藏+]

 

首先创建工程编写UDF 代码,示例如下:

1、 新建Maven项目 udf

 

2、 pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
        http://maven.apache.org/xsd/maven-4.0.0.xsd">


    <modelVersion>4.0.0</modelVersion>
    <groupId>com.hive</groupId>
    <artifactId>udf</artifactId>
    <version>1.0.0</version>


    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.2.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>1.2.2</version>
        </dependency>


    </dependencies>

    <build>
        <finalName>${project.artifactId}</finalName>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

 

3、 DateFormatConvert.java

package com.hive.udf;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

/**
 * Hive 日期格式转换函数
 * 
 * @author Logan
 * @createDate 2019-04-30
 * @version 1.0.0
 *
 */
public class DateFormatConvert extends UDF {

    /**
     * 日期格式转换函数
     * 
     * @param text 输入日期文本
     * @param srcFormat 源格式
     * @param destFormat 目标格式
     * @return
     * @throws ParseException
     */
    public Text evaluate(Text text, Text srcFormat, Text destFormat) throws ParseException {
        if (null == text || null == srcFormat || null == destFormat) {
            return text;
        }

        SimpleDateFormat srcDateFormat = new SimpleDateFormat(srcFormat.toString());
        SimpleDateFormat destDateFormat = new SimpleDateFormat(destFormat.toString());

        Date date = srcDateFormat.parse(text.toString());
        String destDateString = destDateFormat.format(date);

        return new Text(destDateString);
    }

}

 

4、 打包上传到 /root/files/udf.jar

 

5、添加 用户自定义函数

add jar /root/files/udf.jar;
create temporary function udf_date_format_convert as ‘com.hive.udf.DateFormatConvert‘;

 

6、 使用

select udf_date_format_convert(log_time, yyyyMMddHHmmss, yyyy-MM-dd HH:mm:ss) from tb_logs;

 

tb_logs 数据如下:

log_time
20190529072650
20190529072730
20190529072812

 

使用UDF 函数输出结果如下:

2019-05-29 07:26:50
2019-05-29 07:27:30
2019-05-29 07:28:12

 

 

 

 

 

Hive UDF 用户自定义函数 编程及使用

.

Hive UDF 用户自定义函数 编程及使用

原文:https://www.cnblogs.com/jonban/p/10797918.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!