添加一列并增加列字段注释

　　HIVE是什么

　　来自度娘百科的解释：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

　　简单来说，就是用QL这种语言的方式来完成MapReduce程序的工作，由于大多数程序员都会写基于关系型数据库的SQL，那么HIVE的出现也就将Hadoop上的开发降低了很多门槛。

　　Hive常见的参数

　　io.sort.mb设置数据缓冲区的小大

　　HIVE基础语句

　　创建表

　　Hive的表，与普通关系型数据库，如mysql在表上有很大的区别，所有hive的表都是一个文件，它是基于Hadoop的文件系统来做的。

　　hive总体来说可以总结为三种不同类型的表。

　　1. 普通表

　　普通表的创建，如上所说，不讲了。其中，一个表，就对应一个表名对应的文件。

　　2. 外部表

　　EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径(LOCATION)，Hive 创建内部表时，会将数据移动到数据仓库指向的路径;若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。具体sql如下：

　　Java代码

　　CREATE EXTERNAL TABLE test_1(id INT, name STRING, city STRING) SORTED BY TEXTFILE ROW FORMAT DELIMITED‘\t’ LOCATION ‘hdfs://../../..’

　　3. 分区表

　　有分区的表可以在创建的时候使用 PARTITIONED BY 语句。一个表可以拥有一个或者多个分区，每一个分区单独存在一个目录下。而且，表和分区都可以对某个列进行 CLUSTERED BY 操作，将若干个列放入一个桶(bucket)中。也可以利用SORT BY 对数据进行排序。这样可以为特定应用提高性能。具体SQL如下：

　　Java代码

　　CREATE TABLE test_1(id INT, name STRING, city STRING) PARTITIONED BY (pt STRING) SORTED BY TEXTFILE ROW FORMAT DELIMITED‘\t’

　　Hive的排序，因为底层实现的关系，比较不同于普通排序，这里先不讲。桶的概念，主要是为性能考虑，可以理解为对分区内列，进行再次划分，提高性能。在底层，一个桶其实是一个文件。如果桶划分过多，会导致文件数量暴增，一旦达到系统文件数量的上限，就杯具了。哪种是最优数量，这个哥也不知道。

　　分区表实际是一个文件夹，表名即文件夹名。每个分区，实际是表名这个文件夹下面的不同文件。分区可以根据时间、地点等等进行划分。比如，每天一个分区，等于每天存每天的数据;或者每个城市，存放每个城市的数据。每次查询数据的时候，只要写下类似 where pt=2010_08_23这样的条件即可查询指定时间得数据。

　　总体而言，普通表，类似mysql的表结构，外部表的意义更多是指数据的路径映射。分区表，是最难以理解，也是最hive最大的优势。之后会专门针对分区表进行讲解。

　　建表语句如下：

　　Java代码

　　hive> CREATE TABLE pokes (foo INT, bar STRING);

　　实际示例

　　创建一个表

　　Java代码

　　CREATE TABLE u_data (

　　userid INT,

　　movieid INT,

　　rating INT,

　　unixtime STRING)

　　ROW FORMAT DELIMITED

　　FIELDS TERMINATED BY ‘\t‘

　　STORED AS TEXTFILE;

　　其中，hive支持的字段类型，并不多，可以简单的理解为数字类型和字符串类型，详细列表如下：

　　TINYINT

　　SMALLINT

　　INT

　　BIGINT

　　BOOLEAN

　　FLOAT

　　DOUBLE

　　STRING

　　创建表并创建索引字段ds

　　Java代码

　　hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);

　　显示所有表

　　Java代码

　　hive> SHOW TABLES;

　　按正条件(正则表达式)显示表，

　　Java代码

　　hive> SHOW TABLES ‘.*s‘;

　　表添加一列

　　Java代码

　　hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);

　　添加一列并增加列字段注释

　　Java代码

　　hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT ‘a comment‘);

　　更改表名

　　Java代码

　　hive> ALTER TABLE events RENAME TO 3koobecaf;

　　删除列

　　Java代码

　　hive> DROP TABLE pokes;

　　元数据存储

　　Hive不支持一条一条的用insert语句进行插入操作，也不支持update的操作。数据是以load的方式，加载到建立好的表中。数据一旦导入，则不可修改。要么drop掉整个表，要么建立新的表，导入新的数据。

　　将文件中的数据加载到表中

　　Java代码

　　hive> LOAD DATA LOCAL INPATH ‘./examples/files/kv1.txt‘ OVERWRITE INTO TABLE pokes;

　　加载本地数据，同时给定分区信息

　　Java代码

　　hive> LOAD DATA LOCAL INPATH ‘./examples/files/kv2.txt‘ OVERWRITE INTO TABLE invites PARTITION (ds=‘2008-08-15‘);

　　加载DFS数据 ，同时给定分区信息

　　Java代码

　　hive> LOAD DATA INPATH ‘/user/myname/kv2.txt‘ OVERWRITE INTO TABLE invites PARTITION (ds=‘2008-08-15‘);

　　The above command will load data from an HDFS file/directory to the table. Note that loading data from HDFS will result in moving the file/directory. As a result, the operation is almost instantaneous.

　　INSERT+SELECT

　　Standard syntax:

　　INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement

　　Hive extension (multiple inserts):

　　FROM from_statement

　　INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1

　　[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2] ...

　　Hive extension (dynamic partition inserts):

　　INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement

　　这个的用法，和上面两种直接沈阳最好的男科医院操作file的方式，截然不同。排开分区

　　SQL 操作

　　按先件查询

　　hive> SELECT a.foo FROM invites a WHERE a.ds=‘‘;

　　将查询数据输出至目录

　　hive> INSERT OVERWRITE DIRECTORY ‘/tmp/hdfs_out‘ SELECT a.* FROM invites a WHERE a.ds=‘‘;

　　将查询结果输出至本地目录

　　hive> INSERT OVERWRITE LOCAL DIRECTORY ‘/tmp/local_out‘ SELECT a.* FROM pokes a;

　　选择所有列到本地目录

　　hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a;

　　hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a WHERE a.key < 100;

　　hive> INSERT OVERWRITE LOCAL DIRECTORY ‘/tmp/reg_3‘ SELECT a.* FROM events a;

　　hive> INSERT OVERWRITE DIRECTORY ‘/tmp/reg_4‘ select a.invites, a.pokes FROM profiles a;

　　hive> INSERT OVERWRITE DIRECTORY ‘/tmp/reg_5‘ SELECT COUNT(1) FROM invites a WHERE a.ds=‘‘;

　　hive> INSERT OVERWRITE DIRECTORY ‘/tmp/reg_5‘ SELECT a.foo, a.bar FROM invites a;

　　hive> INSERT OVERWRITE LOCAL DIRECTORY ‘/tmp/sum‘ SELECT SUM(a.pc) FROM pc1 a;

　　将一个表的统计结果插入另一个表中

　　hive> FROM invites a INSERT OVERWRITE TABLE events SELECT a.bar, count(1) WHERE a.foo > 0 GROUP BY a.bar;

　　hive> INSERT OVERWRITE TABLE events SELECT a.bar, count(1) FROM invites a WHERE a.foo > 0 GROUP BY a.bar;

　　JOIN

　　hive> FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) INSERT OVERWRITE TABLE events SELECT t1.bar, t1.foo, t2.foo;

　　将多表数据插入到同一表中

　　FROM src

　　INSERT OVERWRITE TABLE dest1 SELECT src.* WHERE src.key < 100

　　INSERT OVERWRITE TABLE dest2 SELECT src.key, src.value WHERE src.key >= 100 and src.key < 200

　　INSERT OVERWRITE TABLE dest3 PARTITION(ds=‘2008-04-08‘, hr=‘12‘) SELECT src.key WHERE src.key >= 200 and src.key < 300

　　INSERT OVERWRITE LOCAL DIRECTORY ‘/tmp/dest4.out‘ SELECT src.value WHERE src.key >= 300;

　　将文件流直接插入文件

　　Java代码

　　hive> FROM invites a INSERT OVERWRITE TABLE events SELECT TRANSFORM(a.foo, a.bar) AS (oof, rab) USING ‘/bin/cat‘ WHERE a.ds > ‘2008-08-09‘;

　　This streams the data in the map phase through the script /bin/cat (like hadoop streaming). Similarly - streaming can be used on the reduce side (please see the Hive Tutorial or examples)

　　下载示例数据文件，并解压缩

　　wget http://www.grouplens.org/system/files/ml-data.tar__0.gz

　　tar xvzf ml-data.tar__0.gz

　　加载数据到表中

　　Java代码

　　LOAD DATA LOCAL INPATH ‘ml-data/u.data‘

　　OVERWRITE INTO TABLE u_data;

　　统计数据总量

　　Java代码

　　SELECT COUNT(1) FROM u_data;

　　现在做一些复杂的数据分析

　　创建一个 weekday_mapper.py: 文件，作为数据按周进行分割

　　import sys

　　import datetime

　　for line in sys.stdin:

　　line = line.strip()

　　userid, movieid, rating, unixtime = line.split(‘\t‘)

　　生成数据的周信息

　　weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()

　　print ‘\t‘.join([userid, movieid, rating, str(weekday)])

　　使用映射脚本

　　//创建表，按分割符分割行中的字段值

　　CREATE TABLE u_data_new (

　　userid INT,

　　movieid INT,

　　rating INT,

　　weekday INT)

　　ROW FORMAT DELIMITED

　　FIELDS TERMINATED BY ‘\t‘;

　　//将python文件加载到系统

　　add FILE weekday_mapper.py;

　　将数据按周进行分割

　　INSERT OVERWRITE TABLE u_data_new

　　SELECT

　　TRANSFORM (userid, movieid, rating, unixtime)

　　USING ‘python weekday_mapper.py‘

　　AS (userid, movieid, rating, weekday)

　　FROM u_data; 　www-463nanren-com

添加一列并增加列字段注释,布布扣,bubuko.com

添加一列并增加列字段注释

原文：http://www.cnblogs.com/shenyang463/p/3644863.html