首页 > 其他 > 详细

Spark1.3使用外部数据源时条件过滤只要是字符串类型的值均报错

时间:2015-03-23 19:31:05      阅读:212      评论:0      收藏:0      [点我收藏+]
CREATE TEMPORARY TABLE spark_tbls
USING org.apache.spark.sql.jdbc
OPTIONS (
url    jdbc:mysql://hadoop000:3306/hive?user=root&password=root,
dbtable     TBLS
);
select TBL_ID, TBL_NAME from spark_tbls limit 5;
TBL_ID  TBL_NAME
126     aaa
96      abc
select TBL_ID, TBL_NAME from spark_tbls where TBL_ID=126;
TBL_ID  TBL_NAME
126     aaa
select TBL_ID, TBL_NAME from spark_tbls where TBL_NAME=aaa;

报错:

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column aaa in where clause

测试发现:只要是字符串类型的过滤条件均报错。

详见最新master分支的[Spark-6408]

 

在测试sparksql操作phoenix时,由于where条件中有字符串类型的值,就一直报错一直报错,后来用MySQL测试了下,发现也是类似的问题,跟踪了源代码发现是Filter出了问题。

 

Spark1.3使用外部数据源时条件过滤只要是字符串类型的值均报错

原文:http://www.cnblogs.com/luogankun/p/4360729.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!