使用Hive调试模式定位错误

5,011浏览
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading...

在使用hive的过程中,比如连接mysql,有时会出现一些模糊的错误,这个时候其实是可以使用hive的调试模式的,通过调试模式可以在控制台打出具体的出错信息,有助于我们定位到问题所在,要使用调试模式,在启动hive时的语句应该如下: 继续阅读“使用Hive调试模式定位错误”

数据仓库中的SQL性能优化(Hive篇)

29,503浏览
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading...

一个Hive查询生成多个map reduce job,一个map reduce job又有map,reduce,spill,shuffle,sort等多个阶段,所以针对hive查询的优化可以大致分为针对M/R中单个步骤的优化,针对M/R全局的优化,和针对整个查询(多M/R job)的优化,下文会分别阐述。

在开始之前,先把MR的流程图帖出来(摘自Hadoop权威指南),方便后面对照。另外要说明的是,这个优化只是针对Hive 0.9版本。由于Hortonwork发起了Stinger项目,Hive后续版本应该能更加快速的响应查询。目前已经发布的Hive 0.11就有不少新feature,比如针对数据仓库中常用的星型模型的优化等等,这些就不在本文的讨论范围之内了。 继续阅读“数据仓库中的SQL性能优化(Hive篇)”

hive sql 优化

3,241浏览
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading...

转一篇总结得不错的Hive Sql优化文章。

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。

使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,

所以需要去掉原有关系型数据库下开发的一些固有思维。

继续阅读“hive sql 优化”

hive安装错误:FAILED: Error in metadata

3,889浏览
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading...

hive安装报错:

FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

继续阅读“hive安装错误:FAILED: Error in metadata”

hive错误:FAILED:Error in metadata:java.lang.IllegalArgumentException:URI:does not have a scheme

4,607浏览
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading...

hive安装后,使用命令show tables出现如下错误:

FAILED:Error in metadata:java.lang.IllegalArgumentException:URI:does not have a scheme

继续阅读“hive错误:FAILED:Error in metadata:java.lang.IllegalArgumentException:URI:does not have a scheme”

hive数据操作(翻译自Hive wiki+实例讲解)

3,191浏览
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading...

hive有两种数据修改方式

从文件加载到hive表

加载数据到表时,hive不会做任何转换。加载操作是纯粹的复制/移动操作,移动数据文件到相应的hive表。

语法

LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)]

实例

假设hive的warehouse目录是/user/hadoop/warehouse,这里有一个login表

继续阅读“hive数据操作(翻译自Hive wiki+实例讲解)”

hive配置参数说明

6,723浏览
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading...

hive.exec.mode.local.auto
决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行)
true

hive.exec.mode.local.auto.inputbytes.max
如果 hive.exec.mode.local.auto 为 true,当输入文件大小小于此阈值时可以自动在本地模式运行,默认是 128兆。
134217728L
继续阅读“hive配置参数说明”