加载中…hive --hiveconf -f 详解
(2017-12-13 16:59:45)
标签：
hive--hiveconfhive执行hql文件 |
分类： 大数据 |
业务场景：
create table access_log( id string,
url string ,
referer string ,
keyword string ,
type string ,
guid string ,
pageId string ,
moduleId string ,
linkId string ,
attachedInfo string ,
sessionId string ,
trackerU string ,
trackerType string ,
ip string ,
trackerSrc string ,
cookie string ,
orderCode string ,
trackTime string ,
endUserId string ,
firstLink string ,
sessionViewNo string ,
productId string ,
curMerchantId string ,
provinceId string ,
cityId string ,
fee string ,
edmActivity string ,
edmEmail string ,
edmJobId string ,
ieVersion string ,
platform string ,
internalKeyword string ,
resultSum string ,
currentPage string ,
linkPosition string ,
buttonPosition string
)partitioned by(datadate string ,hour string)
row format delimited fields terminated by '\t'
注：为了提高查询效率，使用日期及小时创建分区
技术伪码：
技术实现：
http://s12/mw690/003d54oKzy7gy1lZaH15b&690--hiveconf
技术总结及扩展：
-
获取当前前一天 date -d '-1 days'，若获取前两天即-2，获取后一天+1 -
hive指定HQL文件批量执行的参数为-f ，指定的文件中含有参数，使用--hiveconf进行内部传参
喜欢
0
赠金笔