Hive中在做多表关联时,由于Hive的SQL

我想说的SELECT TOP N是取最大前N条或者最小前N条。
Hive提供了limit关键字，再配合order by可以很容易地实现

Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是：

在Hive开发过程中遇到这样一个问题：
例如表T001的字段col1里面存有’ABC\DEF’

在网上搜了下关于oracle中not exists和not in性能的比较，发现没有描述的太全面的，可能是问题太简单了，达人们都不屑于解释吧。于是自己花了点时间，试图把这个问题简单描述清楚，其实归根结底一句话：not in性能并不比not exists差，关键看你用的是否正确。

 

 

ORACLE中生成从1到n的连续数字的方法很多，最简单的一种是：

    之前部门实现row_number是使用的transform，我觉得用UDF实现后，平时的使用会更方便，免去了transform相对繁琐的语法。

    用到的测试表为：

hive> desc row_number_test;
OK
id1     int
id2     string
age     int
score   double
name    string

 

hive> select * from row_number_test;
OK
2       t04     25      60.0    youlia
1       t01     20      85.0    liujiannan
1       t02     24      70.0    zengqiu
2       t03     30      88.0&nb

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。
下面的语句创建了一个简单的分区表：

create table partition_test
(member_id string,
name string
)
partitioned by (
stat_date string,
province string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

这个例子中创建了stat_date和province两个字段作为分区列。通常情况下需要先预先创建好分区，然后才能使用该分区，例如：

alter table partition_test add partition (stat_date='20110728',province='zhejiang');

这样就创建好了一个分区。这时我们会看到hive在HDFS存储中创建了一个相应的文件夹：

$ hadoop fs -ls /user/hive/warehouse/partition_test/stat_date=20110728
Found 1 items
drwxr-xr-x - admin supergroup 0 2011-07-29 09:53 /user/hive/warehouse/partition_test/stat_date=20110728/province=zheji