加载中…
个人资料
微博
  • 博客等级：
  • 博客积分：
  • 博客访问：
  • 关注人气：
  • 获赠金笔：0支
  • 赠出金笔：0支
  • 荣誉徽章：
正文 字体大小：大 中 小

hive内部表与外部表区别详细介绍

(2016-07-04 15:13:57)
标签：

hive内部表和外部表

 分类： 大数据

问题导读：
1.创建内部表与外部表的区别是什么？
2.external关键字的作用是什么？
3.外部表与内部表的区别是什么？
4.删除表的时候，内部表与外部表有什么区别？
5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的？
6.磁盘，hdfs,hive表他们之间的过程是什么样子的？

http://www.aboutyun.com/static/image/hrline/4.gif


好了，进入正题。今天我们要探讨的话题是Hive的里面的表与外部表两个概念，以及如何在Hive里面创建表和外部表，它们之间有什么区别等话题。在本博客的 让你彻底明白hive数据存储各种模式文章里面我们谈到了Hive的数据存储模式，里面简单的说到Hive中表以及外部表的简单概念，相信很多读者对这些概念还不是很了解，今天就给大家科普一下，希望对大家有所帮助。

 

今天在使用sqoop对数据进行导入导出的时候，明白了一个十分重要的概念，那就是我们平时在操作hive或者hdfs时候使用过的那些数据的具体路径在什么地方，以前一直不是很明白，明明虚拟机有图形界面，而且又有代码底层，为什么还需要一个master：50070这个网页来监控我们hdfs的数据了，当然了在那之前我一直不知道我们平时操作的数据，具体在什么地方，

 

今天使用sqoop往外面导数据的时候，我就懵逼了，我不知道数据具体的路径，怎么往外面导数据，然后就在网上找了一些文档，原来，我们平时在虚拟机中操作的数据目录，其实系统本地的文件夹，而我们的hadoop的文件系统是放在hdfs上面的，所以hdfs起了一个十分基础却又非常重要的作用，然后平时我们在网页看到的那些文件是不能在本地的文件系统里面找到具体的文件目录的，一方面，我们可以通过在 /usr/hadoop/bin  hadoop fs -ls 看到网页上的那些目录，然后要操作它们需要hadoop的那一系列的命令语句，而导入导出数据都是利用网页上的这个目录才可以的，所以不能把两个系统的文件路径搞混了，而另一方面，特别是hive，hive有内表和外表的区别，所以内表是有数据的，而外表是没有数据的

 


　　相信很多用户都用过关系型数据库，我们可以在关系型数据库里面创建表（create table），这里要讨论的表和关系型数据库中的表在概念上很类似。我们可以用下面的语句在Hive里面创建一个表：


  1. hive> create table wyp(id int,
  2.     > name string,
  3.     > age int,
  4.     > tele string)
  5.     > ROW FORMAT DELIMITED
  6.     > FIELDS TERMINATED BY '\t'
  7.     > STORED AS TEXTFILE;
  8. OK
  9. Time taken: 0.759 seconds
复制代码
这样我们就在Hive里面创建了一张普通的表，现在我们给这个表导入数据：

  1. hive> load data local inpath '/home/wyp/data/wyp.txt' into table wyp;
  2. Copying data from file:/home/wyp/data/wyp.txt
  3. Copying file: file:/home/hdfs/wyp.txt
  4. Loading data to table default.wyp
  5. Table default.wyp stats: [num_partitions: 0, num_files: 1, 
  6.            num_rows: 0, total_size: 67, raw_data_size: 0]
  7. OK
  8. Time taken: 3.289 seconds
  9. hive> select * from wyp;
  10. OK
  11. 1       wyp     25      13188888888888
  12. 2       test    30      13888888888888
  13. 3       zs      34      899314121
  14. Time taken: 0.41 seconds, Fetched: 3 row(s)
复制代码

注意：/home/wyp/data/路径是Linux本地文件系统路径；而/home/hdfs/是HDFS文件系统上面的路径！从上面的输出我们可以看到数据是先从本地的/home/wyp/data/文件夹下复制到HDFS上的/home/hdfs/wyp.txt(这个是Hive中的配置导致的)文件中！最后Hive将从HDFS上把数据移动到wyp表中！移到表中的数据到底存放在HDFS的什么地方？其实在Hive的${HIVE_HOME}/conf/hive-site.xml配置文件的hive.metastore.warehouse.dir属性指向的就是Hive表数据存放的路径（在我的店电脑里面配置是/user/hive/warehouse），而Hive每创建一个表都会在hive.metastore.warehouse.dir指向的目录下以表名创建一个文件夹，所有属于这个表的数据都存放在这个文件夹里面。所以，刚刚导入到wyp表的数据都存放在/user/hive/warehouse/wyp/文件夹中，我们可以去看看：


  1. hive> dfs -ls /user/hive/warehouse/wyp ;
  2. Found 1 items
  3. -rw-r--r-- 3 wyp supergroup   67 2014-01-14 22:23 /user/hive/warehouse/wyp/wyp.txt
复制代码

看到没，上面的命令就是显示HDFS上的/user/hive/warehouse/wyp中的所有内容。如果需要删除wyp表，可以用下面的命令：

  1. hive> drop table wyp;
  2. Moved: 'hdfs://mycluster/user/hive/warehouse/wyp' to 
  3.         trash at: hdfs://mycluster/user/hdfs/.Trash/Current
  4. OK
  5. Time taken: 2.503 seconds
复制代码


从上面的输出Moved: ‘hdfs://mycluster/user/hive/warehouse/wyp’ to trash at: hdfs://mycluster/user/hdfs/.Trash/Current我们可以得知，原来属于wyp表的数据被移到hdfs://mycluster/user/hdfs/.Trash/Current文件夹中（如果你的Hadoop没有取用垃圾箱机制，那么drop table wyp命令将会把属于wyp表的所有数据全部删除！），其实就是删掉了属于wyp表的数据。记住这些，因为这些和外部表有很大的不同。同时，属于表wyp的元数据也全部删除了！
我们再来创建一个外部表：


  1. hive> create external table exter_table(
  2.     > id int,
  3.     > name string,
  4.     > age int,
  5.     > tel string)
  6.     > location '/home/wyp/external';
  7. OK
  8. Time taken: 0.098 seconds
复制代码

仔细观察一下创建表和外部表的区别，仔细的同学们一个会发现创建外部表多了external关键字说明以及location ‘/home/wyp/external’。是的，你说对了！如果你需要创建外部表，需要在创建表的时候加上external关键字，同时指定外部表存放数据的路径（当然，你也可以不指定外部表的存放路径，这样Hive将在HDFS上的/user/hive/warehouse/文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里）：

  1. hive> load data local inpath '/home/wyp/data/wyp.txt' into table exter_table;
  2. Copying data from file:/home/wyp/data/wyp.txt
  3. Copying file: file:/home/hdfs/wyp.txt
  4. Loading data to table default.exter_table
  5. Table default.exter_table stats: [num_partitions: 0, num_files: 
  6.             1, num_rows: 0, total_size: 67, raw_data_size: 0]
  7. OK
  8. Time taken: 0.456 seconds
复制代码

和上面的导入数据到表一样，将本地的数据导入到外部表，数据也是从本地文件系统复制到HDFS中/home/hdfs/wyp.txt文件中，但是，最后数据不是移动到外部表的/user/hive/warehouse/exter_table文件夹中（除非你创建表的时候没有指定数据的存放路径）！大家可以去HDFS上看看！对于外部表，数据是被移动到创建表时指定的目录（本例是存放在/home/wyp/external文件夹中）！如果你要删除外部表，看看下面的操作：

  1. hive> drop table exter_table;
  2. OK
  3. Time taken: 0.093 seconds
复制代码
和上面删除Hive的表对比可以发现，没有输出将数据从一个地方移到任一个地方！那是不是删除外部表的的时候数据直接被删除掉呢？答案不是这样的：

  1. hive> dfs  -ls /home/wyp/external;
  2. Found 1 items
  3. -rw-r--r--  3 wyp supergroup 67 2014-01-14 23:21 /home/wyp/external/wyp.txt
复制代码

你会发现删除外部表的时候，数据并没有被删除，这是和删除表的数据完全不一样的！

最后归纳一下Hive中表与外部表的区别：
1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而表则不一样；
2、在删除表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！
那么，应该如何选择使用哪种表呢？在大多数情况没有太多的区别，因此选择只是个人喜好的问题。但是作为一个经验，如果所有处理都需要由Hive完成，那么你应该创建表，否则使用外部表！

喜欢

0

阅读┊ 收藏 ┊ 喜欢▼ ┊打印┊举报/Report
  

新浪BLOG意见反馈留言板　欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

Copyright © 1996 - 2022 SINA Corporation, All Rights Reserved

新浪公司 版权所有