HDFS文件和HIVE表的一些操作
首页
Python
Java
PHP
IOS
Andorid
NodeJS
JavaScript
HTML5
HDFS文件和HIVE表的一些操作
Suckseedeva
2022-11-09
原文
1. hadoop fs -ls 可以查看HDFS文件
后面不加目录参数的话，默认当前用户的目录。/user/当前用户
$ hadoop fs -ls
16/05/19 10:40:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 3 items
drwxr-xr-x - yy yy 0 2016-04-24 08:00 .Trash
drwx------ - yy yy 0 2016-05-06 06:00 .staging
drwxr-xr-x - yy yy 0 2016-05-06 06:00 oozie-oozi
也可以加目录，显示指定目录的HDFS文件。
$ hadoop fs -ls /user/yy
16/05/19 10:44:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 3 items
drwxr-xr-x - yy yy 0 2016-04-24 08:00 /user/yy/.Trash
drwx------ - yy yy 0 2016-05-06 06:00 /user/yy/.staging
drwxr-xr-x - yy yy 0 2016-05-06 06:00 /user/yy/oozie-oozi
2. hadoop fs -mkdir 可以创建文件夹
$ hadoop fs -mkdir upload
hadoop fs –rmr 可以删除文件夹/文件
3. hadoop fs -put 可以上传本机的HDFS文件
hadoop fs -put pc/* upload
hadoop fs -get 可以把HDFS的文件下载到本机
hadoop fs -put upload/collect_20160518.txt /home/yy
4. hadoop fs -cat 可以读取HDFS文件
$ hadoop fs -cat upload/collect_20160515.txt|head -10
5. HDFS 和hive表
external 外部分区表：
1）HDFS文件，要按分区存储，比如下面，分区为dt，对应的是2016-05-19下面的文件。
/user/yy/upload/wireless/2016-05-19
2）创建external表指向该存储（分区的上一层）
drop table if exists external_weblog_wireless;
create external table external_weblog_wireless
thedate string,
time_stamp string,
url_title string
partitioned by (dt string)
row format delimited fields terminated by ','
stored as textfile location '/user/yy/upload/wireless/';
3）添加新分区，指向分区目录
alter table external_weblog_wireless add partition (dt='2016-05-19') location '/user/yy/upload/wireless/2016-05-19';
4) 这种外部表分区存储，很适合增量数据。
external外部非分区表：
直接指向存储的最终location，建表即生成了数据表。
drop table if exists external_weblog_wireless;
create external table external_weblog_wireless
thedate string,
time_stamp string,
url_title string
partitioned by (dt string)
row format delimited fields terminated by ','
stored as textfile location '/user/yy/upload/wireless/2016-05-19';
6. hive 表导出（待补充）
注意：
hadoop fs 和hdfs dfs 作用一样。都可以在本机上查看HDFS文件。
HDFS下的文件可以压缩存储，这样能够减少表查询时对Hadoop集群的IO。
压缩可以按正常的linux压缩，比如 tar -zvcf，.tar.gz
也可以按hadoop的格式压缩。
压缩后，跟普通文件一样上传即可。
3. 常用的几个查询tips
查看分区： show partitions 表名;
查看创表语句：show create table 表名；
7. 提交MAPREDUCE JOB
原则上说，Hadoop所有的MapReduce Job都是一个jar包。
运行一个/home/admin/hadoop/job.jar的MapReduce Job
进入HADOOP_HOME目录。
执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
8. 杀死某个正在运行的JOB
假设Job_Id为：job_201005310937_0053
进入HADOOP_HOME目录。
执行sh bin/hadoop job -kill job_201005310937_0053
HDFS文件和HIVE表的一些操作的更多相关文章
hive表分区相关操作
Hive 表分区 Hive表的分区就是一个目录,分区字段不和表的字段重复 创建分区表: create table tb_partition(id string, name string) PARTIT ...
hadoop执行hdfs文件到hbase表插入操作(xjl456852原创)
本例中需要将hdfs上的文本文件,解析后插入到hbase的表中. 本例用到的hadoop版本2.7.2 hbase版本1.2.2 hbase的表如下: create 'ns2:user', 'info ...
Hive基础之Hive表常用操作
本案例使用的数据均来源于Oracle自带的emp和dept表 创建表 语法: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name ...
spark相关介绍-提取hive表（一）
本文环境说明 centos服务器 jupyter的scala核spylon-kernel spark-2.4.0 scala-2.11.12 hadoop-2.6.0 本文主要内容 spark读取hi ...
【读书笔记】C#高级编程 第二十四章 文件和注册表操作
(一)文件和注册表 对于文件系统操作,相关的类几乎都在System.IO名称空间中,而注册表操作由System.Win32名称空间中的类来处理. (二)管理文件系统 System.MarshalByR ...
spark使用Hive表操作
spark Hive表操作 之前很长一段时间是通过hiveServer操作Hive表的,一旦hiveServer宕掉就无法进行操作. 比如说一个修改表分区的操作 一.使用HiveServer的方式 v ...
Hive(6)-DML数据操作
一. 数据导入 1. 语法 load data [local] inpath 'path' [overwrite] into table table_name [partition (partcol1 ...
2.7-2.8 导入、导出数据(进/出)hive表的方式
一.导入数据进hive表 1.语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (p ...
[Hive]使用HDFS文件夹数据创建Hive表分区
描写叙述: Hive表pms.cross_sale_path建立以日期作为分区,将hdfs文件夹/user/pms/workspace/ouyangyewei/testUsertrack/job1Ou ...
随机推荐
js获取可视区大小和页面大小的兼容性写法
var getPageSize = function() { var scrW, scrH; if(window.innerHeight && window.scrollMaxY) { ...
linux下安装安装pcre-8.32 configure: error: You need a C++ compiler for C++ support
linux下安装安装pcre-8.32./configure --prefix=/usr/local/pcre 出现以下错误configure: error: You need a C++ compi ...
checkbox与jq<转>
题:经常使用jQuery插件的attr方法获取checked属性值,获取的值的大小为未定义,此时可以用prop方法获取其真实值,下面介绍这两种方法的区别: 1.通过prop方法获取checked属性, ...
K910 升级Android 4.4.2可用的Google Service Framework
把手机换成了K910, 看上的是骁龙800的cpu和电子罗盘... 比V987是升级一大截了. 花了一个晚上加半个上午的时间终于搞定了GoogleServiceFramework, 试了大概四五个网上 ...
条件注释判断浏览器版本<!--[if lt IE 9]>
<!--[if !IE]><!--> 除IE外都可识别 <!--<![endif]--><!--[if IE]> 所有的IE可识别 <![e ...
解决MWPhotoBrowser中的SDWebImage加载大图导致的内存警告问题
下面两种现象,用同一种方法解决 1.解决MWPhotoBrowser中的SDWebImage加载大图导致的内存警告问题 2.突然有一天首页访问图片很慢,至少隔20多秒所有图片才会出来.(解析:app使 ...
hessian学习
hessian是一个采用二进制格式传输的服务框架,相对传统soap web service,更轻量,更快速.官网地址:http://hessian.caucho.com/ 目前已经支持N多语言,包括: ...
ios蓝牙开发（四）app作为外设被连接的实现－转发
代码下载: 原博客中大部分示例代码都上传到了github,地址是:https://github.com/coolnameismy/demo. 再上一节说了app作为central连接periphera ...
详解javascript 存储
javascript用于存储的方式可谓是多种多样,善于应用‘存储’可以大大的提高网站的性能,博主结合日常开发常见需求做一下总结,希望对大家有用- 1.cookie 存储大小: 4kb左右,以20个 ...
挖掘机力矩限制器/挖掘机称重系统/挖泥机称重/Excavators load protection/Load moment indicator
挖掘机力矩限制器是臂架型起重机机械的安全保护装置,本产品采用32位高性能微处理器为硬件平台 ,软件算法采用国内最先进的液压取力算法,该算法吸收多年的现场经验,不断改进完善而成.本产品符合<GB1 ...
热门专题
mongoTemplate.find 不映射实体类
sql _concat函数
DELPHI 发送快捷键给指定
maya2019如何清理注册表
金融计算中有什么特殊规定的天数
unity3d 在某方向上移动
sql拼接字符串列转行
OpenGL环境win10
小程序 以下文件没有被打包上传
广播电视Transition margin 什么意思
函数参数为int*和int&的区别
abc 到cba反转
LevelSet_CV_水平集
printPDFBuilder具体解释pdf文件操作命令
rmii协议verilog
fiddler json数据上传
gin.use的作用
mui dtPicker日历控件只显示当前时间之前
在微服务中 @Transactional为什么会失效
libtorch部署yolo7模型
Home
Powered By WordPress