zeppelin的安装与使用 - 蜗牛不爱海绵宝宝 - 博客园
首页
新闻
博问
专区
闪存
班级
我的博客
我的园子
账号设置
简洁模式 ...
退出登录
注册
登录
蜗牛不爱海绵宝宝
博客园
首页
新随笔
联系
订阅
管理
zeppelin的安装与使用
　　想起马上就能回家了,心情是按捺不住的激动，唉，还是继续努力吧，其实不希望那么快就回家,感觉回去了就意味着马上就要回来了,人真的是神奇呀
　　今天我们来使用zeppelin,这个就是可以把我们查找的数据可以图形化的方式显示出来,好了,今天开始我们的任务吧
　　1.首先我们要下载zeppelin的压缩包,当我们解压之后(这一台主机上面已经安装过了java的环境)
　　2.修改配置环境
　　　进入conf/
　　　将zeppelin-env.sh.template修改为zeppelin-env.sh
　　　将zeppelin-site.xml.template修改为zeppelin-site.xml
　　
　　　然后我们接下来修改conf/zeppelin-env.sh新增
　　　　　　export SPARK_MASTER_IP=192.168.109.136
　　　　　　export SPARK_LOCAL_IP=192.168.109.136
　　3.启动zeppelin
　　　　进入zeppelin:进入bin目录下执行./zeppelin-daemon.sh start
　　　　然后浏览器访问192.168.109.136:8080进入界面
　　
　　　　　　此时就启动成功
　　4.zeppelin简单实用
　　　　1.text
　　　　
　　　　2.html
　　　　
　　　　3.table
　　　　
　　　　
　　　　5.可以对数据进行分析
　　　　对于我做的最多的分析,就是基于学校的那个资料,我有学校里面的信息,这个里面的每一行的信息是以","
　　　　进行分隔,这个其中里面的民族,此时我们对这个民族进行分析
　　　　
　　　　由于我们这个zeppelin是在linux里面的启动,所以我们必须把原有的数据放到linux的里面,此时zeppelin读的文件目录是linux里面的目录
　　　　
　　　　
　　　　则此时我们就可以对数据库里面的东西进行视图分析,我们通过这个数据,我们发现通过读取数据
　　　　,以分组的方式,然后在查询数据有多少个,这样就可以对数据进行显示
　　　　a.
val text = sc.textFile("/tmp/xjdx.txt")
case class Person(college:String,time:Integer)
val rdd1 = text.map(line =>{
val fields = line.split(",")
if(fields.length >=10){
val mz = fields(10)
Person(mz,1)
}else{
Person("1",1)
})
　　　　b.
rdd1.toDF().registerTempTable("rdd1")
　　　　c.
%sql select college,count(1) from rdd1 group by college
　　　　这个里面只是针对于存储介质是文件的形式,对于数据库的那个有问题,我会在以后的章节继续介绍的,敬请期待
何当共剪西窗烛，却话巴山夜雨时
posted @
2017-01-17 01:47
蜗牛不爱海绵宝宝
阅读(18695)
评论(2)
编辑
收藏
举报
刷新评论刷新页面返回顶部
Copyright 2022 蜗牛不爱海绵宝宝
Powered by .NET 7.0 on Kubernetes