`

解决hadoop web UI无法访问问题

阅读更多
最近研究hadoop,遇到的小问题还不少,前面刚解决了 134 的问题,忽然发现web UI都无法访问了,检查50030和50070端口:

$netstat -ap|grep 50030

发现侦听的程序都在,结果如下:

tcp        0      0 *:50030                 *:*                     LISTEN      2640/java

通过调用:

$ps -ef|grep 2640

发现是hadoop的JobTracker进程,考虑到在重新编译hadoop本地库之前,web UI都是正常的,觉得应该和这次编译有关,观察启动的JobTracker所调用的类库,多了很多build目录下的内容,在编译本地库之前由于没有build目录,自然也没调用build目录下的类库,觉得比较奇怪,尝试把build目录重新命名或执行删除,没想到web UI就可用了。

此问题应该和hadoop_classpath的配置相关,没有细研究,不过感觉新生事物小问题还是不少啊,还得有充分的思想准备。
分享到:
评论

相关推荐

    hadoop+hive+mapreduce的java例子

    hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。 ...

    hadoop-2.7.2/4-ha-conf

    基本的ha部署配置配置,包含2.7.2版本与2.7.4版本配置,2.7.4采用默认配置修改而来,避免了nm无法启动和rm-web-ui外部无法访问的问题

    Hadoop3.2.0集群搭建常见注意事项

    3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问 二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation hadoop-env.sh中不光需要配置java-...

    cdh6.1.0搭建手册.pdf

    CDH是Apache许可的开放源码,是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 Cloudera作为一个强大的商业版数据中心管理工具,提供了各种能够快速稳定运行的数据计算框架...

    Cloudera CDH大数据平台搭建参考手册

    CDH是Apache许可的开放源码,是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 Cloudera作为一个强大的商业版数据中心管理工具,提供了各种能够快速稳定运行的数据计算框架...

    Hadoop-Zeppelin使用心得

    在编写Flink,Spark,Hive等相关作业时,要是能快速的将我们所编写的作业能可视化在我们...它提供了一个非常友好的WebUI界面,操作相关指令。它可以用于做数据分析和可视化。其后面可以接入不同的数据处理引擎。包括

    【Alluxio分布式存储系统 v2.4.1】以前称为Tachyon+通过公共接口连接众多存储系统

    6、Web UI:用户可以通过Web UI浏览文件系统。在调试模式下,管理员还可以查看每一个文件的详细信息,包括存放位置,检查点路径等。 7、命令行:用户也可以通过./bin/alluxio fs与Alluxio交互,例如:实现将数据从...

    【Alluxio分布式存储系统 v2.4.1】以前称为Tachyon+通过公共接口连接众多存储系统.zip

    6、Web UI:用户可以通过Web UI浏览文件系统。在调试模式下,管理员还可以查看每一个文件的详细信息,包括存放位置,检查点路径等。 7、命令行:用户也可以通过./bin/alluxio fs与Alluxio交互,例如:实现将数据从...

    apache-knox-helm:Apache Knox的舵图

    是一个应用程序网关,用于与Apache Hadoop部署的REST API和UI进行交互。 该图表主要用于使用简单的REST API从Kubernetes集群外部访问HDFS。 该图表使用图像 。 安装图表(需要现有的Hadoop部署) 确保您的Hadoop...

    HBase.docx

    二:访问web ui 9 1.网址 9 三:简单使用(namespace的操作) 11 1.开始 11 2.help 12 3.hbase的shell脚本 13 4.对namespace的操作 13 5.查看namespace 13 5.1 查看namespace下面有什么table 13 6.创建namespace 14 ...

    开源的分布式内存文件系统 Tachyon.zip

     特性:类 Java 的文件 API兼容性:实现 Hadoop 文件系统接口可插入式的底层文件系统内建 Raw 原生表的支持基于 Web 的 UI 提供命令行接口Tachyon 架构:与 HDFS 的比较: Hadoop足够快吗?美国加州大学伯克利分校...

    bistro:Bistro是一种灵活的分布式调度程序,是一种高性能的框架,支持多种范例,同时又易于配置,管理和监视

    Bistro在Facebook上解决了一些各种各样的问题: 针对实时生产数据库(MySQL,HBase,Postgres)安全地运行仅地图ETL任务。 提供用于批处理CPU / GPU计算作业的资源感知作业队列。 将Hadoop替换为HBase上的定期...

    liikennedata:收集坦佩雷市交通公交车位置数据的交通数据项目

    有一个易于使用的公共 Web UI。 有一个公共接口用于对数据视图服务进行 REST 查询。 数据通过高效的视图提供,这些视图为数据提供缓存的、实时的、预先计算的和聚合的参数化视图。 每个视图都有相关的窗口限制;...

    Spark大数据处理_原理算法与实例

    2.3. 1 访问实时 Web UI ························································· 45 2.3.2 从实时 UI 查看作业信息、....... .. .....................

    麒麟:Apache Kylin

    3〜5分钟后,您可以在浏览器中访问Kylin WebUI 。 拉泊坞窗图片docker pull apachekylin/apache-kylin-standalone:3.1.0 启动容器docker run -d \ -m 8G \ -p 7070:7070 \ -p 8088:8088 \ -p 50

    Alluxio分布式存储系统-其他

    6、Web UI:用户可以通过Web UI浏览文件系统。在调试模式下,管理员还可以查看每一个文件的详细信息,包括存放位置,检查点路径等。 7、命令行:用户也可以通过./bin/alluxio fs与Alluxio交互,例如:实现将数据从...

    支持页面上定义的udf,进行sql和jar任务的提交;支持源,接收器,作业的管理;可以管理openshift上的flink

    Flink 1.8.0(表和hadoop依赖项加入lib目录下) node.js(任选,开发前端需要) 快速运行 mvn clean package -DskipTests -Pdev,npm java -jar alchemy-web/target/alchemy-web-1.0.0-SNAPSHOT.jar 访问 ...

Global site tag (gtag.js) - Google Analytics