`

hadoop单机安装要点

阅读更多
今天安装了hadoop的单机版,参照网上的一些博文,终于成功了,环境如下:

Hadoop版本:hadoop-0.20.203.0
Java JDK版本:1.6.0_29
linux环境:suse 9

参照博文:
http://www.cnblogs.com/maczpc/archive/2010/01/17/1650191.html

在参照上述博文的基础上,还有如下几个要点:

1、检查SSH是否安装,命令如下:
$ssh -version

2、配置JAVA_HOME,在 conf/hadoop-env.sh 中添加如下内容:
export JAVA_HOME=/opt/jdk1.6.0_29

3、检查hadoop配置:
   conf/core-site.xml内容如下:
...
<configuration>
 <property>     
    <name>fs.default.name</name>     
    <value>hdfs://localhost:9000</value>     
 </property>
</configuration>

  hdfs-site.xml内容如下:
...
<configuration>
  <property>     
    <name>dfs.replication</name>     
    <value>1</value>     
  </property>
</configuration>

  mapred-site.xml内容如下:
...
<configuration>
  <property>     
    <name>mapred.job.tracker</name>     
    <value>localhost:9001</value>     
  </property>
</configuration>


4、以root方式启动,会遇到问题,提示如下:
   hadoop Unrecognized option: -jvm 
  检查bin/hadoop,发现如下内容:
  if [[ $EUID -eq 0 ]]; then
    HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"
  else
    HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
  fi
  如果是root用户启动,需要传 -jvm参数,不知是何用意,暂时先注掉,如下所示:
  #  if [[ $EUID -eq 0 ]]; then
  #    HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"
  #  else
       HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
  #  fi
  启动正常

5、格式化新的文件系统,启动hadoop
  $bin/hadoop namenode –format
  $bin/start-all.sh


6、启动完毕,可以通过如下地址查看启动情况:
   NameNode - http://host:50070/
  JobTracker - http://host:50030/

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics