你的位置:首页 > 网海拾贝

Hadoop2安装---伪分布式模式

2016-06-08 浏览:(6605) 网海拾贝 评论(0)

首先需要安装ssh  安装略

一、免密码ssh设置

ssh-keygen -t rsa 一直按<Enter> 由于不设置密码,所以就一直回车就行。

测试:

ssh localhost 其实是否必须使用ssh密码设置?我也不太清楚,很多帖子都需要这步,但官方网上没有这步。如果你有兴趣可以不操作这步试试,可能伪分布模式不需要ssh密码验证。呵呵我也是菜鸟,也不太清楚。但ssh一定是要安的。

二、修改配置文件

修改的文件都在/usr/local/hadoop-2.0.2-alpha/etc/hadoop下:

core-site.xml、hdfs-site.xml、yarn-site.xml 、mapred-site.xml. 四个文件

文件说明(略)

配置文件的添加和修改都在<configuration></configuration> 中

1、core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://127.0.0.1:9000</value>
</property>

添加hdfs的指定URL路径,由于是伪分布模式,所以配置的是本机IP ,可为真实Ip、localhost。

官网上还提到io.file.buffer.size配置,由于默认的比较小只有4096,所以可以安装自己的需求写该131072(官方提供)。由于我这里只是做测试,配置越简单越好。

2、hdfs-site.xml

<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/local/hadoop-2.0.2-alpha/dfs/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/local/hadoop-2.0.2-alpha/dfs/data</value>
</property>

主要是对namenode 和 datanode 存储路径的设置。其实默认是存储在file://${hadoop.tmp.dir}/dfs/name和data 下的。所以这里也不需配置的。但默认的师临时文件,重启就没有了,所以我这里还是设置了专门的路径保存。

3、mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

好像hadoop2有了yarn所以原来的mapred配置都转向yarn-site.xml文件中了,这里也就指定yarn。同时这里也可以配置一些mapreduce.map.java.opts、mapreduce.reduce.java.opts等很多,当然我这里还是使用默认的。

4、yarn-site.xml

为了简单,快速做测试,我还是使用默认的。

三、启动

启动的文件都是 sbin下,bin下的都是命令。如果你为了方便可以把这两个目录添加到环境变量中去,这样就可以直接运行命令,而不用运行绝对路径。配置环境变量略(我这里还是用绝对路径)。

切换到该安装目录下

首先格式化 namenode

bin/hdfs namenode -format 确定不报错,且出现

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at startos/192.168.0.101

************************************************************/

startos/192.168.0.101是我的计算机名和Ip

启动namenode

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

运行测试

jps 出现:

8431 Jps

8353 DataNode

8271 NameNode

证明启动成功,如果没有出现DataNode或者NameNode,证明启动没有成功,可以查看hadoop安装目录下的logs下的日志记录。

可以使用sbin/hadoop-daemon.sh stop datanode(datanode)来关闭。

启动Manage管理

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

运行测试

jps

出现:

8353 DataNode
8271 NameNode
8676 Jps
8462 ResourceManager

证明启动成功 同时也可以使用yarn-daemon.sh stop resourcemanager(nodemanager)来关闭。

如果没有单独配置yarn-site.xml中的yarn.resourcemanager.webapp.address,默认的端口8088 访问

http://127.0.0.1:8088/  就可以访问hadoop管理页面

如果没有单独配置 hdfs-site.xml中的dfs.namenode.http-address,默认端口50070

http://127.0.0.1:50070 就可以访问namenode节点信息。

注:网上很多地方都说用start-dfs.sh、 start-yarn.sh可以简略上面的步骤,但我还想没有成功,所以还是老实点,strat-all.sh stop-all.sh都没戏。

四、运行实例

还是同单机模式测试一样创建要上传的文件

切换到该安装目录下,建立要上传到hadoop的两个文件 test1.txt、test2.txt

mkdir input
cd input
echo "hello world" > test1.txt
echo "hello hadoop" > test2.txt
cd ..

把input目录中的文件拷贝到dnfs上,并保存在in目录中

bin/hadoop dfs -put input/ /in

其中/in 中的/ 是hdfs下的目录,好像不加/ 不能上传。

参考

bin/hadoop dfs -ls /in 就可以查看到in文件夹下的两个文件,同时也可以通过http://127.0.0.1:50070 查看节点下的文件。

  • 发表评论
  • 查看评论
【暂无评论!】

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。