详细解析 hadoop 分布式布局
发布时间：2022-05-13 12:34:17 所属栏目：云计算 来源：互联网
导读：详细解析 hadoop 分布式布局： 1.硬件环境 共有 3 台机器,均使用的 linux 系统,Java 使用的是 jdk1.6.0。 配置如下: hadoop1.example.com:192.168.2.1(NameNode) hadoop2.example.com:192.168.2.2(DataNode) hadoop3.example.com:192.168.2.3 (DataNode) had
|
5.hadoop配置文件 $cd /home/hadoop/hadoop/conf conf/core-site.xml: 复制 <configuration> <property> <name>fs.default.name</name> <value>hdfs://hadoop1.example.com:9000</value> </property></configuration> conf/hdfs-site.xml: 复制 <configuration> <property> <name>dfs.replication</name> <value>2</value> </property></configuration> conf/mapred-site.xml: 复制 <configuration> <property> <name>mapred.job.tracker</name> <value>hadoop1.example.com:9001</value> </property></configuration> 伪分布式测试： $mkdir ～/bin $ln -s /home/hadoop/hadoop/jdk/bin/jps ~/bin/ $cd /home/hadoop/hadoop/ $bin/hadoop namenode -format 先进行初始化 $bin/start-all.sh web测试192.168.2.1：50070 192.168.2.1：50030 $rm -fr input/ output/ test/ $bin/hadoop fs -mkdir input $bin/hadoop fs -put conf input $bin/hadoop fs -lsr 192.168.2.1：50075下查看/usr/hadoop/input是否有变化 6.部署Hadoop 前面讲的这么多 Hadoop 的环境变量和配置文件都是在 hadoop1 这台机器上的,现在需要将 hadoop 部署到其他的机器上,保证目录结构一致。 $scp -r /home/hadoop/hadoop hadoop2.example.com:/home/hadoop/ $scp -r /home/hadoop/hadoop hadoop3.example.com:/home/hadoop/ $scp -r .ssh/ hadoop2: $scp -r .ssh/ hadoop3: 注意还要修改以下文件： $cd /home/hadoop/hadoop/conf conf/masters 复制 hadoop1.example.com conf/slaves 复制 hadoop2.example.com hadoop3.example.com $ln -s hadoop-1.2.1/ hadoop $mkdir ~/bin $ln -s ~/hadoop/jdk/bin/jps ~/bin 至此,可以说,Hadoop 已经在各个机器上部署完毕了,下面就让我们开始启动 Hadoop 吧。 7. 启动 Hadoop 启动之前,我们先要格式化 namenode,先进入~/hadoop/目录,执行下面的命令: 复制 $bin/hadoop namenode –format 1. 不出意外,应该会提示格式化成功。如果不成功,就去 hadoop/logs/目录下去查看日志文件。 下面就该正式启动 hadoop 啦,在 bin/下面有很多启动脚本,可以根据自己的需要来启动。 * start-all.sh 启动所有的 Hadoop 守护。包括 namenode, datanode, jobtracker,tasktrack * stop-all.sh 停止所有的 Hadoop * start-mapred.sh 启动 Map/Reduce 守护。包括 Jobtracker 和 Tasktrack * stop-mapred.sh 停止 Map/Reduce 守护 * start-dfs.sh 启动 Hadoop DFS 守护.Namenode 和 Datanode * stop-dfs.sh 停止 DFS 守护 在这里,简单启动所有守护: 复制 [hadoop@hadoop1:hadoop]$bin/start-all.sh $jps 查看JobTracker，Jps，SecondaryNameNode，NameNode是否启动成功。 同样,如果要停止 hadoop,则 复制 [hadoop@hadoop1:hadoop]$bin/stop-all.sh （编辑：揭阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐