博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
分布式配置hadoop2.5.0 2.6.x
阅读量:5303 次
发布时间:2019-06-14

本文共 4240 字,大约阅读时间需要 14 分钟。

1. sudo vim /etc/hostname    

  在master的机器上,改成     master

  在slave上写  slave01,02,03......

  配置好后重启。

2. sudo vim /etc/hosts    (此处最好改成内网中服务器的真实ip,不要用浮动ip,否则会出现“Problem binding to [master:9000] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException”错误)

  192.168.1.121 Master

  192.168.1.122 Slave1  

3.ping master     ping slave  

4.ssh无密码登录。

  这个操作是要让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上。

  首先生成 Master 节点的公匙,在 Master 节点的终端中执行(因为改过主机名,所以还需要删掉原有的再重新生成一次):

  1. cd ~/.ssh        # 如果没有该目录,先执行一次ssh localhost
  2. rm ./id_rsa*    # 删除之前生成的公匙(如果有)
  3. ssh-keygen -t rsa     # 一直按回车就可以

  让 Master 节点需能无密码 SSH 本机,在 Master 节点上执行:

  cat ./id_rsa.pub >> ./authorized_keys

  完成后可执行 ssh Master 验证一下(可能需要输入 yes,成功后执行 exit 返回原来的终端)。接着在 Master 节点将上公匙传输到 Slave1 节点:

  scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/  (由于服务器适用密钥登陆,没有密码,此时需要用xftp工具,把id_rsa.pub传送到各个slave节点)

  接着在 Slave1 节点上,将 ssh 公匙加入授权:

  1. mkdir ~/.ssh                 # 如果不存在该文件夹需先创建,若已存在则忽略
  2. cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
  3. rm ~/id_rsa.pub                   # 用完就可以删掉了

  如果有其他 Slave 节点,也要执行将 Master 公匙传输到 Slave 节点、在 Slave 节点上加入授权这两步。

  这样,在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了,可在 Master 节点上执行如下命令进行检验

  ssh Slave1

 

5.配置集群环境

  

    集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件,更多设置项可点击查看官方说明,这里仅设置了正常启动所必须的设置项: slaves、、、、 。

  1, 文件 slaves,将作为 DataNode 的主机名写入该文件,每行一个,默认为 localhost,所以在伪分布式配置时,节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost,也可以删掉,让 Master 节点仅作为 NameNode 使用。

  本教程让 Master 节点仅作为 NameNode 使用,因此将文件中原来的 localhost 删除,只添加一行内容:Slave1。

  2.文件 core-site.xml 改为下面的配置:

    <configuration>

      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Master:9000</value>
      </property>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
      </property>
    </configuration>

  3.件 hdfs-site.xml,dfs.replication 一般设为 3,但我们只有一个 Slave 节点,所以 dfs.replication 的值还是设为 1: 

    <configuration>

      <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Master:50090</value>
      </property>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
      </property>
    </configuration>

  4。文件 mapred-site.xml (可能需要先重命名,默认文件名为 mapred-site.xml.template),然后配置修改如下:

    <configuration>

      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
      <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master:10020</value>
      </property>
      <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master:19888</value>
      </property>
    </configuration>

  5.文件 yarn-site.xml

    <configuration>

      <property>

        <name>yarn.resourcemanager.hostname</name>
        <value>Master</value>
      </property>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    </configuration>

  6.配置好后,将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式,建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行:

    cd /usr/local

    sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件

    sudo rm -r ./hadoop/logs/* # 删除日志文件
    tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制
    cd ~
    scp ./hadoop.master.tar.gz Slave1:/home/hadoop

  在 Slave1 节点上执行:

    sudo rm -r /usr/local/hadoop # 删掉旧的(如果存在)

    sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local

    sudo chown -R hadoop /usr/local/hadoop

  同样,如果有其他 Slave 节点,也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。首次启动需要先在 Master 节点执行 NameNode 的格式化:

    hdfs namenode -format       # 首次运行需要执行初始化,之后不需要

  接着可以启动 hadoop 了,启动需要在 Master 节点上进行:

  1. start-dfs.sh
  2. start-yarn.sh
  3. mr-jobhistory-daemon.sh start historyserver

   通过命令 jps 可以查看各个节点所启动的进程。正确的话,在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程,在 Slave 节点可以看到 DataNode 和 NodeManager 进程。

 

  

转载于:https://www.cnblogs.com/dhName/p/10592819.html

你可能感兴趣的文章
void*类型的指针
查看>>
jQuery plugin
查看>>
android 城市列表
查看>>
数组作为方法参数时的一些意外情况
查看>>
gym 101081F Auction of Services 最小生成树扩展、lca树上倍增
查看>>
EditText在光标处插入字符
查看>>
mysql数据库中实现内连接、左连接、右连接
查看>>
《BI那点儿事》数据流转换——聚合
查看>>
书评: LINQ高级编程
查看>>
MssqlOnLinux 并发处理【8】
查看>>
[.NET MVC4 入门系列06] 在Movie Model和表中添加新字段(Code First Migrations)
查看>>
css图片上加文字
查看>>
Jquery 各种特效
查看>>
Spring Boot学习笔记(七)多数据源下的事务管理
查看>>
python3 ImportError: No module named 'ConfigParser'
查看>>
jQuery获取文本节点之 text()/val()/html() 方法区别
查看>>
mvc下是如何传值的
查看>>
kubespray 容器存储设备 -- rook ceph
查看>>
C# winform treeview checkbox 选中 循环 遍历
查看>>
优秀的PHP开发者是怎样炼成的?
查看>>