好程序員-千鋒教育旗下高端IT職業教育品牌

400-811-9990
我的賬戶
好程序員

專注高端IT職業培訓

親愛的猿猿,歡迎!

已有賬號,請

如尚未注冊?

【大數據】好程序員大數據學習路線完全分布式集群的搭建

[復制鏈接]
1301 0
葉子老師 發表于 2019-8-20 16:38:10 | 只看該作者 |只看大圖 |閱讀模式 打印 上一主題 下一主題
好程序員大數據學習路線完全分布式集群的搭建搭建集群前的準備
?        1、四臺服務器的時間必須同步
?        2、防火墻處于關閉狀態
?        2、四臺服務器必須裝好jdk并且配置好環境變量
一、四臺服務器集群格局
| 服務器  | NameNode | secondaryNameNode | DataNode |
| :-----: | :------: | :---------------: | :------: |
| Hadoop1 |    有    |                   |          |
| Hadoop2 |          |        有         |    有    |
| Hadoop3 |          |                   |    有    |
| Hadoop4 |          |                   |    有    |
二、配置Hadoop1【以下操作在Hadoop1下執行】
1.配置hadoop-env.sh中的JDK路徑
?        編輯hadoop-env.sh文件:
```
vi 【此處為Hadoop的安裝位置】/etc/hadoop/hadoop-env.sh
```
?        修改文件中的# The java implementation to use!
```
export JAVA_HOME=【此處為jdk的安裝路徑】
```
2、指定NameNodeipfsimage等文件的存儲位置
.core-site.xml文件文件
```
vi 【此處為Hadoop的安裝位置】/etc/hadoop/core-site.xml
```
.指定NameNode服務器位置
在文件中添加以如下代碼:
  1. <font size="3"> <property>

  2.         <name>fs.defaultFS</name>

  3.         <value>hdfs://【此處為Hadoop1的ip】:9000</value>

  4. </property></font>
復制代碼

.指定fsimage文件的存儲位置
在文件中添加以如下代碼:
  1. <font size="3"><property>

  2.         <name>hadoop.tmp.dir</name>

  3.         <value>【指定fsimage文件的存儲位置】</value>

  4. </property></font>
復制代碼

例如:
3.指定副本數量、配置secondaryNameNode的啟動
.編輯/hdfs-site.xml文件文件
```
vi 【此處為Hadoop的安裝位置】/etc/hadoop//hdfs-site.xml
```
.指定副本的數量
在文件中添加以如下代碼:
  1. <font size="3"><property>

  2.     <name>dfs.replication</name>

  3.     <value>【此處為副本數量】</value>

  4. </property></font>
復制代碼

.配置secondaryNameNode的啟動
在文件中添加以如下代碼:
  1. <font size="3"><property>

  2.     <name>dfs.namenode.secondary.http-address</name>

  3.     <value>【此處hadoop2的IP】:50090</value>

  4. </property></font>
復制代碼

例如:
3.指定DataNode節點的ip
編輯slaves文件
```
vi 【此處為Hadoop的安裝位置】/etc/hadoop/slaves
```
在文件中寫入所有DataNode節點的IP
例如:
三、分發安裝包給hadoop2hadoop3hadoop4
分別執行下面三條代碼:
```
scp -r 【此處為Hadoop的安裝位置】 hadoop2:/opt/software/
```
```
scp -r 【此處為Hadoop的安裝位置】 hadoop3:/opt/software/
```
```
scp -r 【此處為Hadoop的安裝位置】 hadoop4:/opt/software/
```
四、配置每臺服務器的Hadoop環境變量
1.編輯profile文件
```
vi /etc/profile
```
2.在文件末插入如下兩行
```
export HADOOP_HOME=【此處為Hadoop的安裝位置】
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
```
五、格式化nameNode
Hadoop1上運行如下代碼
```
hadoop namenode -format
```
注意:格式化成功后就不要再格式化了
格式化成功的標志如下圖:
六、啟動/停止集群
全部啟動/停止
```
start-all.sh
stop-all.sh
```
模塊化開啟/停止

start-dfs.sh
stop-dfs.sh

單個角色啟動/停止

hadoop-daemo.sh start namenode/datanode/secondarynamenode
hadoop-daemo.sh stop namenode/datanode/secondarynamenode
好程序員大數據培訓官網:http://www.zugymq.live/

精彩內容,一鍵分享給更多人!
收藏
收藏0
轉播
轉播
分享
淘帖0
支持
支持0
反對
反對0
回復

使用道具 舉報

您需要登錄后才可以回帖

本版積分規則

關注我們
好程序員
千鋒好程序員

北京校區(總部):北京市海淀區寶盛北里西區28號中關村智誠科創大廈

深圳西部硅谷校區:深圳市寶安區寶安大道5010號深圳西部硅谷B座A區605-619

杭州龍馳智慧谷校區:浙江省杭州市下沙經濟技術開發區元成路199號龍馳智慧谷B座7層

鄭州校區:鄭州市二七區航海中路60號海為科技園C區10層、12層

Copyright 2007-2019 北京千鋒互聯科技有限公司 .All Right

京ICP備12003911號-5 京公安網11010802011455號

請您保持通訊暢通1對1咨詢馬上開啟

广东36选7玩法