详细讲解一下Hadoop3.2 集群新版本的搭建过程

吃苹果的上帝 2019-04-10 15:32:21 ⋅ 752 阅读

Hadoop3.2 集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。

大猪 为了把文章压缩极简方便小伙伴阅读,将使用root帐号进行所有操作。

  1. 准备两台主机10.211.55.1110.211.55.12

  2. 对应的hostname为m1.example.comm2.example.com
    具体命令操作如下


  3. 主机免密钥登录


  1. 同步hosts


  1. 下载 jdk1.8


  2. 配置Java环境


  3. 环境变量生效 source /etc/profile

  1. 两台主机创建好hadoop的文件夹


  1. 环境配置 hadoop-3.2.0.tar.gz


  2. 参数配置

运行用户操作,添加如下几句到 /soft/hadoop/etc/hadoop/hadoop-env.sh


  1. 环境变量生效 source /etc/profile

  2. hadoop 配置文件

core-site.xml 配置


hdfs-site.xml 配置


yarn-site.xml 配置


mapred-site.xml 配置


  1. 格式化name文件夹   hadoop namenode -format

  2. 启动 start-all.sh
    成功结果如下


  3. 访问 http://m1.example.com:8088/cluster


心明眼亮的你、从此刻开始。

   

---------------END----------------

后续的内容同样精彩

长按关注“IT实战联盟”哦



全部评论: 0

    我有话说:

    Apache HBase 2.3.2 发布,分布式存储系统

    Apache HBase 2.3.2 已经发布。HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩分布式存储系统,利用 HBase 技术可在廉价 PC

    微服务架构:网站扫码登录功能设计

    微信扫码登录大家都是应用比较多登录方式了,现在大购物网站像京东、淘宝等都支持使用APP扫码登录网站了。今天就用APP扫码登录网站实例来举例说明微服务架构过程

    Docker - 大数据环境快速步骤

    快速一个大数据环境,我们可以使用Docker来实现,文章会演示如何使用。

    架构实战篇(三)-Spring Boot架构RESTful API案例

    之前分享了Spring Boot 整合Swagger 让API可视化和前后端分离架构 受到了大家一致好评 ,本节就接着上节代码做了详细查询代码补充和完善并RESTful API架构案例。

    Dubbo3.0 来了:服务发现百万,可伸缩微服务架构

    展现 Dubbo3 在性能方面提升,尤其是引...

    Nodejs https服务器

    第一部分 https服务器 前奏首先需要理解几个概念 HTTPS HTTP是一个网络协议,是专门用来传输 Web 内容; SSL(Secure Sockets Layer)缩写

    「开源资讯」免费站系统,Joomla 3.9.22 发布

    Joomla简介 Joomla!是一套全球知名内容管理系统,占有全球6%网站市场份额。 Joomla!是使用PHP语言加上MySQL数据库所开发软件系统。可以在Linux、 Windows

    「360技术」Pika 3.4.0 发布,从单机到

    pika 3.4.0 发布了。pika 是 360 公司发布一个可持久化大容量 redis 存储服务,兼容 string、hash、list、zset、set 绝大部分接口,解决 redis

    蚂蚁宣布开源 KubeTEE:云原生化机密计算框架

    蚂蚁在上海外滩大会可信原生技术论坛上宣布开源 KubeTEE。 KubeTEE 是一个云原生大规模化机密计算框架,旨在解决在云原生环境中 TEE 可信执行环境技术特有从开发、部署到运维整体流程

    微信小程序微商城(一):https框架并实现导航功能

    本文将带领大家https小程序框架,并实现动态获取数据展示效果!

    Spring Boot 2.3.6 发布,Bugfix 版本

    Spring Boot 2.3.6 已发布,可从 Maven 中央仓库获取版本。 <!-- https://mvnrepository.com/artifact/org

    Linux 下安装 Elasticsearch5.6.x 详细步骤以及踩坑解决方案

    网上有各种ES版本安装步骤和问题解决方案,但是在安装过程中还是遇到了许多问题,那么今天来整理一份详细安装过程以及碰到问题和心得;有什么不对和问题希望大家留言一起讨论。

    Bootstrap 图标 v1.2.0 发布-包含数十个图标

    我们最新 Bootstrap Icons 发布版包含数十个图标、重新设计文档和呼声最高特性 —— 图标字体! 社交网络图标 我们社交图标工作一开始比较慢 —— 人们可能只

    FreeBSD 12.2 beta 3 发布

    FreeBSD 12.2 beta 3 已经发布,此版本主要变化包括: 修复了 certctl(8) 安装问题 从 OpenZFS 添加了对 ZFS 数据读/写 kstats 默认 vm

    MySql实战篇:写一个简单存储过程,完成订单定时任务

    前言之前我们分享了MySql性能优化、索引详解等内容,本篇文章主要是针对想要入门MySql存储过程读者,主要实现业务是订单库里面超过30分钟没有支付订单全部置为失效订单......

    Flink + 强化学习实时推荐系统

    如今推荐系统,对于实时性要求越来越高,实时推荐流程大致可以概括为:推荐系统对于用户请求产生推荐,用户对推荐结果作出反馈 (购买/点击/离开等等),推荐系统再根据用户反馈作出推荐。这个过程

    Spring Boot 2.4.0-RC1, 2.1.18, 2.2.11 和 2.3.5 发布

    Spring Boot 多个分支发布了版本,分别是 2.4.0-RC1, 2.1.18, 2.2.11 和 2.3.5。 Spring Boot 2.4.0-RC1 此版本是