Hadoop安装教程

​ 保姆级安装教程😆,从CentOS7系统的搭建、JDK的配置到Hadoop的安装

一、安装CentOS操作系统

  1. 首先下载CentOS7的镜像:国内阿里云镜像地址

    镜像地址

  2. 虚拟机安装:我这里用的是VirtualBox(已安装或者有VMware可忽略),下载地址:VirtualBox

    VirtualBox下载

  3. 打开虚拟机,开始安装

    • 点击新建

      新建

    • x虚拟电脑名称及安装目录

      名称自定义,最好见名知意,这里直接采用操作系统名

      文件夹是安装操作系统存放的目录,可以改到D盘某个文件夹下(建议路径不要有中文)

      类型为Linux,版本为Red Hat 64位

      电脑名称

    • 内存分配

      内存分配

    • 默认“现在创建虚拟硬盘”

    • 默认“VDI”

    • 默认“动态分配”

    • 文件位置和大小

      默认分配10G,建议多分配些空间

    • 创建完成,打开设置

    • 点击存储,依次点击:

      选择下载好的CentOS镜像

    • 点击OK后,返回启动

    • 默认已经选择好盘片,再次点击启动

    • 按回车键,进入默认安装

    • 点击虚拟机,让虚拟机捕获鼠标,选择语言。退出虚拟机鼠标切换到主机按电脑键盘右边的Ctrl键

    • 自动分区

      开始安装

      安装时间较长,期间我们可以设置root密码和创建用户

    • 安装完成后重启,重启后选择第一个(没有这一界面则忽略)

    • 重启后接受许可证

    • 完成许可证后,点击“完成配置”,进入登录

    • 登录到用户界面后,检查联网状况

    • 桌面鼠标右键打开终端ping百度,检验是否成功

      Ctrl+c停止线程

二、安装JDK、Hadoop

  1. 切换root用户

    su root
    

    输入密码时是看不见且不显示的,并不是没输入进去

  2. 进入opt目录下

    cd /opt/
    
  3. 创建两个目录,目录并进入software目录

    mkdir software module
    cd software
    
  4. 在这里下载JDK与Hadoop

    wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/8/jdk/x64/linux/OpenJDK8U-jdk_x64_linux_hotspot_8u322b06.tar.gz
    
    wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.2.tar.gz
    

    找到的都是国内的镜像,下载都很快

  5. 下载好后使用ls查看,这时software下就用两个压缩包了

    我之前已经装好的,跟刚下载的版本可能不相同

  6. 解压缩到module目录下

    小技巧:OpenJDK8...太长,只输入Open再按Tab键会自动补全

    #解压缩jdk
    tar -zxvf OpenJDK8U-jdk_x64_linux_hotspot_8u322b06.tar.gz -C /opt/module/
    #解压缩Hadoop
    tar -zxvf hadoop-3.3.2.tar.gz -C /opt/module/
    

三、配置JDK和Hadoop

  1. 我们不修改原本的profile文件,自己另外写一个配置文件

    vi /etc/profile.d/my_env.sh
    

    按“i”键进入插入模式,将下列配置写进去:

    #JAVA_HOME
    export JAVA_HOME=/opt/module/OpenJDK8U-jdk_x64_linux_hotspot_8u322b06
    export PATH=$PATH:$JAVA_HOME/bin
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-3.3.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    

    按“ESC”退出编辑模式,再按“ Shift ” + “ :”键,输入wq,按回车,即可保存退出

  2. 更新配置文件

    source /etc/profile
    
  3. 在命令行里输入java:

    看到以上信息,表明java的配置文件生效了

  4. 在命令行输入hadoop:

    hadoop也配置成功了!