澳门威利斯人_威利斯人娱乐「手机版」

来自 办公软件 2019-11-04 17:41 的文章
当前位置: 澳门威利斯人 > 办公软件 > 正文

安装与配置大数据软件,Ubuntu下Hadoop快速安装手

一、环境

铺排所需软件:

Ubuntu 14.04下Hadoop 2.6.0单机配置和伪分布式配置

Ubuntu 14.04下Hadoop 2.6.0单机配置和伪布满式配置

内需再行编写翻译的教程:

在Ubuntu下创办Hadoop客商组和客商

Hadoop的领队最佳正是事后要登入桌面遭受运营eclipse的客商,否则前面会有屏绝读写的主题素材应时而生。当然不是也许有一些子措施解决。

  1. 创建hadoop用户组;

sudo addgroup hadoop

  1. 创建hadoop用户;

sudo adduser -ingroup hadoop hadoop

  1. 给hadoop顾客拉长权限,展开/etc/sudoers文件;

sudo gedit /etc/sudoers
在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL.

在Ubuntu下安装JDK
具体见:          //JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25

安装ssh服务

sudo apt-get install ssh openssh-server

树立ssh无密码登陆本机
切换成hadoop客商,施行以下命令:

su - hadoopssh生成密钥有rsa和dsa两种生成格局,暗许景况下接纳rsa方式。

  1. 创制ssh-key,,这里大家运用rsa方式;

ssh-keygen -t rsa -P "" (注:回车的前面会在~/.ssh/下生成四个文本:id_rsa和id_rsa.pub那五个公文是成对现身的卡塔 尔(阿拉伯语:قطر‎

2. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,起先是不曾authorized_keys文件的;

cd ~/.ssh
cat id_rsa.pub >> authorized_keys (完成后就可以无密码登入本机了。卡塔 尔(英语:State of Qatar)

  1. 登录localhost;

ssh localhost

  1. 实行退出命令;

exit
安装hadoop

下载地址:

  1. 把hadoop解压到/usr/local下:

sudo tar -zxvf hadoop-2.6.0.tar.gz
sudo mv hadoop-2.6.0 /usr/local/hadoop
sudo chmod -R 775 /usr/local/hadoop
sudo chown -PAJERO hadoop:hadoop /usr/local/hadoop  //不然ssh会拒却访谈

2.配置

修改bashrc的配置:

sudo gedit ~/.bashrc

在文件末尾增加:

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END
黄金年代经不明白JAVA_HOME能够由此命令获得:

update-alternatives --config java目录取到java根目录就可以。

施行上边三令五申使改变生效:

source ~/.bashrc
修改hadoop-env.sh的配置:

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME改为地点的值。

测试
由此推行hadoop自带实例WordCount验证是或不是安装成功

 /usr/local/hadoop路线下创设input文件夹 

mkdir input
cp README.txt input
在hadoop目录下推行WordCount:

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar
org.apache.hadoop.examples.WordCount input output

Hadoop伪布满式配置

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
 sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml //此项无需

<configuration>
 <property> 
      <name>mapred.job.tracker</name> 
      <value>localhost:9001</value> 
    </property> 
</configuration> sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

 sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/dfs/data</value>
    </property>
    <property>                //那天性子节点是为了防御前边eclopse存在谢绝读写设置的
            <name>dfs.permissions</name>
            <value>false</value>
    </property>
 </configuration>
sudo gedit /usr/local/hadoop/etc/hadoop/masters 添加:localhost

sudo gedit /usr/local/hadoop/etc/hadoop/slaves  添加:localhost

有关配置的某个表达:上边只要配置 fs.defaultFS 和 dfs.replication 就可以运维,可是有个说法是如未有配备 hadoop.tmp.dir 参数,那个时候 Hadoop 私下认可的采纳的暂且目录为 /tmp/hadoo-hadoop,而这些目录在历次重启后都会被干掉,必需再一次实行 format 才行(未认证卡塔 尔(阿拉伯语:قطر‎,所以伪布满式配置中最佳大概设置一下。

配备实现后,首先在 Hadoop 目录下创设所需的一时目录:

cd /usr/local/hadoop
mkdir tmp dfs dfs/name dfs/data

紧接着开首化文件系统HDFS。
bin/hdfs namenode -format成功的话,最终的提示如下,Exitting with status 0 表示成功,Exitting with status 1: 则是失误。

sbin/start-dfs.sh
sbin/start-yarn.sh

Unable to load native-hadoop library for your platform那么些提醒,解决措施:
1、重新编写翻译源码后将新的lib/native替换来集群中原来的lib/native
2、修改hadoop-env.sh ,增加
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"

Namenode information:

All Applications:

运作例子:

1.先在hdfs上建个文件夹  bin/hdfs dfs -mkdir -p /user/ha1/input

                                  bin/hdfs dfs -mkdir -p /user/ha1/output

2.上传一些文本:bin/hdfs dfs -put etc/hadoop/  /user/ha1/input  把etc/hadoop文件上传播hdfs的/user/ha1/input中

3.实践命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep /user/ha1/input/hadoop  /user/ha1/output/temp 'dfs[a-z.] '

4.查看结果

bin/hdfs dfs -cat /user/ha1/output/temp/*

8 dfs.audit.logger
4 dfs.class
3 dfs.server.namenode.
2 dfs.audit.log.maxbackupindex
2 dfs.period
2 dfs.audit.log.maxfilesize
1 dfsmetrics.log
1 dfsadmin
1 dfs.servers
1 dfs.replication
1 dfs.file
1 dfs.datanode.data.dir
1 dfs.namenode.name.dir

Ubuntu14.04下Hadoop2.4.1单机/伪遍及式安装配备教程 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 Hadoop 1.2.1本子集群配置

Ubuntu上搭建Hadoop碰到(单机方式 伪遍布情势卡塔尔国

Ubuntu下Hadoop情状的配置

单机版搭建Hadoop蒙受图像和文字化教育程详细解释

14.04下Hadoop 2.6.0单机配置和伪分布式配置 Ubuntu 14.04下Hadoop 2.6.0单机配置和伪布满式配置 需求再一次编译的科目: 在Ubuntu下创办Hadoop顾客...

Ubuntu 10.10 jdk1.6

①、VirtualBox-5.2.0-118431-Win.exe

②、Ubuntu14.04.5

③、jdk-8u151-linux-x64.tar.gz

④、hadoop-2.7.3.tar.gz


二、下载&安装程序

(意气风发卡塔 尔(阿拉伯语:قطر‎、下载并设置VirtualBox

        暗中同意安装


1.1 Apache Hadoop:

(二)、安装Ubuntu14.04.5

然后“继续”,“下一步”

音讯填完后点击继续设置到位后会重新步入系统。


下载Hadoop Relase:

(三卡塔尔、创立客户hadoop

$ sudo  adduser  hadoop

并依据提醒输入hadoop客户的密码,比方密码设定为 hadoop。注意输入密码的时候是不显得的。并将hadoop客商增进进sudo顾客组

$ sudo  usermod  -G  sudo  hadoop

输入

$ cd ../     #进入到home目录

$ cd ../    #步向到根目录

输入

$ sudo gedit ~/etc/sudoers    #开采sudoers配置文件

root     ALL = (ALL:ALL)    ALL下边增多如下代码:

hadoop    ALL = (ALL:ALL)    ALL

封存并退出。

注销切换到hadoop客户


解压:tar xzf hadoop-x.y.z.tar.gz

(四)、安装JDK

1.2 安装JDK1.6:sudo apt-get install sun-java6-jdk

    ①下载JDK

              jdk-8u151-linux-x64.tar.gz

三、配置情形变量&配置文件

    ②设置解压

将下载下来的 .tar.gz 文件解压。使用如下命令解压:

$ sudo  tar  zxvf  ./jdk-8u151-linux-x64.tar.gz

为了方便管理,将解压后的公文移至另三个目录下

$ sudo  mkdir  /usr/lib/jvm

$ sudo  mv  jdk1.8.0_151  /usr/lib/jvm

1.意况变量

③装置景况变量

编写制定顾客主目录下的.bashrc文件

$ vim  ~/.bashrc

在该公文的末梢追加以下几行代码:

export  JAVA_HOME=/usr/lib/jvm/jdk1.8.0_151

export  CLASSPATH=${JAVA_HOME}/lib

export  PATH=${JAVA_HOME}/bin:$PATH

为了让修改立时生效,奉行如下命令:

$ source  ~/.bashrc

export HADOOP_INSTALL=/opt/hadoop-0.20.2/ (Hadoop解压目录)

④验证JDK

$ java  -version


export PATH=$PATH:$HADOOP_INSTALL/bin

(五)、安装Hadoop2.7.3

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

①下载hadoop2.7.3

hadoop-2.7.3.tar.gz

export HADOOP_CONF_DIR=$HADOOP_INSTALL/conf

②安装hadoop-2.7.3

走入到下载目录

将下载下来的 .tar.gz 文件解压。使用如下命令解压:

$ sudo  tar  zxvf  hadoop-2.7.3.tar.gz

为了方便管理,将解压后的文件移至另多个索引下

$ sudo  mv  hadoop-2.7.3  /usr/local/hadoop

为设置目录增加权限

$ sudo  chmod  777  /usr/local/hadoop

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JDK目录)

③配置hadoop2.7.3

编写制定客户主目录下的.bashrc文件

$ gedit  ~/.bashrc

$ vim  ~/.bashrc

在该文件的最后追加以下几行代码:

#HADOOP START

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_151

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP END

保存退出后,激活新加的遭遇变量

$ source   ~/.bashrc

2.配置Hadoop

④验证安装是不是中标

$ cd  /usr/local/hadoop

$ mkdir  ./input

$ cp ./etc/hadoop/*.xml ./input    #将铺排文件作为输入文件

$   ./bin/hadoop  jar  ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep  ./input  ./output  'dfs[a-z.] '

$ cat  ./output/*    #翻看运维结果

并发以下结果就可以。

2.1设置hadoop JAVA_HOME

(六卡塔 尔(英语:State of Qatar)、安装SSH、配置SSH无密码登入

$ sudo apt-get install openssh-server

$ ssh localhost

输入yes

$ exit        #退出刚才的 ssh localhost

$ cd ~/.ssh/        #若未有该目录,请先推行一遍ssh localhost

$ ssh-keygen -t rsa       #会有提醒,都按回车就能够

$ cat ./id_rsa.pub >> ./authorized_keys    #加入授权

接下来输入

$ ssh localhost

结果如下:


打开$HADOOP_INSTALL/conf/hadoop-env.sh,配置JAVA_HOME如下图:

(七卡塔 尔(英语:State of Qatar)、安装hadoop-伪分布式配置

Hadoop 能够在单节点上以伪分布式的章程运营,Hadoop 进度以分其他 Java 进度来运维,节点既作为 NameNode 也视作 DataNode,同一时候,读取的是 HDFS 中的文件。

图片 1

①匡正配置文件

Hadoop 的陈设文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪布满式须求修正2个布局文件 core-site.xmlhdfs-site.xml 。Hadoop的配置文件是 xml 格式,每一个配置以宣称 property 的 name 和 value 的艺术来兑现。

改过配置文件 core-site.xml (通过 gedit 编辑会比较便于: gedit ./etc/hadoop/core-site.xml),将中等的

<configuration>

</configuration>

改良为如下配置:

<configuration>

<property>

<name>hadoop.tmp.dir</name>

< value> file:/usr/local/hadoop/tmp< /value>

< description> Abase for other temporary directories.< /description>

</property>

< property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</ property>

</ configuration>

后生可畏律的,改革配置文件 hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

                <value>1</value>

         </property>

         <property>

                  <name>dfs.namenode.name.dir</name>

              <value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

</configuration>

2.2 设置hadoop ,hdfs,mapreduce(伪集群设置,其它参谋文书档案卡塔尔

实施 NameNode 的格式化:

./bin/hdfs  namenode  –format

成功的话,寻访到 “successfully formatted”“Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是失误

2.2.1设置core-site.xml,如下:

③开启 NameNode 和 DataNode 守护进程。

./sbin/start-dfs.sh

关门守护进度

./sbin/stop-dfs.sh

若现身以下SSH提示,输入yes就能够。

<configuration>

④通过jps查看运营的Hadoop进度

<property>

⑤周转Hadoop伪遍及式实例

./bin/hdfs  dfs  -mkdir -p  /usr/hadoop

./bin/hdfs  dfs  -mkdir  input

./bin/hdfs  dfs  -put  ./etc/hadoop/*  .xml  input

./bin/hdfs  dfs  -ls  input

./bin/hadoop  jar  ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar  grep  ./input  ./output  'dfs[a-z.] '

./bin/hdfs  dfs  -cat  output/*

本文由澳门威利斯人发布于办公软件,转载请注明出处:安装与配置大数据软件,Ubuntu下Hadoop快速安装手

关键词: 澳门威利斯人 Hadoop 首页投稿 Linux笔记