当前位置:首页 > 日记 > 正文

hadoop电脑cpu | hadoop电脑配置要求

hadoop电脑cpu | hadoop电脑配置要求

1. hadoop电脑配置要求

hadoop配置文件通过#号进行添加注释

2. hadoop电脑上有多个磁盘会影响格式化吗

启动失败原因很多,最常见的是:

1、Hadoop权限访问权限问题 2、Host文件配置错误问题的,节点之间网络不通 3、ssh无密码登录配置错误 4、hadoop未格式化hdfs文件系统 5、配置文件hdfs-site.xml core-site.xml mared-site.xml yarn-site.xml配置错误,到网上找个免费的安装文档逐个检查一下

3. hadoop电脑配置

根据楼主的描述hadoop应该已经启来了。

jps是java的工具,能够显示系统当前运行的java程序及其进程号。

运行jps没有显示,应该是没有配置好系统的path、java_home和classpath。

执行hadoop fs -ls等同于hadoop fs -ls .该命令查看的是hdfs的/user/hadoop目录。而且默认是没有这个目录的。需要自己创建。

4. hadoop电脑要多少配置

Hadoop集群中,NameNode/JobTracker(MR1)的标准配置规格 说明 : 3-6 1TB硬盘(批量的磁盘)

5. Hadoop 教程

先说一下要准备哪些软件和信息:

VMware-workstation;

CentOS-6.0-i386-bin-DVD;

eclipse-jee-luna-SR1-win32;

hadoop-0.20.2;

jdk-6u27-linux-i586;

(由于hadoop对版本的要求较高,大家还是不要轻易更换版本,这里列出来的各种软件都是稳定发布版,网上很容易可以download到的)。

整个教程分为这样5个部分来说:1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;2)centos下设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下安装hadoop,并配置文件;5)windows下安装jdk和eclipse,并将eclipse与centos下的hadoop连接。可以说这5个部分每一个都很重要,尤其是第4)步。下面我们就详细说一下每一步该怎么做。

Step0:请大家先在windows下新建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面安装,用户名最好要是hadoop,因为这个要和后面很多username相同,设为hadoop比较好记。

1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;

首先,下载VMware-workstation并安装,这步骤和一般windows下安装软件的过程是一样的,入门小白也会熟练操作,这里就节省点儿空间给后面重要的步骤了~

然后,在Vmware的主页上新建一个虚拟机

一路下一步,直到让你选择系统镜像路径,我们选择centos系统映像,如上图,点击下一步。然后,需要你输入linux的用户名,这个比较重要,最好填写hadoop,因为这个名字在后面要用到好多次!

后面还是一路的“下一步”,直到让你设置虚拟机的内存大小,建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,建议为“使用网络地址转换NAT”,如下图。这一步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间就这样白花花的没了~~

之后还是一路的“下一步”,几乎都是使用它推荐的设置,我们就可以新建一个centos,等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝,有没有让你心动了呢~~哈哈哈,你确实走好了第一步!

2)centos下设置ssh服务无密码登录;

在桌面右击,选择openinTerminal,这个就是linux的终端了。希望读者有一些linux操作系统的基础,这样子上手更快一些。不过要是没有的话,也没有关系,我们是面向新手的教程。

2.1.先在linux命令行中输入su,提示密码,输入你自己设置的密码,这样子你后面的操作都具有了linux系统下的最高权限——root权限。

2.2.在设置ssh无密码登录之前,有一个特别重要的要先出好:关闭SELinux。这是因为centos会自动阻止你修改sshservice,我们只有关闭SELinux,重启才能生效。如何做,如下:

修改/etc/selinux/config文件

将SELINUX=enforcing改为SELINUX=disabled

重启机器即可

(note:在linux下修改文件,vi命令后会进入到文件窗口,按i进入insert,修改完毕之后再按esc推出insert,输入;:wq!保存并退出~这里要感谢泡哥,改了半天都不行,还是泡哥指点迷津了~~)

2.3.在linux命令行里输入:ssh-keygen-trsa,然后一路回车。

root@hadoopName-desktop:~$ssh-keygen-trsa

Generatingpublic/privatersakeypair.

Enterfileinwhichtosavethekey(/home/zhangtao/.ssh/id_rsa)://密钥保存位置,直接回车保持默认;

Createddirectory'/home/zhangtao/.ssh'.

Enterpassphrase(emptyfornopassphrase)://设置密钥的密码,空密码直接回车即可;

Entersamepassphraseagain://确认上一步设置的密码。

然后进入/root/.ssh/下面,会看到两个文件id_rsa.pub,id_rsa,

然后执行cpid_rsa.pubauthorized_keys

然后sshlocalhost验证是否成功,第一次要你输入yes,以后就不需要了。

如下图,由于我又验证了一次,所以还需要输入y,如果你是第一次验证是不要的。

至此,ssh服务无密码登录设置完毕!

3)centos下安装jdk,并配置环境变量;

这一步中可以分为两步:安装jdk、配置jdk环境变量。

3.1.第一步:root用户登陆,使用命令mkdir/usr/program新建目录/usr/program,下载JDK安装包jdk-6u13-linux-i586.bin,将其复制到目录/usr/program下,用cd命令进入该目录,执行命令“./jdk-6u13-linux-i586.bin”,命令运行完毕即安装完成,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功安装到目录:/usr/program/jdk1.6.0_13下。

3.2.root用户登陆,命令行中执行命令“vi/etc/profile”,并加入以下内容,配置环境变量(注意/etc/profile这个文件很重要,后面Hadoop的配置还会用到)。

#setjavaenvironment

exportJAVA_HOME=/usr/program/jdk1.6.0_27

exportJRE_HOME=/usr/program/jdk1.6.0_27/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

在vi编辑器增加以上内容后保存退出,并执行以下命令使配置生效!

#chmod+x/etc/profile;增加执行权限

#source/etc/profile;使配置生效!

配置完毕后,在命令行中输入:java-version,就会出现安装jdk的信息。

这时,jdk的安装和配置环境变量就成功了~

6. hadoop电脑硬件配置要求

hadoop分布式和伪分布式用于三种情况:(1)NameNode,(2)DataNode,(3)Secondary NameNode三种不同的分布式架构。

第一种情况,NameNode:(1)是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。(2)文件包括:fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。edits:操作日志文件。fstime:保存最近一次checkpoint的时间(3)以上这些文件是保存在linux的文件系统中。

第二种情况,DataNode分布式分布,Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

第三种情况,Secondary NameNode创立连接,Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。它们都对文件编辑,蜜钥连接,格式化开启服务,查看并测试,创建目录并上传,重新执行命令等情况起到分析作用。

在实际运行过程中,在以独立模式运行Hadoop之后,让我们以分布式模式 (多节点集群)启动Hadoop。

当时的先决条件:在分布式模式下启动hadoop之前,必须在伪分布式模式下设置hadoop,并且至少需要两台计算机,其中一台用于主机,另一台用于从机(您可以在一台计算机上创建多台虚拟机)。

因此,Hadoop需要SSH访问权限来管理其节点,即远程计算机和本地计算机。

因此,对于我们的Hadoop单节点设置,我们需要为hadoop_admin用户配置对localhost的SSH访问。

7. hadoop电脑要求

大数据运维,这里指互联网运维,通常属于技术部门,与研发、测试、系统管理同为互联网产品技术支撑的4大部门,这个划分在国内和国外以及大小公司间都会多少有一些不同。我认为大数据运维还是有一定的难度的。

1、对你的运维的技能要求比较高2、你需要对相关的组件了解比较清楚,hbase,storm ,hadoop,spark,kafka,redis等等这些组件的配置,调优等等比较了解,以及在数据量增大后的方案调整也需要清晰。

3、对底层,甚至是代码级的深度了解也是有较高要求的。

4、对服务器的硬件配置也需要比较高的了解深度内容来源于ITSS符合性评估落地工具-云雀运维!!!

8. hadoop系统

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。

相关文章

域电脑只限制一个用户登录 | 限制

域电脑只限制一个用户登录 | 限制

用户登录,用户,登录,计算机系统,账号,1. 域电脑只限制一个用户登录登陆到域控制器1、开始-运行-输入dsa.msc2、找到相应的用户,如diaoling173、右击该账户-属性-账户-登录到-在下列计算机中,输入该账户可以登录的计算机的名称-添加-确定4、其…

电脑cpu手册 | CPU教程

电脑cpu手册 | CPU教程

教程,联想,戴尔,神舟,笔记本电脑,1. CPU教程一般测试温度为电池温度或CPU温度。电池温度测试可以通过两种方法:手机拨号界面输入*#*#4636#*#*,点击查看手机电池信息即可查看电池温度。通过第三方电池检测软件,如360,金山,LEB安全大师都有电池医…

电脑选购cpu | 电脑选购配置单

电脑选购cpu | 电脑选购配置单

配置,电脑配置,计算机配置,设置,参数详解,1. 电脑选购配置单5K左右的预算,不打游戏,想多用几年,其实可选的笔记本相当多。比较推荐的是11代酷睿版,因为酷睿换代要到下半年,背刺风险较低,而且几乎每代的酷睿CPU性能都是挤牙膏,买了之后半年不会因为…

财务电脑cpu | 财务电脑配置推荐

财务电脑cpu | 财务电脑配置推荐

电脑配置,财务,推荐,配置,财务会计,1. 财务电脑配置推荐1.尽量不要选择自己配置组装机器,用品牌一体机,在稳定性方面比组装机器要好,2.处理器选择i3就可以,条件允许做i5更好,集成显卡就可以,独显每必要。3.硬盘建议用128g固态+1t机械,用来存储各种…

2700电脑现在什么配置 | 2700的电

2700电脑现在什么配置 | 2700的电

配置,电脑配置,显卡,内存,档次,1. 2700电脑现在什么配置2012年款的中规霸道陆地巡洋舰2700tx版本,它的配置也是比较高的,座椅加热。都是有的,从十车道保持也是有的,他缺少的是四驱上的一些配置,比如说虽然他有失去系统,但是并没有低速分动箱。而…

电脑cpu总量 | 系统配置cpu个数

电脑cpu总量 | 系统配置cpu个数

系统配置,配置,容量,调整,处理器,1. 系统配置cpu个数该情况可能是系统配置错误。1,在键盘上按win+R,并输入MSCONFIG,然后点确定。2,然后点引导→高级选项。3,把处理器数前面的框框点了,变成打钩,然后点处理器数下面的数字,选择2,然后点确定,再点一次…

电脑cpu挂了 | 电脑把cpu拆掉系统

电脑cpu挂了 | 电脑把cpu拆掉系统

系统,知乎,能用,挂了,换掉,1. 电脑把cpu拆掉系统会掉吗系统装在硬盘里的。把主板和cpu换掉之后,要安装相关驱动。2. 电脑cpu拆卸1、从理论角度出发,通常情况是可以升级CPU的。大多数电脑的CPU是单独部件,安装在主板的CPU接口上工作的,这样的情…

cpu风扇电脑 | CPU及风扇

cpu风扇电脑 | CPU及风扇

安装,作用,系统,安装方法,风扇,1. CPU及风扇cpu风扇时转时停原因很多,主要有以下几个方面。1、cpu温度低或者电脑处于休眠状态,pu风扇正常时转时停。cpu正常工作,根据电脑cup控制,电脑cpu风扇时转时停,比如cpu温度比较低、电脑处于休眠状态。2、…

省电电脑CPU | 省电电脑主机

省电电脑CPU | 省电电脑主机

配置,主机,电脑配置,推荐,设置,1. 省电电脑主机1、电脑显示器的功率大约在20W,就相当于20W的日光灯耗电。当主机关闭以后没有信号进入显示器,那么此时的功率也就有5W左右,基本耗电很低。2、为了省电,还是随着电脑主机关闭把显示器一起关闭才可…

电脑cpu固定 | 主板cpu固定器

电脑cpu固定 | 主板cpu固定器

主板,固定器,机箱,绑定,系统,1. 主板cpu固定器1.准备好CPU风扇,下面我以Intel LGA 1366/115X/775结构的CPU安装风扇为例。26把风扇的四个对准主板上的四个CPU风扇固定孔内。、3.再把CPU风扇底脚给压下去。拔一下看能不能轻易的拔出,如果是说…

macOs | maCOS

macOs | maCOS

地址,网线,设置,系统,背景,1. macOs目前Mac OS X操作系统上自带的Safari浏览器能支持的网银有:中国工商银行、浦发银行、建设银行、招商银行、交通银行;可能不够全面,不过Safari支持支付宝,这一点对于很多用户来说就足够了;但是如果你是中国农业…

cpu办公电脑 | 办公用的cpu

cpu办公电脑 | 办公用的cpu

推荐,配置,多核,笔记本电脑,比较好,1. 办公用的cpu肯定高点好,但是高主频的后果就是散热和功耗的增加但是仅仅是高主频还不行,还要看哪个厂家的什么级别的什么核心的CPU比如说一个低端的AMD cpu,主频3.2,那他的综合性能还没有同级别INTEL低频率…