1. hadoop电脑配置要求
hadoop配置文件通过#号进行添加注释
2. hadoop电脑上有多个磁盘会影响格式化吗
启动失败原因很多,最常见的是:
1、Hadoop权限访问权限问题 2、Host文件配置错误问题的,节点之间网络不通 3、ssh无密码登录配置错误 4、hadoop未格式化hdfs文件系统 5、配置文件hdfs-site.xml core-site.xml mared-site.xml yarn-site.xml配置错误,到网上找个免费的安装文档逐个检查一下
3. hadoop电脑配置
根据楼主的描述hadoop应该已经启来了。
jps是java的工具,能够显示系统当前运行的java程序及其进程号。
运行jps没有显示,应该是没有配置好系统的path、java_home和classpath。
执行hadoop fs -ls等同于hadoop fs -ls .该命令查看的是hdfs的/user/hadoop目录。而且默认是没有这个目录的。需要自己创建。
4. hadoop电脑要多少配置
Hadoop集群中,NameNode/JobTracker(MR1)的标准配置规格 说明 : 3-6 1TB硬盘(批量的磁盘)
5. Hadoop 教程
先说一下要准备哪些软件和信息:
VMware-workstation;
CentOS-6.0-i386-bin-DVD;
eclipse-jee-luna-SR1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(由于hadoop对版本的要求较高,大家还是不要轻易更换版本,这里列出来的各种软件都是稳定发布版,网上很容易可以download到的)。
整个教程分为这样5个部分来说:1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;2)centos下设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下安装hadoop,并配置文件;5)windows下安装jdk和eclipse,并将eclipse与centos下的hadoop连接。可以说这5个部分每一个都很重要,尤其是第4)步。下面我们就详细说一下每一步该怎么做。
Step0:请大家先在windows下新建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面安装,用户名最好要是hadoop,因为这个要和后面很多username相同,设为hadoop比较好记。
1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;
首先,下载VMware-workstation并安装,这步骤和一般windows下安装软件的过程是一样的,入门小白也会熟练操作,这里就节省点儿空间给后面重要的步骤了~
然后,在Vmware的主页上新建一个虚拟机
一路下一步,直到让你选择系统镜像路径,我们选择centos系统映像,如上图,点击下一步。然后,需要你输入linux的用户名,这个比较重要,最好填写hadoop,因为这个名字在后面要用到好多次!
后面还是一路的“下一步”,直到让你设置虚拟机的内存大小,建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,建议为“使用网络地址转换NAT”,如下图。这一步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间就这样白花花的没了~~
之后还是一路的“下一步”,几乎都是使用它推荐的设置,我们就可以新建一个centos,等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝,有没有让你心动了呢~~哈哈哈,你确实走好了第一步!
2)centos下设置ssh服务无密码登录;
在桌面右击,选择openinTerminal,这个就是linux的终端了。希望读者有一些linux操作系统的基础,这样子上手更快一些。不过要是没有的话,也没有关系,我们是面向新手的教程。
2.1.先在linux命令行中输入su,提示密码,输入你自己设置的密码,这样子你后面的操作都具有了linux系统下的最高权限——root权限。
2.2.在设置ssh无密码登录之前,有一个特别重要的要先出好:关闭SELinux。这是因为centos会自动阻止你修改sshservice,我们只有关闭SELinux,重启才能生效。如何做,如下:
修改/etc/selinux/config文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可
(note:在linux下修改文件,vi命令后会进入到文件窗口,按i进入insert,修改完毕之后再按esc推出insert,输入;:wq!保存并退出~这里要感谢泡哥,改了半天都不行,还是泡哥指点迷津了~~)
2.3.在linux命令行里输入:ssh-keygen-trsa,然后一路回车。
root@hadoopName-desktop:~$ssh-keygen-trsa
Generatingpublic/privatersakeypair.
Enterfileinwhichtosavethekey(/home/zhangtao/.ssh/id_rsa)://密钥保存位置,直接回车保持默认;
Createddirectory'/home/zhangtao/.ssh'.
Enterpassphrase(emptyfornopassphrase)://设置密钥的密码,空密码直接回车即可;
Entersamepassphraseagain://确认上一步设置的密码。
然后进入/root/.ssh/下面,会看到两个文件id_rsa.pub,id_rsa,
然后执行cpid_rsa.pubauthorized_keys
然后sshlocalhost验证是否成功,第一次要你输入yes,以后就不需要了。
如下图,由于我又验证了一次,所以还需要输入y,如果你是第一次验证是不要的。
至此,ssh服务无密码登录设置完毕!
3)centos下安装jdk,并配置环境变量;
这一步中可以分为两步:安装jdk、配置jdk环境变量。
3.1.第一步:root用户登陆,使用命令mkdir/usr/program新建目录/usr/program,下载JDK安装包jdk-6u13-linux-i586.bin,将其复制到目录/usr/program下,用cd命令进入该目录,执行命令“./jdk-6u13-linux-i586.bin”,命令运行完毕即安装完成,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功安装到目录:/usr/program/jdk1.6.0_13下。
3.2.root用户登陆,命令行中执行命令“vi/etc/profile”,并加入以下内容,配置环境变量(注意/etc/profile这个文件很重要,后面Hadoop的配置还会用到)。
#setjavaenvironment
exportJAVA_HOME=/usr/program/jdk1.6.0_27
exportJRE_HOME=/usr/program/jdk1.6.0_27/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
在vi编辑器增加以上内容后保存退出,并执行以下命令使配置生效!
#chmod+x/etc/profile;增加执行权限
#source/etc/profile;使配置生效!
配置完毕后,在命令行中输入:java-version,就会出现安装jdk的信息。
这时,jdk的安装和配置环境变量就成功了~
6. hadoop电脑硬件配置要求
hadoop分布式和伪分布式用于三种情况:(1)NameNode,(2)DataNode,(3)Secondary NameNode三种不同的分布式架构。
第一种情况,NameNode:(1)是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。(2)文件包括:fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。edits:操作日志文件。fstime:保存最近一次checkpoint的时间(3)以上这些文件是保存在linux的文件系统中。
第二种情况,DataNode分布式分布,Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
第三种情况,Secondary NameNode创立连接,Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。它们都对文件编辑,蜜钥连接,格式化开启服务,查看并测试,创建目录并上传,重新执行命令等情况起到分析作用。
在实际运行过程中,在以独立模式运行Hadoop之后,让我们以分布式模式 (多节点集群)启动Hadoop。
当时的先决条件:在分布式模式下启动hadoop之前,必须在伪分布式模式下设置hadoop,并且至少需要两台计算机,其中一台用于主机,另一台用于从机(您可以在一台计算机上创建多台虚拟机)。
因此,Hadoop需要SSH访问权限来管理其节点,即远程计算机和本地计算机。
因此,对于我们的Hadoop单节点设置,我们需要为hadoop_admin用户配置对localhost的SSH访问。
7. hadoop电脑要求
大数据运维,这里指互联网运维,通常属于技术部门,与研发、测试、系统管理同为互联网产品技术支撑的4大部门,这个划分在国内和国外以及大小公司间都会多少有一些不同。我认为大数据运维还是有一定的难度的。
1、对你的运维的技能要求比较高2、你需要对相关的组件了解比较清楚,hbase,storm ,hadoop,spark,kafka,redis等等这些组件的配置,调优等等比较了解,以及在数据量增大后的方案调整也需要清晰。
3、对底层,甚至是代码级的深度了解也是有较高要求的。
4、对服务器的硬件配置也需要比较高的了解深度内容来源于ITSS符合性评估落地工具-云雀运维!!!
8. hadoop系统
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。