你的位置:首页

Hadoop2安装-单机模式

Hadoop有三种模式单机模式、伪分布模式和完全分布模式这里先简单介绍单机模式,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。Hadoop网址http://hadoop.apache.org/下载地址:http://mirror...

2016-06-01 (6379)次关注 评论(0) 阅读全文

分布式文件系统选型

业界在大数据量存储方面存在着两种解决方案:集中式存储和分布式存储。集中式存储的代表厂商:NetApp,EMC,使用集中式存储的互联网代表企业Facebook;分布式存储的代表厂商兼互联网企业:google。集中式存储相比分布式存储最大的问题在于购置整个解决方案的成本太高。而分布式...

2016-05-28 (6423)次关注 评论(0) 阅读全文

Linux下快速分区格式化大于2T大容量存储

在生产环境中,我们会遇到分区大于2T的磁盘(比如:添加一个10TB的存储),由于MBR分区表只支持2T磁盘,所以大于2T的磁盘必须使用GPT分区表,而我们在做raid时会划分多个VD来进行装系统,但系统安装完后无法将磁盘全部识别出来,这时就需要手动对GPT分区进行挂载,那么如何在...

2016-05-20 (6415)次关注 评论(0) 阅读全文

Linux系统监视工具

大多数Linux发行版都集成了一些监视工具。这些工具可以获取有关系统活动的信息的详细指标。通过这些工具,你可以发现产生系统性能问题可能存在原因和找出系统瓶颈问题如磁盘、CPU、内存、网络。(1) top–查看活动进程的命令以及常用的快捷键-t切换显示进程和 CPU状...

2016-05-15 (6405)次关注 评论(0) 阅读全文

vi下删除替换文本中的^M符号

很久以前,老式的电传打字机使用两个字符来另起新行。一个字符把滑动架移回首位(称为回车,ASCII码为0D),另一个字符把纸上移一行(称为换行,ASCII码为0A)。当计算机问世以后,存储器曾经非常昂贵。有些人就认定没必要用两个字符来表示行尾。UNIX开发者决定他们可以用一个字符...

2016-05-08 (6445)次关注 评论(0) 阅读全文

grep的-A, -B, -C选项

grep的-A,-B,-C选项分别可以显示匹配行的后,前,后前多少行内容:[root@server1 test]# ls-l total48-rw-r--r--1 root root0 Nov1716:392----------1 root r...

2016-05-01 (6413)次关注 评论(0) 阅读全文

linux Logrotate使用详解

Linux的系统安全来说,日志文件是极其重要的工具。系统管理员可以使用logrotate程序用来管理系统中的最新的事件。logrotate还可以用来备份日志文件,本篇将通过以下几部分来介绍。日志文件的管理:1、logrotate配置2、缺省配置 logrotate3、使用...

2016-04-30 (6419)次关注 评论(0) 阅读全文

Linux Shell 小脚本经典收藏-2

1.gzexe-d解密2.Address192.168.3.202 maps to bogon, but this does not map back to the address- POSSIBLE BREAK-IN ATTEMPT!解决方法:vim/etc/ssh/...

2016-04-23 (6434)次关注 评论(0) 阅读全文

Linux Shell 小脚本经典收藏-1

##====================================================#### auth:wonter...

2016-04-16 (6464)次关注 评论(0) 阅读全文

从文件I/O看Linux的虚拟文件系统

简介: Linux允许众多不同的文件系统共存,并支持跨文件系统的文件操作,这是因为有虚拟文件系统的存在。虚拟文件系统,即VFS(Virtual File System)是 Linux内核中的一个软件抽象层。它通过一些数据结构及其方法向实际的文件系统如 ext2,vfat提供...

2016-04-09 (6417)次关注 评论(0) 阅读全文

linux备份策略

我们系统在运行时,免不了会出现问题,这样的话,备份就显得很重要了。造成系统损坏的因素:硬件因素软件因素备份因素考虑:备份的文件、选择备份的设备、备份方式、备份频率、备份使用的工具。备份的数据操作系统本身要备份的文件,主要有/etc/passwd,/etc/shadow,/etc...

2016-04-01 (6396)次关注 评论(0) 阅读全文

深入理解Hadoop集群和网络

本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。Hadoop里的服务器角色Hadoop主要的任务部署分为3个部分,分别是:Client机器,主节点和从节点。主节点主要负责Hadoop两个关...

2016-03-28 (6443)次关注 评论(0) 阅读全文

Linux磁盘IO状态检测

Linux系统出现了性能问题,一般我们可以通过top.iostat,vmstat等命令来查看初步定位问题。其中iostat可以给我们提供丰富的IO状态数据。iostat结果分析[kefu@SZ-8 linux]$ iostat-x-k Linux2.6.18-128.el...

2016-03-22 (6427)次关注 评论(0) 阅读全文

xargs命令小技巧

xargs命令是在管道操作符之后,并通过提供命令行参数执行其他命令。1、多行变成单行[root@server1~]# cat test.txt a b c d e f g o p q[root@server1~]# cat test.txt| xargs a b c...

2016-03-16 (6434)次关注 评论(0) 阅读全文

Linux下patch的制作和应用

用到的两个命令是diff和patch。diff可以比较两个东西,并可同时记录下二者的区别。制作补丁时的一般用法和常见选项为:diff【选项】源文件(夹)目的文件(夹)-r递归。设置后diff会将两个不同版本源代码目录中的所有对应文件全部都进行一次比较,包括子目录文件。-...

2016-03-08 (6410)次关注 评论(0) 阅读全文

Linux编程库介绍

1.什么是库在windows平台和linux平台下都大量存在着库。本质上来说库是一种可执行代码的二进制形式,可以被操作系统载入内存执行。由于windows和linux的本质不同,因此二者库的二进制是不兼容的。本文仅限于介绍linux下的库。2.库的种类linux下的库有两种:静...

2016-03-01 (6419)次关注 评论(0) 阅读全文

hadoop常用命令

启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs–ls[文件目录]eg: hadoop dfs–ls...

2016-02-27 (6402)次关注 评论(0) 阅读全文

awk i=!i 来输出奇偶行详解

seq100|awk'i=!i'awk那段是怎么理解?首先我们要了解一下awk对于未定义的变量处理方法:对于数值运算,未定义变量的话awk会赋予变量初值为0对于字符运算,未定义变量的话awk会赋予变量初值为空字符串了解了这两条我们再看awk'i=...

2016-02-21 (6442)次关注 评论(0) 阅读全文

vsftpd.conf配置参数详细

#接受匿名用户anonymous_enable=YES#匿名用户login时不询问口令no_anon_password=YES#匿名用户主目录anon_root=(none)#接受本地用户local_enable=YES#本地用户主目录local_root=(none)#如果匿名...

2016-02-16 (7453)次关注 评论(0) 阅读全文

apache编译参数详解

常用编译参数:./configure//配置源代码树–prefix=/usr/local/apache//体系无关文件的顶级安装目录PREFIX,也就Apache的安装目录。–enable-module=so//打开 so模块,so模块是用来提 D...

2016-02-08 (7445)次关注 评论(0) 阅读全文