你的位置:首页 > 默认分类

Linux awk命令使用详解

2009-10-26 浏览:(1497) 默认分类 评论(0)

简单介绍一下,awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大,这是我们玩linux的必备基本功,若要对其身世有更详尽的了解,自行搜索即可。对于工具的知识,笔者尽量将每个知识点的简要说明,并给出实例。

简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。

用法:

awk [options] 'scripts' file1,file2...

awk [options] 'pattern {action}' file1,file2...

options是awk的支持的选项,譬如-F -v等; scripts是其处理脚本,包含模式pattern和动作action(模式和动作的关系一般为,模式负责确定有效字段,动作负责对其处理)

一、print的简单使用

创建一个简单的测试文件如下:

[root@mos download]# cat demo.txt

Welcome to mos blog.

This is a test file.

例:打印整行: $0

[root@mos download]# awk '{print $0}' demo.txt

Welcome to mos blog.

This is a test file.

例:打印每行的最后一个字段: $NF

[root@mos download]# awk '{print $NF}' demo.txt

blog.

file.

例:打印第二个字段: $2

[root@mos download]# awk '{print $2}' demo.txt

to

is

例:打印每行的倒数第二个字段,并在其后打印OK

[root@mos download]# awk '{print $(NF-1),"OK"}' demo.txt

mos OK

test OK

例:打印行号

[root@mos download]# awk '{print NR,$0}' demo.txt

1 Welcome to mos blog.

2 This is a test file.

例:打印当前系统环境变量的某个特定值,譬如路径,下面俩输出一样

[root@mos download]# awk '{print ENVIRON["USER"];}' demo.txt

root

root

[root@mos download]# awk 'BEGIN{print ENVIRON["PATH"];}'

/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

PS:后面的文件只是为了让print成功执行,BEGIN是执行前可以输出的数据,常用作写为报告标题和测试输出,其内容不能获得与文件修改操作有关的变量,后面会说到;

例:awk的默认分隔符为空格,而有些文本字以其他字符为分隔符,以下两例相同

[root@mos download]# awk -F: {'print $1,$NF'} /etc/passwd|tail -1

mos1 /bin/bash

[root@mos download]# awk -v FS=: '{print $1,$NF}' /etc/passwd|head -1

root /bin/bash

例:修改输出分隔符号,特殊字符需转义,如下几例:

[root@mos download]# awk -v OFS=. '{print $1,$NF}' demo.txt

Welcome.blog.

This.file.

[root@mos download]# awk -v OFS="~"'{print $1,$NF}' demo.txt

Welcome~blog.

This~file.

[root@mos download]# awk -v OFS=\" '{print $1,$NF}' demo.txt

Welcome"blog.

This"file.

[root@mos download]# awk -v OFS=9 '{print $1,$NF}' demo.txt

Welcome9blog.

This9file.

[root@mos download]# awk -v OFS=XXXX '{print $1,$NF}' demo.txt

WelcomeXXXXblog.

ThisXXXXfile.

PS: 若在print输出字段的之间不写逗号,则输出分隔符无效,输出的结果会直接连在一起

awk中有许多默认的变量,例如之前列出的:$1~$n、$0、FS、OFS等。下图为awk内置变量表:

属性 说明

$0 当前记录(作为单个变量)

$1~$n 当前记录的第n个字段,字段间由FS分隔

FS 输入字段分隔符 默认是空格

NF 当前记录中的字段个数,就是有多少列

NR 已经读出的记录数,就是行号,从1开始

RS 输入的记录他隔符默 认为换行符

OFS 输出字段分隔符 默认也是空格

ORS 输出的记录分隔符,默认为换行符

ARGC 命令行参数个数

ARGV 命令行参数数组

FILENAME 当前输入文件的名字

IGNORECASE 如果为真,则进行忽略大小写的匹配

ARGIND 当前被处理文件的ARGV标志符

CONVFMT 数字转换格式 %.6g

ENVIRON UNIX环境变量

ERRNO UNIX系统错误消息

FIELDWIDTHS 输入字段宽度的空白分隔字符串

FNR 当前记录数

OFMT 数字的输出格式 %.6g

RSTART 被匹配函数匹配的字符串首

RLENGTH 被匹配函数匹配的字符串长度

SUBSEP \034

声明一下:由于许多变量笔者亦不怎么常用,因此笔者此处未全部列出。

二、printf的使用

格式:

printf format1,format2..., item1,item2...

PS:与print不同的是,首先,其多了个f;然后,其不会自动换行,而且还需要对每个字段指定输出格式。听起来很麻烦,用起来很爽的。

例:左右对齐打印输出,中间的符号笔者自己添加的,双引号和反斜杠前使用反斜杠转义即可;

[root@linux download]# awk '{printf "%15s->%10s\n",$1,$NF}' demo.txt

Welcome-> blog.

This-> file.

[root@linux download]# awk '{printf "%-15s#%10s\n",$1,$NF}' demo.txt

Welcome # blog.

This # file.

[root@linux download]# awk '{printf "%-15s'\''%10s\n",$1,$NF}' demo.txt

Welcome ' blog.

This ' file.

PS:一个单引号的写法太贱了,还有%,得写三个..各种无力吐槽

例:以特定格式输出passwd字符

[root@linux download]# awk -F: '{printf "%-15s->%10s ->%20s\n",$1,$(NF-3),$NF}' /etc/passwd|head -2

root -> 0 -> /bin/bash

bin -> 1 -> /sbin/nologin

例:以几种不同的计数方法打印一些数字

[root@linux ~]# awk 'BEGIN{n1=111.29;n2=-3.444;n3=5.6789;printf("%.2f,%.2u,%.2g,%X,%o\n",n1,n2,n3,n1,n1);}'

111.29,18446744073709551613,5.7,6F,157

printf的格式都以%开头,后跟字符:具体如下:

格式符 说明

%d 十进制有符号整数

%u 十进制无符号整数

%f 浮点数

%s 字符串

%c 显示字符的ASCII码

%p 指针的值

%e 科学技术法显示数值

%x %X 无符号以十六进制表示的整数

%o 无符号以八进制表示的整数

%g %G 以科学计数法或浮点数的格式显示数值

%% 显示其自身

修饰符:

-: 左对齐 这个好使,下面俩试了试,笔者没试出啥感觉..

+: 显示数值符号

N: 显示

三、输出重定向

awk的输出结果可以直接使用输出重定向和管道,其作用和命令结束再次使用重定向和管道的效果类似,笔者在此不长篇叙述,仅作简单示范和介绍:

print items > output_file

print items >> output_file

print items | command

特殊文件描述符:

/dev/stdin: 标准输入

/dev/sdtout: 标准输出

/dev/stderr: 错误输出

/dev/fd/N: 某特定文件描述符,如/dev/stdin就相当于/dev/fd/0;

例:将结果输出到当前目录下的某个文本中;下两例效果一样

# awk -F: '{printf "%-15s->%+10s->%20s\n",$1,$(NF-2),$NF > "test.txt" }' /etc/passwd

# awk -F: '{printf "%-15s->%+10s->%20s\n",$1,$(NF-2),$NF }' /etc/passwd > test1.txt

awk的操作符,这些操作符和shell编程中的意思大都一致,因此不做详细解说,又因为单单一个的实例难以表达,笔者下方列出完之后,实例部分大都混合使用,笔者会一一说明。

一、算数操作符

操作符 描述

-x 负值

+x 转换为数值

x^y 次方

x**y 次方

x*y 乘法

x/y 除法

x+y 加法

x-y 减法

x%y 取余

二、字符串操作符:

直接将print输出的结果之间不适用逗号或自定义OFS,即可,其实这是一个空值

例如:以下两例效果一样

[root@linux download]# awk '{print $1 $2}' demo.txt

Welcometo

Thisis

[root@linux download]# awk '{print $1$2}' demo.txt

Welcometo

Thisis

三、赋值操作符

操作符 描述

= 赋值操作符

+= 赋值加操作符

-= 赋值减操作符

*= 赋值乘操作符

/= 赋值除操作符

%= 赋值求余操作符

^= 赋值求幂操作符

**= 赋值求幂操作符

PS:需要注意的是,如果某模式为=号,此时使用/=/可能会有语法错误,应以/[=]/替代;

四、布尔值

awk中,任何非0值或非空字符串都为真,反之就为假;

五、比较操作符

操作符 描述

> 大于

< 小于

>= 大于等于

<= 小于等于

== 等于

!= 不等于

~ 匹配

!~ 匹配取反

六、表达式间的逻辑关系符

&& :逻辑与

|| :逻辑或

例:

打印系统上uid大于等于500且以m开头的行的首字段;&&与

[root@linux ~]# awk -F: '$3>=500 && $1 ~ /^m/{print $1}' /etc/passwd

linux

linux1

打印系统上uid大于等于500或以v开头的行的首字段;||:或

[root@linux ~]# awk -F: '$3>=500 || $1 ~/^v/{print $1}' /etc/passwd

vcsa

nfsnobody

student

visitor

linux

linux1

打印系统上uid大于500的以v和m开头的行的首字段:

[root@linux ~]# awk -F: '$3>=500 && $1 ~/^m/|| $3>=500 && $1 ~/^v/{print $1}' /etc/passwd

visitor

linux

linux1

七、条件表达式

selector?if=true=exp:if=false=exp

selector是条件,例如使用index函数判断一个变量中有无特定字符;有无则输出特定表达式if=true=exp:if=false=exp,如下例:

在变量值中做查找判断,index是awk的内置函数

[root@linux ~]# awk 'BEGIN{msg="My name is linux!";print index(msg,"linux")?"ok":"no";}'

ok

[root@linux ~]# awk 'BEGIN{msg="My name is linux!";print index(msg,"AAA")?"ok":"no";}'

no

八、函数调用

function_name (parament1,parament2...)

用法

...您看上面,index函数的例子...对头,就那么用的。关于函数和以上的例子,在awk的模式介绍完后,基本都会有.

awk的模式

上面的关于逻辑运算符&&和||的例子中,已经用到了awk的模式,其以m和v开头的和大于等于500的运算,分别是表达式expression和正则表达式regexp,需要说明的是,其还支持取反和模糊匹配等,如下例及各种例:

例:打印/etc/passwd中以root开头的相应字段和非以root开头的相应字段

[root@linux download]# awk -F: '/^root/{print $1,$NF}' /etc/passwd

root /bin/bash

[root@linux download]# awk -F: '!/^root/{print $1,$NF}' /etc/passwd|head -2

bin /sbin/nologin

daemon /sbin/nologin

例:第三个字段有0的打印,和仅为0的,模糊匹配和精确匹配

[root@linux ~]# awk -F: '$3~0{print}' /etc/passwd

root:x:0:0:root:/root:/bin/bash

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

.........

[root@linux ~]# awk -F: '$3==0{print}' /etc/passwd

root:x:0:0:root:/root:/bin/bash

除了上面用到的表达式,还有ranges和BEGIN/END,其分别为范围匹配和特殊模式;例子如下:

例:打印从visitor开头的行到linux1开头的行中的所有行:ranges范围匹配

[root@linux ~]# awk '/^visitor/,/^linux1/{print}' /etc/passwd

visitor:x:501:501::/home/visitor:/bin/bash

linux:x:502:502::/home/linux:/bin/bash

linux1:x:503:503::/home/linux1:/bin/bash

例:打印结果添加标题和结束语:BEGIN和END的使用

[root@linux download]# awk -F: 'BEGIN {print "Name\tShell"}{print $1,"\t",$NF}END{print "---End---"}' /etc/passwd

Name Shell

root /bin/bash

................

mysql /bin/bash

---End---

例:在条件执行之前,先打印标题字段,并在结束后,打印结束字段

[root@linux ~]# awk -F: 'BEGIN{print "Username UID"}$3>=500 && $1 ~ /^m/{printf "%-15s%s\n",$1,$3}END{print "---END---"}' /etc/passwd

Username UID

linux 502

linux1 503

---END---

[root@linux ~]# awk -F: 'BEGIN{print "Username UID"}{printf "%-15s%s\n",$1,$3}END{print "---END---"}' /etc/passwd 去掉条件匹配,打印所有.

例:统计有某个关键字的行的总行数,并输出BEGIN和END信息,其中count++表示:每遇一个相同的则加1,最后输出总数

[root@linux download]# awk -F: 'BEGIN {count=0}$NF ~/nologin/ {count++}END{print "Nologin number is:",count}' /etc/passwd

Nologin number is: 30

例:使用BEGIN也可以直接显示字符串

[root@linux ~]# awk 'BEGIN{print "a""b"}'

ab

[root@linux ~]# awk 'BEGIN{print "a","b"}'

a b

[root@linux ~]# awk -v OFS=\~ 'BEGIN{print "a","b"}'

a~b

例:BEGIN也可以给字段分隔符变量赋值

[root@linux download]# awk 'BEGIN{FS=":"}{print $1}' /etc/passwd|head -2

root

bin

例:打印判断系统用户和普通用户输出:if条件判断和多条件判断

[root@linux download]# awk -F: '{if ($3<=499)print $1,"Sys User";else print $1,"Common User."}' /etc/passwd

root Sys User

...........

linux1 Common User.

mysql Sys User

[root@linux download]# awk -F: '{if($3==0){print $1,"Admin User";}else if($3>0 && $3<=499){print $1,"Sys User";}else{print $1,"Comm User"}}' /etc/passwd

root Admin User

bin Sys User

.............

nfsnobody Comm User

............

oprofile Sys User

....................

linux1 Comm User

mysql Sys User

例:使用while打印/etc/passwd中非root且非空行的前四个字段:while语句

[root@linux download]# awk -F: '$1!~/root/ && $1 !~/^$/{i=1;while(i<=4){print $i;i++}}' /etc/passwd|head -4

bin

x

1

1

例:打印不包含root行的每行的奇数和偶数字段:while和for循环

# awk -F: '$1!~/root/{i=1;while(i<=NF){print $i;i+=2}}' /etc/passwd while奇

# awk -F: '$1!~/root/{i=2;while(i<=NF){print $i;i+=2}}' /etc/passwd while偶

# awk -F: '{for(i=1;i<=NF;i+=2) print $i}' /etc/passwd for奇

# awk -F: '{for(i=2;i<=NF;i+=2) print $i}' /etc/passwd for偶

例:数组的引用,下标可以是字符串,但需要双引号,数字则不需要

[root@linux download]# awk 'BEGIN{A[10]="hello";A[15]="world";print A[10],A[15]}'

hello world

[root@linux download]# awk 'BEGIN{A["m"]="hello";A["n"]="world";print A["m"],A["n"]}'

hello world

例:数组的遍历

[root@linux download]# awk 'BEGIN{A["m"]="hello";A["n"]="world";for(B in A)print A[B],"OK"}'

hello OK

world OK

例:遍历环境变量关联数组,并以其下标加等号打印出:数组和环境变量

[root@linux download]# awk 'BEGIN{for(k in ENVIRON){print k"="ENVIRON[k],"OK";}}'

AWKPATH=.:/usr/share/awk OK

OLDPWD=/root OK

.........

例:统计以tcp开头网络状态的连接数:模式匹配、for循环和数组

[root@linux download]# netstat -ant|awk '$1~/tcp/{S[$NF]++}END{for (A in S) printf "%-15s:%s\n",A,S[A]}'

LISTEN :11

ESTABLISHED :2

例:统计不为空的用户的shell数量

[root@linux download]# awk -F: '$NF!~/^$/{S[$NF]++}END{for (A in S)print A,S[A]}' /etc/passwd

/bin/sync 1

/bin/bash 6

/sbin/nologin 30

/sbin/halt 1

/sbin/shutdown 1

例:打印100以内的加法,使用while和do~while

[root@linux download]# awk 'BEGIN{res=0;i=0;do{res+=i;i++;}while(i<=100)print res;}'

5050

[root@linux download]# awk 'BEGIN{while(i<=100){res+=i;i++;}print res;}'

5050

例:awk执行计算的速度是shell的近40倍

[root@linux ~]# time(awk 'BEGIN{res=0;for(i=0;i<=10000;i++){res+=i;}print res;}')

50005000

real 0m0.003s

user 0m0.001s

sys 0m0.001s

[root@linux ~]# time(res=0;for i in $(seq 10000);do res=$(($res+i));done;echo $res;)

50005000

real 0m0.114s

user 0m0.097s

sys 0m0.011s

例:统计apache常规日志的IP的访问次数,最多的前5个

# awk '{IP[$1]++}END{for(A in IP)print IP[A],A}' access_log|sort -rn|head -5

awk一些内部函数的使用

例:取1000以内的随机数

[root@linux download]# awk 'BEGIN{srand();fr=int(1000*rand());print fr;}'

796

[root@linux download]# awk 'BEGIN{srand();fr=int(1000*rand());print fr;}'

224

例:gsub的使用,将lab变量的任意数字替换为--demo--后并输出

[root@linux ~]# awk 'BEGIN{lab="2My name is linux2012.";gsub(/[0-9]+/,"--demo--",lab);print lab}'

--demo--My name is linux--demo--.

例:正则表达式匹配,match函数的使用

[root@linux download]# awk 'BEGIN{res="My name is linux!";print match(res,/[0-9]+/)?"ok":"no";}'

no

[root@linux download]# awk 'BEGIN{res="My name is linux88!";print match(res,/[0-9]+/)?"ok":"no";}'

ok

例:截取字符串,substr的使用,从第四个字符,截取四个字符长度

[root@linux ~]# awk 'BEGIN{info="My Name is linux!";print substr(info,4,4);}'

Name

例:字符串分割,split和length的使用,先打印总长度,然后打印每个数组中每个值和其下标

[root@linux ~]# awk 'BEGIN{test="My name is linux.";split(test,Ary," ");for(l in Ary){print l,Ary[l];}print length(Ary),"Str Len";}'

4 linux.

1 My

2 name

3 is

4 Str Len

例:打开外部文件,close函数的用法,getline打开管道,将读取内容送给print

[root@linux ~]# awk -v FS=: 'BEGIN{while("cat /etc/passwd"|getline){print $1;};close("/etc/passwd");}'|head -3

root

bin

daemon

例:逐行读取外部文件,getline用法,其实上一个也列出了getline的使用方法.

[root@linux ~]# awk 'BEGIN{while(getline<"/etc/passwd"){print $0,"OK";};close("/etc/passwd");}'|tail -3

linux:x:502:502::/home/linux:/bin/bash OK

linux1:x:503:503::/home/linux1:/bin/bash OK

mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/bash OK

例:调用外部应用程序

[root@linux download]# awk 'BEGIN{D=system("df -hP");print D;}'

Filesystem Size Used Avail Use% Mounted on

/dev/mapper/My_vg-lv_root 9.7G 3.1G 6.2G 33% /

/dev/mapper/My_vg-lv_home 496M 19M 452M 4% /home

/dev/sda1 99M 13M 82M 13% /boot

tmpfs 1014M 0 1014M 0% /dev/shm

/dev/hdc 3.3G 3.3G 0 100% /rhel_dvd

例:获取shell变量

[root@linux ~]# Out="My name is linux."

[root@linux ~]# echo|awk '{print res}' res="$Out"

My nameis linux.

[root@linux ~]# echo|awk -v res1="$Out"'BEGIN{print res1}'

My nameis linux.

[root@linux ~]# echo|awk -v res1="$Out"'{print res1}'

My nameis linux.

例:时间函数mktime、strftime和system的使用:输出一个指定时间,两个时间差,指定时间跟当前时间差

[root@linux download]# awk 'BEGIN{Tim=mktime("2012 12 21 23 59 59");print strftime("%c",Tim);}'

Fri 21 Dec 2012 11:59:59 PM CST

[root@linux download]# awk 'BEGIN{Time=mktime("2012 12 21 23 59 59");Time1=mktime("2012 12 21 23 59 01");print Time-Time1;}'

58

[root@linux download]# awk 'BEGIN{Time=mktime("2012 12 21 23 59 59");Time1=systime();print Time1-Time;}'

535294

  • 发表评论
  • 查看评论
【暂无评论!】

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。