GNU Awk用户指南 #http://www.gnu.org/software/gawk/manual/gawk.html #AWK 简明教程 #https://coolshell.cn/articles/9070.html 简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。 使用方法 awk '{pattern + action}' {filenames} 尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。 awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。 通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。 调用awk 有三种方式调用awk 1.命令行方式 awk [-F field-separator] 'commands' input-file(s) 其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。 在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。 2.shell脚本方式 将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。 相当于shell脚本首行的：#!/bin/sh 可以换成：#!/bin/awk 3.将所有的awk命令插入一个单独文件，然后调用： awk -f awk-script-file input-file(s) 其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。 本章重点介绍命令行方式。 注意: awk -F[:] 等效于awk -F':' 入门实例 假设last -n 5的输出如下 [root@www ~]# last -n 5 <==仅取出前五行 root pts/1 192.168.1.100 Tue Feb 10 11:21 still logged in root pts/1 192.168.1.100 Tue Feb 10 00:46 - 02:28 (01:41) root pts/1 192.168.1.100 Mon Feb 9 11:41 - 18:30 (06:48) dmtsai pts/1 192.168.1.100 Mon Feb 9 11:41 - 11:41 (00:00) root tty1 Fri Sep 5 14:09 - 14:10 (00:01) 如果只是显示最近登录的5个帐号 #last -n 5 | awk '{print $1}' root root root dmtsai root awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。 如果只是显示/etc/passwd的账户 #cat /etc/passwd |awk -F ':' '{print $1}' root daemon bin sys 这种是awk+action的示例，每行都会执行action{print $1}。 -F指定域分隔符为':'。 如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割 #cat /etc/passwd |awk -F ':' '{print $1"\t"$7}' root /bin/bash daemon /bin/sh bin /bin/sh sys /bin/sh 如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。 cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}' name,shell root,/bin/bash daemon,/bin/sh bin,/bin/sh sys,/bin/sh .... blue,/bin/nosh awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。 搜索/etc/passwd有root关键字的所有行 #awk -F: '/root/' /etc/passwd root:x:0:0:root:/root:/bin/bash 这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。 搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd 搜索/etc/passwd有root关键字的所有行，并显示对应的shell # awk -F: '/root/{print $7}' /etc/passwd /bin/bash 这里指定了action{print $7} awk内置变量 awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。 ARGC 命令行参数个数 ARGV 命令行参数排列 ENVIRON 支持队列中系统环境变量的使用 FILENAME awk浏览的文件名 FNR 浏览文件的记录数 FS 设置输入域分隔符，等价于命令行 -F选项 NF 浏览记录的域的个数 NR 已读的记录数 OFS 输出域分隔符 ORS 输出记录分隔符 RS 控制记录分隔符 此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。 统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容: #awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh 使用printf替代print,可以让代码更加简洁，易读 awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd print和printf awk中同时提供了print和printf两种打印输出的函数。 其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。 printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。 awk编程 变量和赋值 除了awk的内置变量，awk还可以自定义变量。 下面统计/etc/passwd的账户人数 awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd root:x:0:0:root:/root:/bin/bash ...... user count is 40 count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。 这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0: awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd [start]user count is 0 root:x:0:0:root:/root:/bin/bash ... [end]user count is 40 统计某个文件夹下的文件占用的字节数 ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}' [end]size is 8657198 如果以M为单位显示: ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is 8.25889 M 注意，统计不包括文件夹的子目录。 条件语句 awk中的条件语句是从C语言中借鉴来的，见如下声明方式： if (expression) { statement; statement; ... ... } if (expression) { statement; } else { statement2; } if (expression) { statement1; } else if (expression1) { statement2; } else { statement3; } 统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹): ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is 8.22339 M 循环语句 awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。 数组 因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。 显示/etc/passwd的账户 awk -F [:] ..... awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd 0 root 1 daemon 2 bin 3 sys 4 sync 5 games ...... 这里使用for循环遍历数组 awk编程的内容极多，这里只罗列简单常用的用法，更多请参考 http://www.gnu.org/software/gawk/manual/gawk.html ------------------------------------------------------- #num2 Linux awk命令使用方法 awk是linux上非常好用的文本处理工具，常用于指定列的处理，包括获取指定列的内容、根据指定列匹配关系输出等文本处理。本文主要描述awk命令的基本语法、正则表达式与操作符的使用、常用内置变量的含义和使用方法、内置字符串函数的使用方法。 awk基本语法 awk [ -F 分隔符] [ -v 变量名=值 ] 'BEGING{语句} 条件类型1{动作1} 条件类型2{动作2}... END{语句}' 输入的文件 命令格式说明: （1）awk命令格式由四部分组成。选项、BEGIN、END和带条件类型和动作的语句。这四个部分都是可选项，可省略任意部分。 （2）-F表示设置列分隔符，默认为空格。 （3）-v 表示初始化一个变量或者用于向awk命令传入外部变量值，shell编程中常用。 （4）条件类型可以是正则表达式、条件语句、复合语句以及行匹配范围等内容。条件类型为可选设置。如果设置条件，只处理匹配条件的行执行动作。如果未设置，awk命令则认为所有行都是匹配的，并执行动作语句。动作表示执行的命令，命令必须放在大括号{}内。 （5）必须了解这些符号。$0表示行，$1、$2、$3...$n分别表示第1列、第2列、第3列...第n列。awk命令经常会使用这些符号去做匹配、打印指定指定列等操作。 awk命令处理流程： （1）执行BEGIN{} 语句块中的内容。BEGIN语句通常用户变量初始化、打印输出表格的表头。 （2）从文件或者stdin中读取一行。然后根据条件类型的匹配关系，判断是否需要执行后面的动作。直到做完所有的动作和条件类型。重复这个过程，直到文件所有行处理完成。 （3）执行END语句块中的内容。END语句块常用于分析汇总等统计信息，比如统计文件行数。 基本使用实例 下面我们通过一些基本的实例来直观了解下awk命令的各选项和条件类型、动作的基本用法，这些实例也是awk操作或者shell编程中最常见的几种用法。如下 （1）$0、$1、$2、$3...$n内容 echo "2017 12 20" | awk '{print "$0="$0,"$1="$1,"$2="$2,"$3="$3}' #输出$0=2017 12 20 $1=2017 $2=12 $3=20 从结果输出可以知道，$0表示整行内容，$1、$2表示执行列。print中分割字段的逗号","默认输出为空格。如果需要输出以逗号分隔可以用如下方式： echo "2017 12 20" | awk '{print "$0="$0 "," "$1="$1 "," "$2="$2 "," "$3="$3}' #输出$0=2017 12 20,$1=2017,$2=12,$3=20 （2）利用-F选项指定分隔符获取匹配行的指定列。 echo "2017-12-20" | awk -F"-" '{print $1,$2,$3}' #获取第1、2、3列内容，输出2017 12 20 如果需要考虑多个分隔符的行处理情况呢，可以通过-F '[分隔符1 分隔符2]'设置。如下一行同时包含破折号"-"、反斜干分隔符"/"，获取指定第1、2、3列内容。命令如下： echo "2017-12/20" | awk -F"[-/]" '{print $1,$2,$3}' #输出2017 12 20 （3）向awk命令传入外部变量，常用于shell编程中。 var1=5 awk -v var=${var1} 'BEGIN{for(i=0;i<=var;i++)print i}' #输出0 1 2 3 4 5 （4）BEGIN使用方法 awk 'BEGIN{num=5;for(i=0;i<=num;i++)print i}' awk 'BEGIN{print "Begin deal with files"}' #处理文件前打印提示信息 （5）使用END语句统计文件行数。举例如下： awk 'END{print NR}' /etc/passwd 说明：NR表示文件已读取的行数，END语句块是在文本所有行处理后执行，所以打印NR数值就是文件行数。 awk中正则表达式与条件操作符 awk中正则表达式匹配操作中经常用到字符如下： . * + ? $ | \ [] {} () 条件操作符如下： <(小于) <=(小于等于) ==(等于) >(大于) >=(大于等于) !=(不等于) ~(匹配正则表达式) !~(不匹配正则表达式) 其中<、>、<=等操作符用法比较简单，这里主要讲~(匹配正则表达式)、 !~(不匹配正则表达式)两个表达式的用法。 基本实例如下： （1）打印第1个字段包含root字符串的行 awk -F":" '{if($1~/root/)print $0}' /etc/passwd #写法一 awk -F":" '$1~/root/{print $0}' /etc/passwd #写法二 （2）打印第1个字段不包含root字符串的行 awk -F":" '{if($1 !~ /root/)print $0}' /etc/passwd #写法一 awk -F":" '$1 !~ /root/{print $0}' /etc/passwd #写法二 （3）打印第1个字段等于root字符串的行 awk -F":" '{if($1 == "root")print $0}' /etc/passwd #写法一 awk -F":" '$1 == "root"{print $0}' /etc/passwd #写法二 （4）打印第1个字段不等于root字符串的行 awk -F":" '{if($1 != "root")print $0}' /etc/passwd #写法一 awk -F":" '$1 != "root"{print $0}' /etc/passwd #写法二 （5）打印用户ID小于500的用户 awk -F":" '{if($3<500)print $0}' /etc/passwd （6）打印行首为oracle的行 awk -F":" '{if($1~/^oracle/)print $0}' /etc/passwd （7）打印匹配oracle或者root字符串的行 awk -F":" '{if($1~/(root|oracle)/)print $0}' /etc/passwd #用正则表达式元字符|的方式 awk -F":" '{if($1~/root/ || $1~/oracle/)print $0}' /etc/passwd #用或||的方式 说明：竖线符"|"表示匹配竖线"|"两边模式之一。使用竖线符时，语句必须用圆括号()括起来。 （8）打印同时匹配oracle和root的行 awk -F":" '{if($1=="root" && $3=="0")print $0}' /etc/passwd awk内置变量 awk的内置变量包括FS、NF、OFS、ORS、NR等内容，下面逐一列举其含义和用法。 （1）FS 表示用于设置列的分隔符，与-F选项功能相同。缺省情况下为空格。举例如下： echo "2017-12-20" |awk 'BEGIN{FS="-"}{print $1,$2,$3}' #输出2017 12 20 （2）NF 表示一行记录列的总数。如果需要打印最后一列内容，举例如下： echo "/usr/local/bin/python" | awk -F '/' '{print $NF}' #输出python 说明:NF常用于打印倒数指定列的内容。 （3）OFS 表示指定输出字段分隔符，缺省为空格。举例如下： echo "1990 09 09" | awk 'BEGIN{OFS="-"}{print $1,$2,$3}' #输出1990-09-09 （4）ORS 表示输出行记录的分隔符，默认为换行符(\n)。如果需要设置输出行的分隔符为#，可以如下表示： echo -e "1990\n09\n09" | awk 'BEGIN{ORS="#"}{print $0}' #输出1990#09#09# （5）NR 表示已读的记录数。如果需要打印文件行数，举例如下： awk 'END{print NR}' /etc/passwd （6）FILENAME 表示当前处理文件名。举例如下： awk 'END{print FILENAME}' /etc/passwd awk内置字符串函数 （1）length(string) 返回计算字符串string的长度。举例如下： echo "Hello World" | awk '{print length($0)}' #输出11 （2）index(string,substr) 返回待查找字符substr在字符串string中的位置，其中substr必须用双引号将字符串括起来。举例如下： echo "Hello World" | awk '{print index($0,"o")}' #输出5 awk 'BEGIN{print index("Hello World","o")}' #输出5 （3）match(string,regex) 检查正则表达式regex是否能够匹配字符串，如果匹配返回值为非0，如果未匹配，返回0。举例如下： awk 'BEGIN{print match("Hello World",'o')}' #查找字符串o第一次出现的位置，输出1 echo "Hello World" | awk '{print match($0,'o')}' #同上，输出1 awk 'BEGIN{print match("Hello World",/[Oo]/)}' #查找字符串大写或小写o第一次出现的位置。输出5 （4）split(string,array,delimeter) 使用指定的分隔符delimeter分割字符串string，并将分割出的结果保存到arayr数组。split()函数返回值为数组长度。举例如下： echo "123#456#789" | awk '{len=split($0,arr,"#");for(i=1;i<=len;i++)print arr[i]}' 说明：通过获取到的数组长度，通过循环方式获取数组中的内容，其中数组下标是从1开始计算。更为简便的获取方法如下： echo "123#456#789" | awk '{split($0,arr,"#");for(i in arr)print arr[i]}' （5）sub(regex,string) 表示用字符串string替换正则表达式regex匹配的内容。举例如下： echo "Java:Python:Java:C" | awk 'sub(/Java/,"Ruby",$0)' #输出Ruby:Python:Java:C （6）substr(string,pos) 获取字符串sting中从指定位置pos后的内容。举例如下 echo "Java:Python:C" | awk '{print substr($0,6)}' #输出Python:C （7）substr(string,pos,n) 获取字符串string中从指定位置pos开始长度为n的内容 echo "Java:Python:C" | awk '{print substr($0,1,4)}' #输出Java （8）gsub(regex,string) 表示使用字符串string替换正则表达式regex匹配的内容。举例如下： echo "Java:Python:Java:C" | awk 'gsub(/Java/,"Ruby")' #输出Ruby:Python:Ruby:C （9）gsub(regex,string,target) 表示在指定的范围内，使用字符串string替换正则表达式regex匹配的内容。举例如下： echo "Learn Shell at 2013-08-08" | awk 'gsub(/-/,":",$4)' #输出Learn Shell at 2013:08:08 awk内置算术函数 这里主要介绍int()、srand()、rand()3个算术函数。 （1）int(x) 返回x的整数 awk 'BEGIN{i=3.1415926;print int(i)}' #输出3 （2）rand() 返回0~1的任意数字。 awk 'BEGIN{srand();num=rand();print num}' #输出0~1的任意值，每执行一次变化一次。 说明：如果不加上srand()函数，每次执行打印的值都相同。 awk内容打印(printf&print) awk可以使用print和printf输出字符串。主要区别是printf可以自定义输出的模式，输出内容后不换行。print输出内容后会自动换行。 printf使用格式： （1）printf([格式控制符]，参数) （2） printf [格式控制符]，参数 格式（1）和（2）的区别就是带不带小括号。个人觉得带小括号更直观。毕竟是个函数。下面这说明一下printf格式控制符中的常用格式和修饰符。 常用格式：%d表示整数、%s表示字符串。 修饰符：破折号"-"表示左对齐、Width表示步长。 printf基本使用实例 （1）格式化输出字符串 $ echo -e "12345 678\n123456788 890" | awk '{printf("%-11d %-5d\n",$1,$2)}' $ echo -e "12345 678\n123456788 890" | awk '{printf"%-11d %-5d\n",$1,$2}' #不带小括号 如果使用print函数的话，就可以自动换行了，不需要手工添加换行符。同样，print也是可以带小括号。 $ echo -e "12345 678\n123456788 890" | awk '{print $1,$2}' （2）利用printf生成数据。使用方法如下 $ awk 'BEGIN{data_format="136%03d\n";for(i=0;i<=3;i++)printf(data_format,i)}' 总结 本文内容介绍了awk命令的基本语法和常用实例。awk具有强大的文本处理能力，掌握awk命令的基本内容可以完成工作上遇到的大部分问题。另外，awk构造大批量测试数据有非常高的效率。 AWK数组 一.数组格式 数组是一个包含一系列元素的表. 格式如下： abc[1]=”xiaohong” abc[2]=”xiaolan” 解释： abc ：为数组名称 [1]、[2]：为数组元素下标，可以理解为数组的第1个元素、数组的第2个元素 ”xiaohong”、”xiaolan”： 元素内容 例子1：定义数组，并且打印数组元素 [root@tab0 ~]# awk 'BEGIN{a[0]="xiaohong";a[1]="xiaolan";print a[0]}' xiaohong [root@tab0 ~]# awk 'BEGIN{a[0]="xiaohong";a[1]="xiaolan";print a[1]}' Xiaolan 例子2：打印出所有元素的下标 [root@tab0 ~]# awk 'BEGIN{a[0]="xiaohong";a[1]="xiaolan";for (i in a)print i;}' 0 1 解释：将a定义为循环中的取值列表。从数组中取出的是数组的所有元素的下标 例子3：我们将/etc/passwd/ 里边的第一类定义成数组 [root@localhost ~]#：awk -F: '{{a[NR]=$1;}{print NR,a[NR];}}' /etc/passwd 例子4：利用数组统计每一个IP的访问量 [root@tab0 ~]# cat a 192.168.3.1 192.168.3.2 192.168.3.3 192.168.3.4 192.168.3.5 192.168.3.6 192.168.3.7 192.168.3.1 192.168.3.2 192.168.3.3 192.168.3.3 192.168.3.3 192.168.3.2 192.168.3.3 192.168.3.6 192.168.3.6 192.168.3.6 192.168.3.3 192.168.3.2 192.168.3.2 解决办法1： [root@tab0 ~]# sort a |uniq -c | sort -nr 6 192.168.3.3 5 192.168.3.2 4 192.168.3.6 2 192.168.3.1 1 192.168.3.7 1 192.168.3.5 1 192.168.3.4 解决办法2： [root@tab0 ~]# awk '{array[$1]++} END {for(key in array) print array[key],key}' a |sort -k 2 -nr 6 192.168.3.3 5 192.168.3.2 4 192.168.3.6 2 192.168.3.1 1 192.168.3.7 1 192.168.3.5 1 192.168.3.4 那我们再来说说上边例子中的array[$1]++ （1）Awk在读取第一行的时候，会读取这个数组，此时的数组是这样的：a[192.168.3.1]++ （2）此时a[192.168.3.1]的值是未定义的。 但是由于后边有运算符号++。Awk会将数字0自动赋值给a[192.168.3.1]。然后在做++运算 （3）此时a[192.168.3.1]做++ ,也就是0+1得到的值为1 （4）那么在读第二个192.168.3.1时,此时a[192.168.3.1]的值已经经过上次运算为1.此时在做一次运算。也就是1+1 现在a[192.168.3.1]的值为2。 （5）总结，最后的值是多少，也就意味着，192.168.3.1运算了多少次，也意味着192.168.3.1出现了多少次。 执行过程就如下： [root@tab0 ~]# awk '{a[$1]++;print a[$1]}' a 1 1 1 1 1 1 1 2 2 2 3 4 3 5 2 3 4 6 4 5 其实这与let i++ 是同理 [root@tab0 ~]# i=0 [root@tab0 ~]# let i++ [root@tab0 ~]# echo $i 1 [root@tab0 ~]# let i++ [root@tab0 ~]# echo $i 2 [root@tab0 ~]# let i++ [root@tab0 ~]# echo $i 3