Linux高级操作指令学习

管道符 |#

命令1|命令2 将命令1的输出当作命令2的输入

xargs#

xargs 可以将管道或标准输入（stdin）数据转换成命令行参数，也能够从文件的输出中读取数据。 xargs 也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。 xargs 默认的命令是 echo，这意味着通过管道传递给 xargs 的输入将会包含换行和空白，不过通过 xargs 的处理，换行和空白将被空格取代。 xargs 是一个强有力的命令，它能够捕获一个命令的输出，然后传递给另外一个命令。 之所以能用到这个命令，关键是由于很多命令不支持|管道来传递参数，而日常工作中有有这个必要，所以就有了 xargs 命令，例如：

find /sbin -perm +700 |ls -l       #这个命令是错误的
find /sbin -perm +700 |xargs ls -l   #这样才是正确的

nohup#

退出账户依然不会终止 格式： nohup command &

grep#

grep的一般格式 grep [选项] 基本正则表达式 [文件]

搜索文件中全部为大写字母的行

grep "^[A-Z]*" new.txt

搜索并显示前后两行

grep -B 2 -A 2 text inputfile -B before -A after

常用参数

-c 只输出匹配行的计数。 -i 不区分大小写（只适用于单字符） 。 -h 查询多文件时不显示文件名。 -l 查询多文件时只输出包含匹配字符的文件名。 -n 显示匹配行及行号。 -s 不显示不存在或无匹配文本的错误信息。 -v 显示不包含匹配文本的所有行

awk#

使用格式 awk [-F field-separator] 'commands' input-file(s)

指定分隔符获取指定列

以符号":"作为分隔符（默认是空格）取第1，2列 awk -F: '{print $1,$2}' file

awk的默认分隔符是空格，如果需要以空格来分隔，可以不用加-F参数

使用条件操作符匹配

awk可以使用条件操作符 除了普通的==,!=,<,<=,>=等，还有~(匹配)，!(不匹配) 注意：awk语句中的条件部分要用(),动作部分要用{},整体要用'' awk '{if($6/Mar/) print $0}' myfile

精确匹配== awk '$5=="96" {print $0}' myfile

使用if语句通过比较符号比较2个域的大小来做判断条件 awk '{if($5>"1024") print $9 " is more than 1M"}' myfile

awk可以使用正则表达式匹配 awk '{if($9~/^..n/) print $1,$3,$9}' myfile awk '{if($6~/(Mar|Dec)/) print $0}' myfile

awk的逻辑操作符 && and：两边必须同时为真 || OR:两边同时或者只有一边为真 ! 非：求逆 例如： awk '{if ($3=="bosstux1" && $5>="20000" ) print $0}' myfile

内置变量

awk的内置变量 ---ARGC支持命令行中传入awk脚本的参数个数.ARGV是ARGC的参数排列数组,其中每 一元素表示为ARGV[n]，n为期望访问的命令行参数。 ---ENVIRON支持系统设置的环境变量，要访问单独变量，使用实际变量名，例如 ---ENVIRON[“EDITOR”] =“Vi” 。 ---FILENAME支持awk脚本实际操作的输入文件。因为awk可以同时处理许多文件，因此如 果访问了这个变量，将告之系统目前正在浏览的实际文件。 ---FNR支持 awk目前操作的记录数。其变量值小于等于NR。如果脚本正在访问许多文件， 每一新输入文件都将重新设置此变量。 ---FS用来在awk中设置域分隔符，与命令行中 -F选项功能相同。缺省情况下为空格。如果用 逗号来作域分隔符，设置 FS = "，"。 ---NF支持记录域个数，在记录被读之后再设置。 ---OFS允许指定输出域分隔符，缺省为空格。如果想设置为 #，写入OFS = " # "。 ---ORS为输出记录分隔符，缺省为新行（ \ n） 。 ---RS是记录分隔符，缺省为新行 ( \ n )。 ---NR 已读的记录数

awk的内置变量都可以直接使用 例： awk 'END {print NR}' myfile (显示awk已读的记录条数) awk '{print NF,NR,$0}END{print FILENAME}' myfile 合并显示当前域个数，记录条数，以及原本的文件内容，文件名 awk '{if(NR>0 && $6=="Mar") print $0}' myfile 先判断文件中的记录数是否大于0在查找指定条件的内容

NF的其他用法 echo $PWD|awk -F/ '{print $NF}' 显示目录名 echo "/bosstux1/run/myfile"|awk -F/ '{print $NF}' 显示文件名

awk设置域别名 awk '{size=$5;filename=$9;if(size>"1000"&&filename~/bin/)print "文件" filename " 的大小是 " size "kb!"}' myfile

awk域值比较操作 直接比较或者BEGIN先给变量赋值

awk修改数值域 先确保该域的子集是数值类型，可以对起进行计算操作。但是不是修改文件本身的数值，只是修改保存在缓存中的awk副本 awk '{if($9~/bin/) $5=$5+50000;print $0}' myfile

awk修改文本域 字符串需要用双秒号"",并用圆括号括起整个语法 awk '{if($9~/bin/) ($6="Aug");print $0}' myfile

只显示修改的部分 awk '{if($9~/bin/) {$6="Aug";print $0}}' myfile

awk创建新的输出域 awk 'BEGIN{print "文件名\t某数据"}{if($3=="bosstux1"){$10=$5--$2;print $9,$10}}' myfile 可以给新增的域设置更加有意义的别名

awk统计列值 awk可以很简单统计某一列（某个域）的所有值的总和 awk '{tot+=$5} END{print "文件总大小为 " tot/1024 "MB"}' myfile

ls -ltar|awk '/^[^d]/ {print $9"\t"$5}{tot+=$5} END{print "文件总大小为 "tot/1024"MB"}' ls -ltar|awk '{if($1~/^[^d]/) print $9"\t"$5}{tot+=$5} END{print "文件总大小为 "tot/1024"MB"}'

内置的字符串函数

1,gsub(r,s,t) 在整个t中用s代替r,如果不指定t，默认是$0 awk '{gsub(/bin/,"Mar");print}' myfile 不可用

2,index(s,t) 查询字符串s中t第一次出现的位置 awk 'BEGIN{print index("sssaanya","ny")}' myfile

3,length(s) 返回字符串s的长度 awk 'BEGIN{print length("xu wangcheng")}' myfile awk '{if($9~/bin/)print length($9)" "$9 }' myfile

4,match(s,r) 测试s中是否包含匹配r的字符串 awk 'BEGIN{print match("xuwsda",/s/)}' 不可用 awk '{if($9=="tools") print match($9,/l/)}' myfile 不可用

5,split(s,a,fs) 以fs为指定分隔符将字符串s分割成一个数组a awk 'BEGIN{print split("aswd|sawa|eee",Ti,"|"),Ti[1]}'

6,sub(r,s,STR) 将STR中第一次出现的r改变为s awk 'BEGIN{print sub(/ha/,"HA",'shajhsjas')}' 不可用 awk '$9=="solib.tar" sub(/Jan/,"Dec",$0)' myfile 不可用

7,substr(s,m,n) 返回s中第m至n位的字符 awk 'BEGIN{print substr("mnjkasjjas",2,6)}' awk '{if($9=="solib.tar") print substr($5,1,4)}' myfile awk 'BEGIN{STR=="sawwwaaa"}END{print substr(STR,2)}' myfile

8,从shell中向awk传入字符串 使用管道符向awk传入字符串 echo "Family is love"|awk '{print length($0)}' 设置变量，再使用管道符向awk传入 STR="myfile" echo $STR|awk '{print substr($STR,1,3)}'

sed#

sed是非交互性文本编辑器,相对于vi而讲

主要参数

sed命令的主要参数 -n 不打印 -p 打印编辑行 -c 下一条命令是编辑命令，如果只有一条sed命令，此项无用 -f 调用sed脚本文件

将sed内容重定向输出到文件中 sed ' ' myfile>myfile_1

匹配打印行

sed -n '2p' myfile 打印第二行 sed -n '1,2p' myfile 打印第1-2行 sed -n '/ChmDecompiler/'p myfile 打印匹配到ChmDecompiler的行 sed -n '4,/ChmDecompiler/'p myfile 在第4行匹配ChmDecompiler 并打印出来 sed -n '/$/'p myfile 匹配特殊字符需要加反斜杠来转义 sed -n '1,$p' myfile 打印整个文件 sed -n '/.*ered/p' myfile 匹配以ered结尾的模式 sed -e '/.*ered/=' myfile 匹配的打印行前都添加了行号 sed -n -e '/.*ered/p' -e '/.*ered/=' myfile 只显示匹配到的打印行的行数和内容

增删改查文本

sed附加文本--------在指定位置的后面 sed '/message/a
This is a append words!' myfile>myfile_1 先匹配到有message的位置，在后面附加下面的新文本,最好重定向输出到新的文件中

sed插入文件---------在指定位置的前面 sed '3i
这是一个插入的文本!' myfile>myfile_1 在第三行前面插入新的文本内容

sed修改文本-----------指定位置行数用新文本代替 sed '3c
这是一个替换文本!' myfile>myfile_1

可以对同一个文本进行三种操作

sed删除文本--------删除指定行或删除匹配到的指定行 sed '1,2d' myfile>myfile_1 删除第一到第二行并将新文本输出到新的文件中 sed '1d' myfile>myfile_1 sed '$d' myfile>myfile_1

替换文本-----替换指定模式匹配到的文本内容 sed 's/version/VERSION/p' myfile

s/[被替换文本]/[替换文本]/[g p w n] 参数g：默认情况下只替换第一次出现的文本，加g将会全局替换 参数p:默认情况下sed将所有被替换行写入标准输出，加p将使-n选项无效。-n不打印输出结果 参数w：w 文件名 将被替换的行输出到新的文本中

可以使用替换模式删除指定文本

SED使用替换去修改字符串 sed -n 's/version/NWEBLUS &/p' myfile 作用：根据匹配模式找到需要被替换的文本，再将这段文本加到替换文本的后面来替换。这样就等于在被替换文本前面添加文本了

sed '/ message./r More.txt' myfile -----先在myfile中匹配模式，在匹配到的字符后面添加More.txt文件的全部文件

匹配后退出 模式匹配首次出现后立即退出sed以便执行其他脚本命令 sed '/message./q' myfile

sed可以显示文件中的控制字符 cat -v filename 也可以显示文件中的控制字符 sed -n '1,$l' myfile （前一个是数字1后一个是字母l）

sort#

sort可以对文本进行排序，合并，分割的操作

主要参数

-c 测试文件是否已经分类。 -m 合并两个分类文件。 -u 删除所有复制行。 -o 存储sort结果的输出文件名。 其他选项有： -b 使用域进行分类时，忽略第一个空格。 -n 指定分类是域上的数字分类。 -t 域分隔符；用非空格或 t a b键分隔域。 -r 对分类次序或比较求逆。 +n n 为域号。使用此域号开始分类。

用法示例

sort new.txt -o new1.txt 默认排序所有列并输出到另外一个文件

sort默认情况下认为空格或者一系列空格为分隔符，需要制定符号为分隔符的需加-t选项 sort -t: -r video -r为逆向分类结果

按指定域分类 sort -t: +2 video +1为按第2域分类，+0为第1域，以此类推 PS：如果是数值域就要加-n选项，如果不加，sort只会按照第一个数字是否相同而进行排序 sort -t: +3n -r video 默认的数字域排序是按从小到大排序的,排序后加-r选项可以逆向（从大到小）排序

唯一性分类 sort -u video -u选项会去掉重复行

多重分类 先按第4域分类，再按第1域分类 sort -t: -k4n -k1 -r video 同sort -t: +3n +0 -r video sort +0 -2 +3 : 以域0分类，忽略域2，再按域3分类

pos用法 sort -t: +2.1n video 第3个域的左起数第2个数字开始分类(域和字符位数都是从0开始计数的)

使用head和tail将输出分类 sort -t: +3n video|head -1 查看开头一行 sort -t: +3n video|tail -2 查看末尾二行

sort结合awk处理数据 sort -t: +3n video|tail -2|awk -F":" '{print $1,",age is "$3,",salary "$4,"in "$2}' cat /etc/passwd|sort -t: +0|awk -F: '{print $1}'>use.txt

将两个分类文件合并（一个已经分类的文件加入合并到另一个已经分类的文件中） sort -t: -m +0 video1 video (已第1域进行分类，不是必须加上+0的)

uniq#

类似与sort -u video,但是sort中为全局去重，uniq则只对连续出现的重复行有效。

uniq的参数： -u 只显示不重复行。 -d 只显示有重复数据行，每种重复行只显示其中一行 -c 打印每一重复行出现次数。 -fn 为数字，前 n个域被忽略。 一些系统不识别- f选项，这时替代使用 -n

uniq -f2 -c myfile_1 只对第2域进行测试

cut#

cut -d: -f3 pers 以：为域分割符，抽取第三域。 cut -d: -f1,3 pers 以：为域分割符，抽取第1和3域

cut -d: -f1,6 /etc/passwd

who -u|cut -c1-8 精确剪切，-c1-8 剪切第1到8个字符

split#

将大文件分割成小文件 split -5 file 每5行分割做一个小文件