Shell基础 – Shell 文本处理

# 打印test.txt文件的第17行
sed -n "17p" test.txt

# 打印文件的10到20行
sed -n "10,20p" test.txt

# 打印test.txt文件中从第10行开始，往后面加5行
sed -n "10,+5p" test.txt

# 打印test.txt文件中以root开头的行
sed -n "/^root/p" test.txt

# 打印test.txt文件中第一个匹配到以ftp开头的行，到mail开头的行结束
sed -n "/^ftp/,/^mail/p" test.txt

# 打印test.txt文件中从第4行开始匹配，直到以hdfs开头的行结束
sed -n "4,/^hdfs/p" test.txt

# 打印test.txt文件中匹配root的行，直到第10行结束
sed -n "/root/,10p"test.txt

[cmuser@localhost test]$ cat abc.txt
First Line
Second haha
[cmuser@localhost test]$ sed -i 's/Sec..d/&s/g' abc.txt
[cmuser@localhost test]$ cat abc.txt
First Line
Seconds haha
[cmuser@localhost test]$ sed -i 's/\(Sec..ds\)/\10/g' abc.txt
[cmuser@localhost test]$ cat abc.txt
First Line
Seconds0 haha
[cmuser@localhost test]$ sed -i 's/\(Sec\)...../\1FFFFFFFFFF/g' abc.txt
[cmuser@localhost test]$ cat abc.txt
First Line
SecFFFFFFFFFF haha

[cmuser@localhost test]$ old_str=First
[cmuser@localhost test]$ new_str=One
[cmuser@localhost test]$ sed -i "s/$old_str"/"$new_str/g" abc.txt
[cmuser@localhost test]$ cat abc.txt
One Line
SecFFFFFFFFFF haha

[jenkins@caimeidev1 test]$ vim test1.sh
#!/bin/bash

FILE_NAME=/etc/my.cnf

function get_all_segments {
    echo "`sed -n '/\[.*\]/p' $FILE_NAME |sed -e 's/\[//g' -e 's/\]//g'`"
}

function count_items_in_segment {
    echo "`sed -n '/\['$1'\]/,/\[.*\]/p' $FILE_NAME  | grep -v ^# |grep -v ^$ |grep -v "\[.*\]" |wc -l `"
}

num=0
for seg in `get_all_segments`
do
    num=`expr $num + 1`
    items_count=`count_items_in_segment $seg`
    echo "$num:$seg  $items_count"
done

[jenkins@caimeidev1 test]$ ./test1.sh
1:mysqld  9
2:mysqld_safe  2
3:mysql  1
4:client  1

# 删除文件中的所有注释行和空行
sed -i '/[:blank:]*#/d;/^$/d' nginx.conf
# 在配置文件中所有不以#开头的行前面添加*符号，注意：以#开头的行不添加
sed -i 's/^[^#]/\*&/g' nginx.conf

# 修改/etc/passwd中第1行中第1个root为ROOT	
sed -i '1s/root/ROOT/' passwd
# 修改/etc/passwd中第5行到第10行中所有的/sbin/nologin为/bin/bash
sed -i '5,10s/\/sbin\/nologin/\/bin\/bash/g' passwd
# 修改/etc/passwd中匹配到/sbin/nologin的行，将匹配到行中的login改为大写的LOGIN
sed -i '/\/sbin\/nologin/s/login/LOGIN/g' passwd
# 修改/etc/passwd中从匹配到以root开头的行，到匹配到行中包含mail的所有行。修改内为将这些所有匹配到的行中的bin改为HADOOP
sed -i '/^root/,/mail/s/bin/HADOOP/g' passwd
# 修改/etc/passwd中从匹配到以root开头的行，到第15行中的所有行，修改内容为将这些行中的nologin修改为SPARK
sed -i '/^root/,15s/nologin/SPARK/g' passwd
# 修改/etc/passwd中从第15行开始，到匹配到以yarn开头的所有行，修改内容为将这些行中的bin换位BIN
sed -i '15,/^yarn/s/bin/BIN/g' passwd 

# a:在匹配行后面追加
# (1)、passwd文件第10行后面追加"Add Line Behind"		
sed -i '10a Add Line Begind' passwd
# (2)、passwd文件第10行到第20行，每一行后面都追加"Test Line Behind"
sed -i '10,20a Test Line Behind' passwd
# (3)、passwd文件匹配到/bin/bash的行后面追加"Insert Line For /bin/bash Behind"
sed -i '/\/bin\/bash/a Insert Line For /bin/bash Behind' passwd

# i:在匹配行前面追加
# (1)、passwd文件匹配到以yarn开头的行，在匹配行前面追加"Add Line Before"
sed -i '/^yarn/i Add Line Before' passwd
# (2)、passwd文件每一行前面都追加"Insert Line Before Every Line"
sed -i 'i Insert Line Before Every Line' passwd

# r:将文件内容追加到匹配行后面
# (1)、将/etc/fstab文件的内容追加到passwd文件的第20行后面
sed -i '20r /etc/fstab' passwd
# (2)、将/etc/inittab文件内容追加到passwd文件匹配/bin/bash行的后面
sed -i '/\/bin\/bash/r /etc/inittab' passwd
# (3)、将/etc/vconsole.conf文件内容追加到passwd文件中特定行后面，匹配以ftp开头的行，到第18行的所有行
sed -i '//,18r /etc/vconsole.conf' passwd

# w:将匹配行写入指定文件	
# (1)、将passwd文件匹配到/bin/bash的行追加到/tmp/sed.txt文件中
sed -i '/\/bin\/bash/w /tmp/sed.txt' passwd
# (2)、将passwd文件从第10行开始，到匹配到hdfs开头的所有行内容追加到/tmp/sed-1.txt
sed -i '10,/^hdfs/w /tmp/sed-1.txt' passwd

awk 'BEGIN{} pattern{commands}END{}' file_name
standard output | awk 'BEGIN{}pattern{commands}END{}'

[cmuser@localhost test]$ awk '{print $0}' abc.txt
One Line
SecFFFFFFFFFF haha
[cmuser@localhost test]$ awk '{print $1}' abc.txt
One
SecFFFFFFFFFF
[cmuser@localhost test]$ awk '{print NR}' abc.txt
1
2

# 1、以字符串格式打印/etc/passwd中的第7个字段，以":"作为分隔符
awk 'BEGIN{FS=":"} {printf "%s\n",$7}' /etc/passwd
# 2、以10进制格式打印/etc/passwd中的第3个字段，以":"作为分隔符
awk 'BEGIN{FS=":"} {printf "%d\n",$3}' /etc/passwd
# 3、以浮点数格式打印/etc/passwd中的第3个字段，以":"作为分隔符
awk 'BEGIN{FS=":"} {printf "%0.3f\n",$3}' /etc/passwd
# 4、以16进制数格式打印/etc/passwd中的第3个字段，以":"作为分隔符
awk 'BEGIN{FS=":"} {printf "%#x\n",$3}' /etc/passwd
# 5、以8进制数格式打印/etc/passwd中的第3个字段，以":"作为分隔符
awk 'BEGIN{FS=":"} {printf "%#o\n",$3}' /etc/passwd
# 6、以科学计数法格式打印/etc/passwd中的第3个字段，以":"作为分隔符
awk 'BEGIN{FS=":"} {printf "%e\n",$3}' /etc/passwd

# 匹配/etc/passwd文件行中含有root字符串的所有行
awk 'BEGIN{FS=":"}/root/{print $0}' /etc/passwd
# 匹配/etc/passwd文件行中以yarn开头的所有行
awk 'BEGIN{FS=":"}/^yarn/{print $0}' /etc/passwd

# 以:为分隔符，匹配/etc/passwd文件中第3个字段小于50的所有行信息
awk 'BEGIN{FS=":"}$3<50{print $0}' /etc/passwd
# 以:为分隔符，匹配/etc/passwd文件中第3个字段大于50的所有行信息
awk 'BEGIN{FS=":"}$3>50{print $0}' /etc/passwd
# 以:为分隔符，匹配/etc/passwd文件中第7个字段为/bin/bash的所有行信息
awk 'BEGIN{FS=":"}$7=="/bin/bash"{print $0}' /etc/passwd
# 以:为分隔符，匹配/etc/passwd文件中第7个字段不为/bin/bash的所有行信息
awk 'BEGIN{FS=":"}$7!="/bin/bash"{print $0}' /etc/passwd
# 以:为分隔符，匹配/etc/passwd中第3个字段包含3个以上数字的所有行信息
awk 'BEGIN{FS=":"}$3~/[0-9]{3,}/{print $0}' /etc/passwd

# 以:为分隔符，匹配/etc/passwd文件中包含hdfs或yarn的所有行信息
awk 'BEGIN{FS=":"}$1=="hdfs" || $1=="yarn" {print $0}' /etc/passwd
# 以:为分隔符，匹配/etc/passwd文件中第3个字段小于50并且第4个字段大于50的所有行信息
awk 'BEGIN{FS=":"}$3<50 && $4>50 {print $0}' /etc/passwd

# 使用awk计算/etc/services中的空白行数量
awk '/^$/{sum++}END{print sum}' /etc/services

# 以:为分隔符，只打印/etc/passwd中第3个字段的数值在50-100范围内的行信息
awk 'BEGIN{FS=":"}{
    if($3<50){ 
        printf "%-20s%-20s%-5d\n","小于50的UID",$1,$3
    } else if($3>100) {
        printf "%-20s%-20s%-5d\n","大 于100的UID",$1,$3
    } else{
        printf "%-20s%-20s%-5d\n","大于50 小于100的UID",$1,$3
    }
}' /etc/passwd

# 搜索字符串"I have a dream"中出现"ea"子串的位置
awk 'BEGIN{str="I hava a dream";location=index(str,"ea");print location}
awk 'BEGIN{str="I hava a dream";location=match(str,"ea");print location}'

# 将字符串"Hadoop is a bigdata Framawork"全部转换为小写
awk 'BEGIN{str="Hadoop is a bigdata Framework";print tolower(str)}'

# 将字符串"Hadoop is a bigdata Framawork"全部转换为大写
awk 'BEGIN{str="Hadoop is a bigdata Framework";print toupper(str)}'

# 将字符串"Hadoop Kafka Spark Storm HDFS YARN Zookeeper"，按照空格为分隔符，分隔每部分保存到数组array中
awk 'BEGIN{str="Hadoop Kafka Spark Storm HDFS YARN Zookeeper";split(str,arr," ");for(a in arr) print arr[a]}'

# 搜索字符串"Tranction 2345 Start:Select * from master"第一个数字出现的位置
awk 'BEGIN{str="Tranction 2345 Start:Select * from master";location=match(str,/[0-9]/);print location}'

# 截取字符串"transaction start"的子串，截取条件从第4个字符开始，截取5位
awk 'BEGIN{str="transaction start";print substr(str,4,5)}'

# 替换字符串"Tranction 243 Start,Event ID:9002"中第一个匹配到的数字串为$符号
awk 'BEGIN{str="Tranction 243 Start,Event ID:9002";count=sub(/[0-9]+/,"$",str);print count,str}'
awk 'BEGIN{str="Tranction 243 Start,Event ID:9002";count=gsub(/[0-9]+/,"$",str);print count,str}'

# 打印元素：
echo ${array[2]}

# 打印元素个数：
echo ${#array[@]}

# 打印元素长度：
echo ${#array[3]}

# 给元素赋值：
array[3]="Li"

# 删除元素：
unset array[2];unset array

# 分片访问：
echo ${array[@]:1:3}

# 元素内容替换：
${array[@]/e/E}只替换第一个e；
$tarray[@]//e/E}替换所有的e

# 数组的遍历：
for a in array 
do
	echo $a 
done 

# 使用字符串作为数组下标
array["var1"]="Jin"
array["var2"]="Hao"
array["var3"]="Fang"
for(a in array)
	print array[a]

# 统计主机上所有的TCP连接状态数，按照每个TCP状态分类
netstat -an | grep tcp | awk '{array[$6]++} END{for(a in array) print a,array[a]}'