本篇内容主要讲解“Shell多线程操作及线程数控制方法教程”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Shell多线程操作及线程数控制方法教程”吧!
需求
为了更好的说明问题,我们结合例子讲解,假设需求就是扫描url.txt文件,然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL,如:
代码如下:
http://www.baidu.com
http://www.google.com
https://www.yisu.com
单进程实现
那么shell脚本scanUrl.sh可以这样写:
代码如下:
#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi
#循环读出URL并判断状态码
while read line
do
{
isok=`curl -I -o /dev/null -s -w %{http_code} $line`
if [ "$isok" = "200" ]; then
echo $line "OK"
else
echo $line "no"
fi
}
done < $1
echo "执行结束"
那么可以执行下面的命令扫描:
代码如下:
/bin/sh scanUrl.sh url.txt
但这样脚本执行非常慢,一万个URL几个小时都扫描不完。
多进程实现
改成多进程实现非常简单,只需要在do后面的大括号加 & 符号,在done后面加一个wait,表示父进程等待子进程退出后再退出
代码如下:
#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi
#循环读出URL并判断状态码
while read line
do
{
isok=`curl -I -o /dev/null -s -w %{http_code} $line`
if [ "$isok" = "200" ]; then
echo $line "OK"
else
echo $line "no"
fi
}
}&
done < $1
wait
echo "执行结束"
这样就能多进程并发执行了,但有个问题是进程会一下子非常多,几百上千,超过系统限制报错,下面我们就加上进程数控制。
多进程实现并控制进程数
代码如下:
#!/bin/bash
#允许的进程数
THREAD_NUM=200
#定义描述符为9的管道
mkfifo tmp
exec 9<>tmp
#预先写入指定数量的换行符,一个换行符代表一个进程
for ((i=0;i<$THREAD_NUM;i++))
do
echo -ne "\n" 1>&9
done
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi
while read line
do
{
#进程控制
read -u 9
{
#isok=`curl -I -o /dev/null -s -w %{http_code} $line`
if [ "$isok" = "200" ]; then
echo $line "OK"
else
echo $line "no"
fi
echo -ne "\n" 1>&9
}&
}
done < $1
wait
echo "执行结束"
rm tmp
上面的代码就可以保证子进程在指定数量了,其进程控制原理是通过管道实现的,当管道无内容可读时就不会执行
代码如下:
{
#isok=`curl -I -o /dev/null -s -w %{http_code} $line`
if [ "$isok" = "200" ]; then
echo $line "OK"
else
echo $line "no"
fi
#写入一个换行符
echo -ne "\n" 1>&9
}&
而且每个进程执行完成后都会向管道写入一个换行符,从而保证进程数是指定的。
这样就能达到我们的目的了。
到此,相信大家对“Shell多线程操作及线程数控制方法教程”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!