一条Shell可能解决了我们写大量代码的问题。
一条Shell可能提升了我们线上问题处理能力。
一条Shell可能提升了我们线上服务稳定性。
一条Shell可能让我们在别人面前炫耀了一下。
一条Shell可能让我们从复杂繁忙的工作中解脱出来。
下面是我根据我的工作经历总结的一些常用Shell脚本（能想起来的）。有些事例可以举一反三。
1、nginx日志追查问题
#查看nginx访问日志tail -f /usr/local/var/log/nginx/access.log #查看HTTP 500的请求地址fgrep "HTTP/1.1\" 500" /usr/local/var/log/nginx/access.log.2022032615 #查看HTTP 504的请求地址fgrep "HTTP/1.1\" 504" /usr/local/var/log/nginx/access.log.2022032615 #查看HTTP 404的请求页面地址fgrep "HTTP/1.1\" 404" /usr/local/var/log/nginx/access.log.2022032615
2、替换代码
#批量替换代码Unix(Mac)find . -type f -name ".php"|xargs sed -i "" "s/execute()/execute(\$arrParam)/g"; #批量替换代码Linuxfind . -type f -name ".php"|xargs sed -i "s/execute()/execute(\$arrParam)/g";
3、检查代码静态语法
#检查PHP文件静态语法错误文件find . -type f -name ".php" -exec /usr/local/opt/php\@7.4/bin/php -l {} \;|grep -v "No syntax errors"; #查看PHP Fatal核心错误fgrep Fatal /usr/local/var/log/php/php-error.log
4、数据分析
#分组求和并排序awk '{s[$1] += $2}END{ for(i in s){ print i, s[i] } }' cal.txt|sort -nrk2 |head -n 10 #查询访问TOP10 IPawk -F" " '{print $1}' /usr/local/var/log/nginx/access.log|awk '{s[$1] += 1}END{ for(i in s){print i, s[i] } }'|sort -nrk2 |head -n 10#数据去重并求行数awk -F"\t" '{print $1}' cal.txt |uniq|wc -l#数据求和awk -F"\t" '{print $2}' cal.txt| awk '{sum+=$1}END{print sum}'
5、导出数据
#导出指定字段表数据mysql -uroot -p test -e "select id,name,addr from \`group\` limit 10;" > group.table.data#导出数据表结构mysqldump -uroot -p test --no-data --default-character-set=utf8 --lock-tables=false > test.sql#导入表数据mysql -uroot -p test < test.tables.data
6、批量语句
#批量杀死PHP进程(举例）#先拼接shell命令再bash执行ps aux|grep php-fpm|grep -v grep|awk -F" " '{print "kill -9 "$2";"}'|bash#批量杀死mysql长时间运行语句或锁表语句mysql -uroot -p123456 -e "show processlist"|awk -F" " '{print $1}'|grep -v "Id"|awk -F" " '{print "kill "$1";"}'
7、磁盘空间
#查找大于1G文件find . -type f -size +1024M#hadoop删除2021年12月的历史存储文件hadoop -lsr hdfs://xxx.test.com/a/b/c/202112hadoop -rrmr hdfs://xxx.test.com/a/b/c/202112#清空文件内容echo '' > access.log#正确切换nginx access_logmv access_log access_log.2022032615 && /usr/local/opt/nginx/bin/nginx -s reload#杀死文件不存在但进程未释放的存储lsof -nl|grep deleted|awk -F" " '{print $2}'|xargs kill -9 {} \;
8、服务进程
#查看nginx端口号netstat -anpl|grep nginx #查看网络情况netstat -an|awk '/tcp/ {print $6}'|sort|uniq -c [一般需要优化/etc/sysctl.conf配置参数]#查看sshps aux|grep sshd#重启sshservice sshd restart
9、进程监控
#监控php-fpm进程是否down掉(举例)#!/bin/shNUM=`ps aux|grep php-fpm|grep -v grep|wc -l`if [ "$NUM" -lt "3" ];then /usr/local/opt/php\@7.4/sbin/php-fpm -Decho `date '+%x %X'`" reload" >> monitor_reload.logelse echo `date '+%x %X'`" running" >> monitor_running.log;fi
10、调试工具
#接口是否正常#响应头信息curl -I http://localhost:8080/get.php#响应body信息curl http://localhost:8080/get.php#输出到文件curl http://localhost:8080/get.php -o get.data#下载文件wget http://localhost:8080/get.php#输出到文件wget -O get.tar.gz http://localhost:8080/get.tar.gz#查看接口耗时time curl http://localhost:8080/get.php#查看服务是否正常telnet xxx.xxx.xxx.xxx(ip地址) 8080#传输文件scp -r get.tar.gz work@xxx.xxx.xxx.xxx:/home/work/data/#同步文件rsync -avz /home/work/log/access_log. work@xxx.xxx.xxx.xxx:/home/work/nginx/log/
感谢大家评论、点赞、分享。。。
