Linux shell mysql命令精华收藏

sed合并两行,将

1

2

3

4

合并成:

1 2

3 4

sed '$!N;s/\n/\t/' 文件名

 

按模式合并:

sed '/2/{N;s/\n/\t/}' 文件名

 

 

vi 里替换空格行 %s/^\n//g

awk and sed

去掉第一列重复的行 awk '! a[$1]++' t.lst

去掉重复行 awk 'a!=$1{a=$1;print}' yourfile

sed -n '/<title>/,/<\/title>/p' aaa.shtml |grep -v title

去掉,开头的行 sed -e '/^,/d' t1.lst > t2.lst

 

shell 比大小和自增的例子

#!/bin/bash

c=1;

 

for line in `cat downlog.lst.gb2312`

do

cc=`echo $line | grep kejian.com |wc -l`

 

if [ $cc -ge 1 ];then

echo $line >> $c.txt

fi

 

if [ "$line" == "saved" ];then

echo $c

c=`expr $c + 1`

fi

done

exit;

 

shell 读取文件

#!/bin/bash

#find test |

find kejian -type f -name \*\ \* |

while read file

do

mv "$file" `dirname "$file"`/`basename ${file// }` 2>/dev/null

#echo $file

Done

 

epel 安装:

centos 6.3:

rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

AS4-u8 x86_64:

rpm -Uvh http://dl.fedoraproject.org/pub/epel/4AS/x86_64/epel-release-4-10.noarch.rpm

glances 安装:

yum -y install glances

----------------------------------------------------

argument line too long:

/usr/bin/find /data/tmp/ -type f -print0 |xargs -0 -l1 -t rm -f

 

ubuntu 一键安装lamp

tasksel install lamp-server

 

ubuntu apt-get 安装:

apt-get instahe2 php5 mysql-server php5-mysql php5-gd curl libcurl3 libcurl3-dev php5-curl

 

--------------------------------------------------

 

Device is busy :

umount -l /data/hadoop

--------------------------------

闰秒:

service ntpd restart

hwclock --hctosys

 

single 模式只读

mount -o remount, rw /

 

虚机lck解决办法:

~ # lsof|grep lck

~ # kill 7026756

 

arping -U -s 10.32.25.28 -I bond0 10.32.25.248

 

 

去除空格

for loop in `ls -1 | tr ' ' '#'`

do

mv "`echo $loop | sed 's/#/ /g' `" "`echo $loop |sed 's/#//g' `" 2> /dev/null

done

 

挪文件

find 啥* -type f -name |xargs -I '{}' mv {} /data/tmp/1

 

交换机查看mac地址命令

1. sh mac add

2. sh arp

3. sh ip int bri(仅显示三层端口)

 

H3C的

1. disp mac

2. disp arp

3. disp bri int bri(仅显示三层端口)

 

 

yum php的memcached,redis 扩展

pecl install redis

 

solr 扩展安装:

先安装php5.3以上

yum -y install php55

pecl install solr

 

openssl 扩展安装:

wget www.a8z8.com/php-5.3.8.tar.gz

cd php-5.3.8/ext/openssl/

mv config0.m4 config.m4

/usr/local/php/bin/phpize

./configure --with-openssl --with-php-config=/usr/local/php/bin/php-config

make && make install

 

-----------------------------------------------------

测试磁盘性能

[root@if40 ~]# hdparm -tT /dev/sdc1

 

/dev/sdc1:

Timing cached reads: 14856 MB in 2.00 seconds = 7437.87 MB/sec

Timing buffered disk reads: 544 MB in 3.01 seconds = 181.03 MB/sec

----------------------安装iftop----------------------------

yum -y install flex byacc libpcap ncurses ncurses-devel libpcap-devel

wget http://www.ex-parrot.com/~pdw/iftop/download/iftop-0.17.tar.gz

configure & make & make install

lsof 解决磁盘空间不释放的问题

lsof |grep delete 找到delete的进程,kill掉

 

判断一个进程是否有写操作:

strace -f -p 28123 -e trace=write (注意,strace只盯着write系统调用,其他还有writev,mmap也可以写磁盘)

 

lsof 常见的用法是查找应用程序打开的文件的名称和数目

端口号运行的程序:

lsof -i :3306

 

 

恢复删除的文件:假如有人误删了/var/log/messages 文件,通过lsof|grep messages 查看文件描述符:

# lsof |grep message

abrt-dump 1946 root 4r REG 253,0 280161 278827 /var/log/messages

rsyslogd 19330 root 4w REG 253,0 280161 278827 /var/log/messages

可见第4列的文件描述符是4,而且处于w是写入的状态。通过这个描述符就可以看实际的文件了:

# more /proc/19330/fd/4 就可以看是不是删除的文件。

恢复文件:cat /proc/19330/fd/4 > /var/log/messages

 

iotop 查看使用最大的io

----------------------------------

tcpdump -nnn -i eth0 src port 12000

tcpdump -nnn -i eth0 dst port 12000

tcpdump -XXX -vvv -nnn -i eth0 dst port 12000

tcpdump -vvvv -XXX host 220.1.1.46 and port 80 -i eth1

tcpdump -nnXSs 0 'port 80'

 

抓header数据并已行格式输出:

tcpdump -s 1024 -l -i eth0 host 10.21.2.186 -A

 

抓header里的数据:

tcpdump -X -s 0 host 10.10.22.5 and tcp port 80|grep Forwarded

.抓包用来防止80端口被人攻击时可以分析数据

# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts

用tcpdump嗅探80端口的访问看看谁最高

# tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr |head -20

查看数据库执行的sql

# /usr/sbin/tcpdump -i eth0 -s 0 -l -w - dst port 3306 | strings | egrep -i 'SELECT|UPDATE|DELETE|INSERT|SET|COMMIT|ROLLBACK|CREATE|DROP|ALTER|CALL'

查看是哪些蜘蛛在抓取内容。

# /usr/sbin/tcpdump -i eth0 -l -s 0 -w - dst port 80 | strings | grep -i user-agent | grep -i -E 'bot|crawler|slurp|spider'

 

----------------------下载apnic的ip地址段-------------------------

wget http://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest

计算mask:

grep 'apnic|CN|ipv4' delegated-apnic-latest | cut -f 4,5 -d '|' | tr '|' ' ' | while read ip netmask

do

i=0;

while [ $netmask -gt 1 ]

do

let "netmask=$netmask/2";

let "i = $i + 1";

done

echo $ip/$i;

done

如何是韩国的,就CN改为KR

-----------------------------------------------------------------

调试程序时有用的命令:

gdb Linux下的调试器

pstack 查看进程的调用栈,如果是多线程的话,可以查看每个线程的调用栈

pmap 查看内存的映射情况

strace 跟踪进程的系统调用

ltrace 跟踪程序的系统调用

ldd 查看依赖库

lsof 查看进程打开的所有文件

------------------------mkfs.ext4 -----------------------

yum -y install e4fsprogs

 

df显示到一行:df –hP

查看可疑ip 看每个ip的连接数

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n

netstat -alnt | awk '{print $5}' |awk -F ":" '{print $1}' | sort | uniq -c |sort -n

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

更快的方法:

ss -ant | awk 'NR>1 {++s[$1]} END {for(k in s) print k,s[k]}'

查看php-cgi 数量:

netstat -anpo|grep php-cgi

查看占用内存的进程:

ps -A --sort -rss -o comm,pmem,pcpu |uniq -c |head -15

查看一个进程占用的内存:

pmap $(pgrep php-cgi|head -1)

#########################################################

查看系统最大文件描述符:

# cat /proc/sys/fs/file-max

查看系统当前使用的描述符:

# cat /proc/sys/fs/file-nr

[root@# /usr/local/php/bin/pear install Pager

downloading Pager-2.4.8.tgz ...

Starting to download Pager-2.4.8.tgz (36,122 bytes)

..........done: 36,122 bytes

install ok: channel://pear.php.net/Pager-2.4.8

----------------------------------------------------------------

rsyncd.conf:

 

readonly = no

hosts allow = 1.1.1.1

uid = www

gid = www

 

[xxx]

path = /xxx

windows 下路由

route add 10.11.2.0 mask 255.255.255.0 10.11.6.254 metrc 2

ip route add 10.10.0.0/16 via 10.11.2.254

 

添加永久路由加个-p参数:

route -p add 172.16.0.0 mask 255.240.0.0 10.10.26.254

-------------------------------------------------------

查看网卡是否插网线

mii-tool

网卡工作模式:

设为10M:

mii-tool -F 10baseT-FD eth1

恢复自适应模式:

mii-tool -r eth1

查看:

mii-tool -v

 

以上是老工具,新工具的办法:

设置为网卡为10M的办法:

ethtool -s eth0 speed 10 duplex full autoneg off

执行后断网,一会自己好。

 

恢复1000M:

ethtool -s eth0 speed 1000 duplex full autoneg off

------------------------svn--------------------

svnadmin create /data/svndata/xxx

cd /data/svndata/xxx/conf

cp /data/svndata/svnserve.conf /data/svndata/xxx/conf/

kill -9 svnpid

svnserve -d -r /data/svndata

 

-----------------------------------------gate way ------------------

for i in /proc/sys/net/ipv4/conf/*/rp_filter ; do echo 2 > $i; done

---------------------------------------------------

批量加用户:

#!/bin/bash

for name in aaa bbb nnnn

do

useradd -g dev $name

echo cpasswdom | passwd --stdin $name

done

nginx编译参数:

#/usr/local/nginx/sbin/nginx -V

apache编译参数:

# cat /usr/local/apache2/build/config.nice

php编译参数:

# /usr/local/php/bin/php -i |grep configure

mysql编译参数:

# cat "/usr/local/mysql/bin/mysqlbug"|grep configure

ulimit -SHn 51200

kill -9 `ps -ef | grep mysql | grep -v grep | awk '{print $2}'`

nmap -sP -n 123.1.1.0/24 | cut -d" " -f5 | awk '/123/' | sort -t . -k 4,4n

 

---------------网卡限速-----------------------------------

ethtool -s eth0 speed 1000 duplex full autoneg off

ethtool -s eth0 speed 10 duplex full autoneg off

------------------------------------------------------------------------------------------

查看可疑的访问url

tail -10000 access.log |awk '{print $7}'|sort |uniq -c|sort -rn|head -20

查看可以的访问ip:

tail -10000 access.log | awk '{print $1,$7}'|sort |uniq -c|sort -rn|head -20

查看压缩日志攻击前20名ip

zcat access_12.log.gz |awk '{print $1,$7}'|sort |uniq -c|sort -rn|head -20

互联网广告,网络营销,数字营销,手游推广,手机流量,国外网络广告和营销,网络推广,国外电子商务营销,国外广告联盟发布,搜索引擎优化,英文站建设,域名投资,域名停放,谷歌广告,adsense,adwords,Amazon推广,Clickbank,Yeahmobi,MobVista,Avazu