Linux on 七三的小站

Linux自动备份Shell脚本

Wed, 21 Dec 2011 00:00:00 +0800

一、特点与功能

纯shell脚本，使用简单，技术门槛低，容易修改，删除即可卸载。
可指定数据备份频率及保存的备份数量，能自动删除不必要的旧备份。
可指定多个需要备份的Mysql数据库，甚至排除某个数据库不备份。
可指定多个需要备份的数据目录，甚至支持二级目录打包备份。
支持本地和多重备份(ftp,scp,amazon s3)，异地备份可选完全和增量备份。

二、下载与使用

2.1、下载脚本

https://gist.github.com/1505857

wget http://www.wangyan.cloud/download/shell/vps_auto_backup.sh
chmod 100 vps_auto_backup.sh
mkdir /var/shell && mv vps_auto_backup.sh /var/shell

2.2、设置cron守护进程

自动执行频率可随意设置，一般一小时一次就足够了。

crontab -e
0 * * * * /bin/bash  /var/shell/vps_auto_backup.sh

2.3、安装附加软件

如果你需要进行远程FTP、SCP备份，则需安装lftp、expect。

yum -y install lftp expect #centos
apt-get -y install lftp expect #ubuntu

三、配置选项

备份数据存放目录

BACKUP_DIR="/root/vps-bak"

MySQL备份选项

# 是否启用Mysql备份，0是关闭，1是启用。
ENABLE_MYSQL_BACKUP="1"

# 数据库备份时间间隔，1小时=3600秒。
MYSQL_BACKUP_CYCLE="43200"

# 数据库备份保存数量，默认保存最近4次备份。
# 例如：一天备份二次，需要保存最近二天备份，则此处填"4"
MYSQL_BACKUP_NUM="4"

# 数据库主机、用户名、密码。
MYSQL_HOST="localhost"
MYSQL_USER="root"
MYSQL_PWD="123456"

# 需要备份的数据库名，多个数据库要用空格分开，all表示所有数据库。
MYSQL_DB_NAMES="all"

# 需要排除备份的数据库名，多个数据库要用"|"分开。
MYSQL_EXCLUDE_DB="phpmyadmin|information_schema|performance_schema"

web备份选项

# 是否启用Web数据本地备份，0是关闭，1是启用。
ENABLE_LOCAL_BACKUP="1"

# 数据备份时间间隔，1小时=3600秒。
WWW_BACKUP_CYCLE="86400"

# 数据备份保存数量，默认保存最近2次备份。
# 例如：一天备份一次，需要保存最近二天备份，则此处填"2"
WWW_BACKUP_NUM="2"

# 需要备份的数据源目录，多个目录要用空格分开。
WWW_BACKUP_DIRS="/home /var/www"

# 需要备份的数据源目录深度，文件夹=0，文件夹+子文件夹=1
WWW_BACKUP_DEPTH="1"

FTP备份选项

# 是否启用远程FTP备份，0是关闭，1是启用。
ENABLE_FTP_BACKUP="0"

# FTP备份间隔，0表示禁用，1小时=3600秒
FTP_BACKUP_CYCLE="0"

# FTP备份模式，完全备份=0，增量备份=1
FTP_BACKUP_MODE="0"

# 远程FTP存储备份文件夹，如果不存在，则脚本会自动创建。
FTP_REMOTE_DIR="vps-bak"

# 远程FTP主机、用户名、密码。
FTP_HOSTNAME="192.168.8.128"
FTP_USERNAME="test"
FTP_PASSWORD="test"

SCP备份选项

# 是否启用远程scp备份，0是关闭，1是启用。
# 注意：为支持免证书登陆，需安装“expect”（yum -y install expect）
ENABLE_SCP_BACKUP="0"

# SCP备份间隔，0表示禁用，1小时=3600秒
SCP_BACKUP_CYCLE="0"

# 远程主机、用户名、密码。
SCP_HOST="192.168.8.128"
SCP_USER="root"
SCP_PASSWD="123456"

# 远程主机存储备份文件夹。
SCP_REMOTE_PATH="/root/vps-bak"

Amazon S3备份选项

# 是否启用Amazon s3备份，0是关闭，1是启用。
ENABLE_S3_BACKUP="0"

# Amazon s3 备份间隔，0表示禁用，1小时=3600秒
S3_BACKUP_CYCLE="0"

# Amazon s3备份模式，完全备份=0，增量备份=1
S3_BACKUP_MODE="0"

# Amazon s3　BUCKET名称，如果不存在，则脚本会自动创建。
S3_BUCKET="vps-bak"

# Amazon access key
ACCESS_KEY_ID="123456"

# Amazon secret access key
SECRET_ACCESS_KEY="123456"

四、建议反馈

如果您发现脚本存在错误或有更好的建议，可直接留言或发邮件至：

<myidwy(at)gmail.com>

五、更新历史

2011.12.23: 更新至0.2版，支持自定义远程备份频率、优化代码减少冗余。
2012.01.26: 更新至0.3版，修复在特定条件下，备份时间间隔值设置无效。

Linux 进程自动监控shell脚本V2

Thu, 15 Sep 2011 00:00:00 +0800

一、使用方法：

git clone git://gist.github.com/1216837.git gist-1216837
vim gist-1216837/sys-mon.sh //修改内存、CPU等预设阀值
mkdir /var/script
mv gist-1216837/sys-mon.sh /var/script

设置每分钟执行一次

crontab -e
* * * * * /bin/bash  /var/shell/sys-mon.sh

二、Shell脚本内容

建议打开下面网址查看最新版本。

https://gist.github.com/1216837

#! /bin/bash
#====================================================================
# sys-mon.sh
#
# Copyright (c) 2011, WangYan <webmaster@wangyan.org>
# All rights reserved.
# Distributed under the GNU General Public License, version 3.0.
#
# Monitor system mem and load, if too high, restart some service.
#
# See: http://www.wangyan.cloud/sys-mon-shell-script.html
#
# V 0.5, Date: 2011-12-08
#====================================================================

# Need to monitor the service name
# Must be in /etc/init.d folder exists
NAME_LIST="httpd nginx mysql"

# Single process to allow the maximum CPU (%)
PID_CPU_MAX="25"

# The maximum allowed memory (%)
PID_MEM_SUM_MAX="95"

# The maximum allowed system load
SYS_LOAD_MAX="6"

# Log path settings
LOG_PATH="/var/log/sys-mon.log"

# Date time format setting
DATA_TIME=$(date +"%y-%m-%d %H:%M:%S")

# Your email address
EMAIL="webmaster@example.com"

# Your website url
MY_URL="http://106.187.38.210/p.php"

#====================================================================

for NAME in $NAME_LIST
do
    PID_CPU_SUM="0";PID_MEM_SUM="0"
    PID_LIST=`ps aux | grep $NAME | grep -v root`

    IFS_TMP="$IFS";IFS=$'\n'
    for PID in $PID_LIST
    do
        PID_NUM=`echo $PID | awk '{print $2}'`
        PID_CPU=`echo $PID | awk '{print $3}'`
        PID_MEM=`echo $PID | awk '{print $4}'`
#       echo "$NAME: PID_NUM($PID_NUM) PID_CPU($PID_CPU) PID_MEM($PID_MEM)"

        PID_CPU_SUM=`echo "$PID_CPU_SUM + $PID_CPU" | bc`
        PID_MEM_SUM=`echo "$PID_MEM_SUM + $PID_MEM" | bc`

        if [ `echo "$PID_CPU >= $PID_CPU_MAX" | bc` -eq 1 ];then
            if [[ "$NAME" = "php-fpm" || "$NAME" = "httpd" ]];then
                sleep 5
                if [ `echo "$PID_CPU >= $PID_CPU_MAX" | bc` -eq 1 ];then
                    echo "${DATA_TIME}: kill ${NAME}($PID_NUM) successful (CPU:$PID_CPU)" | tee -a $LOG_PATH
                    kill $PID_NUM
                fi
            else
                echo "${DATA_TIME}: [WARNING!] ${NAME}($PID_NUM) cpu usage is too high! (CPU:$PID_CPU)" | tee -a $LOG_PATH
            fi
        fi
    done
    IFS="$IFS_TMP"

    SYS_LOAD=`uptime | awk '{print $(NF-2)}' | sed 's/,//'`
    SYS_MON="CPU:$PID_CPU_SUM MEM:$PID_MEM_SUM LOAD:$SYS_LOAD"
#   echo -e "$NAME: $SYS_MON\n"

    SYS_LOAD_TOO_HIGH=`awk 'BEGIN{print('$SYS_LOAD'>'$SYS_LOAD_MAX')}'`
    PID_MEM_SUM_TOO_HIGH=`awk 'BEGIN{print('$PID_MEM_SUM'>'$PID_MEM_SUM_MAX')}'`

    if [[ "$SYS_LOAD_TOO_HIGH" = "1" || "$PID_MEM_SUM_TOO_HIGH" = "1" ]];then
        /etc/init.d/$NAME stop
        sleep 5
        for ((i=1;i<4;i++))
        do
            if [ `pgrep $NAME | wc -l` = "0" ];then
                echo "$DATA_TIME: Stop $NAME successful! ($SYS_MON)" | tee -a $LOG_PATH
                break
            else
                echo "${DATA_TIME}: [WARNING!] Stop $NAME failed[$i]! ($SYS_MON)" | tee -a $LOG_PATH
                pkill $NAME && killall $NAME
            fi
        done
        /etc/init.d/$NAME start
        sleep 5
        for ((ii=1;ii<4;ii++))
        do
            if [ `pgrep $NAME | wc -l` != "0" ];then
                echo "$DATA_TIME: Start $NAME successful!" | tee -a $LOG_PATH
                break
            else
                echo "${DATA_TIME}: [WARNING!] Start $NAME failed[$ii]! ($SYS_MON)" | tee -a $LOG_PATH
                /etc/init.d/$NAME start
                sleep 5
            fi
        done
        if [ `pgrep $NAME | wc -l` != "0" ];then
            echo "${DATA_TIME}: [ERROR!] Start $NAME failed! ($SYS_MON)" | mail -s "Start $NAME failed" $EMAIL
        fi
    fi
done

STATUS_CODE=`curl -o /dev/null -s -w %{http_code} $MY_URL`
#echo -e "STATUS CODE: $STATUS_CODE\n"

if [ "$STATUS_CODE" != "200" ];then
    sleep 3
    STATUS_CODE=`curl -o /dev/null -s -w %{http_code} $MY_URL`
    if [ "$STATUS_CODE" != "200" ];then
        echo "${DATA_TIME}: [WARNING!] Website Downtime! ($SYS_MON)" | tee -a $LOG_PATH
        echo "${DATA_TIME}: [WARNING!] Website Downtime! ($SYS_MON)" | mail -s "Start $NAME failed" $EMAIL
    fi
fi

脚本内容不难理解，原理解释可参考 Linux 进程自动监控shell脚本

三、注意事项

NAME_LIST 指定的监控程序必须在/etc/init.d 文件夹中存在，并且支持stop和start操作
PID_CPU_MAX 指的是单个进程的CPU占用，只针对php-fpm或httpd。
PID_MEM_SUM_MAX 指的是该程序所有进程实际内存占用，而并非系统总内存。
EMAIL 只有在程序启动失败后，你才能收到邮件提醒。

四、更新历史：

2011.11.28：去掉nginx502状态监控，完善进程cpu监控，修正数据不准确等问题。 2011.12.07：继续修正cpu监控不正确问题，增加宕机后邮件通知功能。

Linux 进程自动监控shell脚本V1

Fri, 05 Aug 2011 00:00:00 +0800

一、使用方法

下载、解压、运行

wget http://www.wangyan.cloud/download/script/pid_auto_reboot.tar.gz
tar -zxf pid_auto_reboot.tar.gz
./pid_auto_reboot.sh

设置每分钟执行一次

crontab -e
* * * * * /bin/bash  /var/shell/pid_auto_reboot.sh

二、原理解释

# 设置最大内存占用百分比
PID_MEM_MAX="85"

# 设置最大系统负载
SYS_LOAD_MAX="3"

# 设置需要监控的服务名称
NAME_LIST="php-fpm mysql"

for NAME in $NAME_LIST
do
    # 初始化内存统计
    PID_MEM_SUM=0

    # 获取该程序总进程数
    PID_NUM_SUM=`ps aux | grep $NAME | wc -l`

    # 列出每个进程内存占用百分比
    PID_MEM_LIST=`ps aux | grep $NAME | awk '{print $4}'`

    # 计算所有进程总内存占用
    for PID_MEM in $PID_MEM_LIST
    do
        PID_MEM_SUM=`echo $PID_MEM_SUM + $PID_MEM | bc`
    done
    
    # 获取最近一分钟系统负载
    SYS_LOAD=`uptime | awk '{print $(NF-2)}' | sed 's/,//'`

    # 比较内存占用和系统负载是否超过阀值
    MEM_VULE=`awk 'BEGIN{print('"$PID_MEM_SUM"'>='"$PID_MEM_MAX"'?"1":"0")}'`
    LOAD_VULE=`awk 'BEGIN{print('"$SYS_LOAD"'>='"$SYS_LOAD_MAX"'?"1":"0")}'`

    # 如果系统内存占用和系统负载超过阀值，则进行下面操作。
    if [ $MEM_VULE = 1 ] || [ $LOAD_VULE = 1 ] ;then
        #  写入日志
        echo $(date +"%y-%m-%d %H:%M:%S") "killall $NAME" "(MEM:$PID_MEM_SUM,LOAD:$SYS_LOAD)">> /var/log/autoreboot.log
        # 正常停止服务
        /etc/init.d/$NAME stop
        sleep 3
        # 强制关闭
        pkill $NAME

       #  重启
        /etc/init.d/$NAME start
       #写入日志
        echo $(date +"%y-%m-%d %H:%M:%S") "start $NAME" "(MEM:$PID_MEM_SUM,LOAD:$SYS_LOAD)" >> /var/log/autoreboot.log
    else
        echo "$NAME very health!(MEM:$PID_MEM_SUM,LOAD:$SYS_LOAD)" > /dev/null
    fi
done

补充：

即便在[[]]结构中，同样不能直接比较浮点数大小，例如：

if [[ "2.0" >  "10" ]];then #结果输出yes显然错了。
echo "yes"
fi

参考资料：

http://www.hostloc.com/thread-38721-1-1.html

Linux中的head和tail命令

Wed, 16 Mar 2011 00:00:00 +0800

一、head 命令实例

1、默认，显示开头前10行。

head /etc/passwd

2、显示开头前k行。（以下3行效果一样）

head -k /etc/passwd（最常见用法）
head -n k /etc/passwd
head -n +k /etc/passwd

3、显示多文件开头前k行，并且不显示文件名的文件头。

head -q -n k file1 file2 file3

4、除最后k行外，显示剩余全部内容。

head -n -k /etc/passwd

二、tail 命令实例

1、默认，显示最后10 行。

tail /etc/passwd

2、显示最后k行。（以下3行效果一样）

tail -k etc/passwd （最常见用法）
tail -n k /etc/passwd
tail -n -k /etc/passwd

3、显示最后k行，并且不显示文件名的文件头。

tail -q -n k file1 file2 file3

4、从开头第k字节处开始输出。

tail -n +k /etc/passwd

5、参数-f使tail不停地去读最新的内容，因此有实时监视的效果，用Ctrl＋c来终止。

tail -f /var/log/messages

以上只是一些简单实例，若使用sed命令，甚至是awk命令那就更强大了！

Linux 用户磁盘空间配额管理

Sat, 22 Jan 2011 00:00:00 +0800

一、规划文件系统

1.1、查看文件系统的容量等信息

df -h /

1.2、查看文件系统是否已加入quota支持

mount | grep /

1.3、为文件系统添加quota支持

编辑fstab文件，选择要设定 Quota 的文件系统，然后加入 usrquota 和 grpquota 选项：

vim /etc/fstab
/dev/sda1 /     ext3    defaults,usrquota,grpquota 1 1

其中 /dev/sda1 可以用 uuid 标识信息来代替

UUID=a8454012-1fff-4d33-baa5-b57fb7d3e1e2  /   ext3  defaults,usrquota,grpquota 1 1

那如何查看磁盘与分区的标识信息？

ls -all /dev/disk/by-uuid

1.4、临时添加quota支持（选做）

mount -o remount,usrquota,grpquota /

1.5、重新挂载文件系统

mount -o remount /

1.6、查看文件系统挂载是否正确

mount -a

1.7、添加新硬盘挂载到/home目录（选做）

如果你/home目录没有独立挂载一个分区，后期你可能想增加一个新的分区

mkfs.ext3 /dev/sda6 #格式化并加载一个新分区
mkdir /media/home
mount /dev/sda1 /media/home 
cp -rf /media/home/* /home #复制旧/home的内容到新/home目录
umound /media/home fdisk -l #查看硬盘数及分区情况
fdisk  /dev/sda #操作硬盘的命令

d:删除分区、l:列出所有分区类型、m:列出帮助信息、n:添加一个分区、p:列出分区表信息、q:不保存退出、t:改变分区类型、w:把分区表写入硬盘并退出

参考资料：

实例解说 fdisk 使用方法 umount 出現 “Device is busy"解法

二、安装、初始化、启动、关闭 Quota

2.1、安裝硬盘 quota 套件

aptitude install quota quotatool

其中 quotatool 是一个基于命令行的磁盘配额设置和管理工具

2.2、初始化 quota 规则文件

quotacheck -avugm
chmod 600 /quota.* #修改规则文件权限

-a 为所有添加了quota支持的文件系统，建立 quota 规则文件 -v 显示建立 quota 规则文件过程中的信息 -u 建立 aquota.user 规则文件 -g 建立 aquota.group 规则文件 -m 强制初始化 2.3、启动关闭 quota 的服务 quotaon -avug #启动 quota 的服务 quotaoff -auvg #关闭 quota 的服务

三、配置 Quota 规则

3.1、为用户/组设置磁盘空间限额:

edquota -u username
edquota -g groupname

filesystem：说明该限制值是针对哪个分区，例如”"/“或”/home" blocks：使用者已使用的磁盘区块数量，该值由quota自动算出 soft：单位为KB，一个非强制性磁盘空间限额 hard：单位为KB，一个强制性磁盘空间限额 inodes：使用者已使用的档案数目 soft：非强制性的inode的限制 hard：强制性的inode的限制

3.2、为批量用户复制规则

edquota -p group1 user1,user2,user3 ..

3.3、为用户/组设置宽限期

通常将 hard 值设置大于 soft 值，就是为了让宽限期发挥作用，默认超额宽限期为7天。

edquota -t

四、Quota 报表

4.1、用户/组限额报表

-s 使用1024倍数来指定单位，会显示如M 之类的单位。

quota -uvs user1 user2 user3
quota -gvs group1 group2 group3

4.2、文件系统限额报表

查看所有使用者的 quota 限制情況

repquota -auvs

五、Quota 测试与管理

1、切换到user1用户 2、向当前目录的bigfile文件写入10次，每次1m的数据 3、如果写入大小没有超过 hard 值，那么进入宽限期倒计时。 4、如果写入超过hard值，那么写入失败。

su user1
dd if=/dev/zero of=bigfile bs=1M count=10

参考资料：

1、磁碟配額 2、磁碟配額(Quota)與進階檔案系統管理

Linux 文件及文件夹权限

Wed, 19 Jan 2011 00:00:00 +0800

一、查看 Linux 文件权限

ls -l （通用） ll （Ubuntu适用，等于ls -al）

二、权限标示符

r（读）、w(写）、x（执行） 4（读）、2（写）、1（执行）

注：目录必须有执行权才能读取

二、修改 Linux 文件权限

方法一

chmod -R 777 dir/

-R 更改dir 目录及dir内所有子文件和文件夹 777 指将“文件所属用户、所属用户组、其它用户”改为读、写、执行。

方法二

chmod 参数：a（用户及组）、u(用户)、g(组)、0(其他用户) chmod 运算符：+(加)、-(减)、=(赋予)

chmod +x file.txt （用户、组、其他用户，加执行权） chmod u+x file.txt （用户，加执行权）

三、Linux 常用文件权限

777（读写执行、读写执行、读写执行） 755（读写执行、读执行、读执行） 644（读写、读、读） 400（读、禁止、禁止）

Linux 系统 OpenSSL 证书生成

Tue, 11 Jan 2011 00:00:00 +0800

一、准备工作

根据 OpenSSL 默认配置文件，新建相应目录结构。当然你也可以修改配置文件[ca_default]部分，指定相应目录。

sudo vim /usr/local/ssl/openssl.cnf （选做，修改配置文件）
mkdir -p /usr/local/ssl/demoCA 
cd /usr/local/ssl/demoCA 
mkdir private crl certs newcerts 
echo '01' > serial #在demoCA目录下新建serial文件并写入01。 
touch index.txt #在demoCA目录下新建index.txt的空文件`

二、CA 根证书

2.1、生成CA根证书私钥

生成 CA 根证书 RSA 私钥，openssl genrsa 支持 des3 参数，更多内容《OpenSSL 之 genrsa 命令》

openssl genrsa -out private/cakey.pem 1024 #生成CA认证中心 RSA 私钥

2.2、生成CA根证书

利用CA私钥，生成自签署的CA证书这一步很关键，也很容易出现问题。首先相应目录结构和文件一定要准备好，然后证书格式请选择pem而非crt，另外所在目录是demoCA。

openssl req -new -x509 -key private/cakey.pem -out cacert.pem

特别注意！！ 国家、省、组织名一定要填写不能为空，且记住你填写的值，其他的（包括Common Name）建议为空值。

Country Name (2 letter code) [AU]:（国家） 
State or Province Name (full name) [Some-State]:（洲/省） 
Locality Name (eg, city) []:（城/镇） 
Organization Name (eg, company) 
[Internet Widgits Pty Ltd]:（组织名） 
Organizational Unit Name (eg, section) []:（单位名） 
Common Name (eg, YOUR name) []:（httpd-ssl.conf中的ServerName 名称） 
Email Address []:（邮箱）

三、SSL 服务器证书

3.1、生成服务器证书私钥

openssl genrsa -out private/server.key 1024

3.2、生成服务器证书请求文件

利已生成的服务器证书私钥，生成服务器证书请求csr文件

openssl req -new -key private/server.key -out crl/server.csr

特别注意！！

国家、省要与上面CA证书一致，否则签署时必然要失败。
Common Name 此时相当重要，请输入你需要SSL支持的域名，如 localhost（域名只能一个），否则浏览器提示证书错误。（多域名证书)

3.3、签署服务器证书

cd .. 
openssl ca -in demoCA/crl/server.csr -out demoCA/certs/server.crt