hyman-海曼工具

一些简单的记录

0%

使用 Supervisor 管理服务器后台进程

发表于 分类于

Supervisor (http://supervisord.org) 是一个用 Python 写的进程管理工具。提供web页面管理，能对进程进行自动重启等操作。

优点：

  • 可以将非后台运行程序后台运行
  • 自动监控，重启进程

缺点：

  • 不能管理后台运行程序
  • 对多进程服务，不能使用kill关闭

安装

直接使用 pip 进行安装：

1
$ sudo pip install supervisor

如没有pip命令，需进行安装pip

1
2
$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py   # 下载安装脚本
$ sudo python get-pip.py    # 运行安装脚本

注意：用哪个版本的 Python 运行安装脚本，pip 就被关联到哪个版本，如果是 Python3 则执行以下命令：

1
$ sudo python3 get-pip.py    # 运行安装脚本。

配置

生产默认配置文件

1
$ echo_supervisord_conf > /etc/supervisord.conf

配置文件相关说明:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
$ vim /etc/supervisord.conf

内容：

# 指定了socket file的位置
[unix_http_server]
file=/tmp/supervisor.sock   ;UNIX socket 文件，supervisorctl 会使用
;chmod=0700                 ;socket文件的mode，默认是0700
;chown=nobody:nogroup       ;socket文件的owner，格式：uid:gid
 
 #用于启动一个含有前端的服务，可以从Web页面中管理服务。其中，port用于设置访问地址，username和password用于设置授权认证。
;[inet_http_server]         ;HTTP服务器，提供web管理界面
;port=127.0.0.1:9001        ;Web管理后台运行的IP和端口，如果开放到公网，需要注意安全性
;username=user              ;登录管理后台的用户名
;password=123               ;登录管理后台的密码
 
 # 管理服务本身的配置
[supervisord]
logfile=/tmp/supervisord.log ;日志文件，默认是 $CWD/supervisord.log
logfile_maxbytes=50MB        ;日志文件大小，超出会rotate，默认 50MB，如果设成0，表示不限制大小
logfile_backups=10           ;日志文件保留备份数量默认10，设为0表示不备份
loglevel=info                ;日志级别，默认info，其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ;pid 文件
nodaemon=false               ;是否在前台启动，默认是false，即以 daemon 的方式启动
minfds=1024                  ;可以打开的文件描述符的最小值，默认 1024
minprocs=200                 ;可以打开的进程数的最小值，默认 200
 
 
[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ;通过UNIX socket连接supervisord，路径与unix_http_server部分的file一致
;serverurl=http://127.0.0.1:9001 ; 通过HTTP的方式连接supervisord
 
; [program:xx]是被管理的进程配置参数，xx是进程的名称
[program:xx]
command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run  ; 程序启动命令
autostart=true       ; 在supervisord启动的时候也自动启动
startsecs=10         ; 启动10秒后没有异常退出，就表示进程正常启动了，默认为1秒
autorestart=true     ; 程序退出后自动重启,可选值：[unexpected,true,false]，默认为unexpected，表示进程意外杀死后才重启
startretries=3       ; 启动失败自动重试次数，默认是3
user=tomcat          ; 用哪个用户启动进程，默认是root
priority=999         ; 进程启动优先级，默认999，值小的优先启动
redirect_stderr=true ; 把stderr重定向到stdout，默认false
stdout_logfile_maxbytes=20MB  ; stdout 日志文件大小，默认50MB
stdout_logfile_backups = 20   ; stdout 日志文件备份数，默认是10
; stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
stopasgroup=false     ;默认为false,进程被杀死时，是否向这个进程组发送stop信号，包括子进程
killasgroup=false     ;默认为false，向进程组发送kill信号，包括子进程
 # 对事件进行的管理
;[eventlistener:theeventlistenername]

# 对任务组的管理 ,包含其它配置文件
;[group:thegroupname]
;programs=progname1,progname2  ; each refers to 'x' in [program:x] definitions
;priority=999                  ; the relative start priority (default 999)

[include]
files = supervisord.d/*.ini    ;可以指定一个或多个以.ini结束的配置文件可以是 *.conf

配置需要管理的进程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
注：supervisord.d目录用来存放用户自定义的进程配置

例子：文件 qqc.ini
# 程序名称，在 supervisorctl 中通过这个值来对程序进行一系列的操作
[program:qqc_one]
# 启动命令，与手动在命令行启动的命令是一样的
command=gunicorn wsgi:application -b 0.0.0.0:8000 -k gevent -w 2 -t 10 -n yun-gunicorn -m 0022 --log-level=info --access-logfile=- --error-logfile=- --max-requests=5000
# 程序的启动目录
directory=/home/yun/projects/yun
# 可以通过 environment 来添加需要的环境变量，一种常见的用法是使用指定的 virtualenv 环境
environment=DJANGO_SETTINGS_MODULE=settings.test
# 指定用户名
user=opt
# 日志目录 需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
stdout_logfile=/var/log/supervisor/yun-gunicorn.stdout.log
stderr_logfile=/var/log/supervisor/yun-gunicorn.stderr.log
# 日志备份数量
stdout_logfile_backups = 20
# 指定日志文件大小
stdout_logfile_maxbytes = 20MB 
# 把 stderr 重定向到 stdout，默认 false,错误日志也会写进stdout_logfile中
redirect_stderr=True
# 在 supervisord 启动的时候也自动启动
autostart=True    
# 程序异常退出后自动重启
autorestart=True

[program:qqc_two]
...
[program:qqc_free]
...

# 集中管理多个进程
[group:qqc]
programs=qqc_one,qqc_two,qqc_free

启动 Supervisor

Supervisor 有两个主要的组成部分：

  • supervisord，运行 Supervisor 时会启动一个进程 supervisord，它负责启动所管理的进程，并将所管理的进程作为自己的子进程来启动，而且可以在所管理的进程出现崩溃时自动重启。
  • supervisorctl，是命令行管理工具，可以用来执行 stop、start、restart 等命令，来对这些子进程进行管理。
1
2
$ supervisord -c /etc/supervisord.conf
$ supervisorctl -c /etc/supervisord.conf status

可视化管理进程

1
2
3
4
5
6
7
8
9
10
11
12
13
$ vim /etc/supervisord.conf

# 取消注释和更改设置
[inet_http_server]         ; HTTP 服务器，提供 web 管理界面
port=0.0.0.0:8080          ; Web 管理后台运行的 IP 和端口，如果开放到公网，需要注意安全性
username=user              ; 登录管理后台的用户名
password=123               ; 登录管理后台的密码

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=http://0.0.0.0:8080    ; 通过 HTTP 的方式连接 supervisord

开机自启动 Supervisor

Linux 在启动的时候会执行 /etc/rc.local 里面的脚本，所以只要在这里添加执行命令就可以：

1
2
3
4
5
6
7
8
9
10
11
# 如果是 Centos 添加以下内容
/usr/bin/supervisord -c /etc/supervisord.conf

# 以上内容需要添加在 exit 命令前，而且由于在执行 rc.local 脚本时，PATH 环境变量
# 未全部初始化，因此命令需要使用绝对路径。可以使用一下命令查看绝对路径：

$ sudo find / -name supervisord
> /usr/local/python/bin/supervisord

所以要改下路径：
/usr/local/python/bin/supervisord -c /etc/supervisord.conf

管理命令

1
2
3
4
5
6
7
8
9
supervisorctl stop program_name       # 停止某一个进程，program_name 为 [program:x] 里的 x
supervisorctl start program_name      # 启动某个进程
supervisorctl restart program_name    # 重启某个进程
supervisorctl stop groupworker:       # 结束所有属于名为 groupworker 这个分组的进程 (start，restart 同理)
supervisorctl stop groupworker:name1  # 结束 groupworker:name1 这个进程 (start，restart 同理)
supervisorctl stop all                # 停止全部进程，注：start、restart、stop 都不会载入最新的配置文件
supervisorctl reload                  # 载入最新的配置文件，停止原有进程并按新的配置启动、管理所有进程
supervisorctl update                  # 根据最新的配置文件，启动新配置或有改动的进程，配置没有改动的进程不会受影响而重启
supervisorctl shutdown                # 关闭

注意: supervisor不能监控后台进程，command 不能为后台运行命令