推荐一个更好用的分布式框架

[ring04h]

http://python-rq.org
只使用了redis做queue, 非常简便易用, 我已经全线迁移到这个了

然后python3的arq也非常好用, 异步的, 减少上下文切换, 提升性能

[lietdai]

ok，我去看下这个http://python-rq.org，:-O，我记得你在zone里说，任务调度那块你的thorn2.0不是用的mysql跟httpapi调度的么？怎么又换成http://python-rq.org这个了？

[ring04h]

mysql 做queue, http做json rpc, 在worker多的情况下, 频繁做心跳检查, 任务轮训的时候,
有性能瓶颈, 用rq, redis的性能毕竟摆在那里。

[lietdai]

躺了一个坑，用celery的时候，我引入了-P gevent
然后发现跑着跑着，大约跑了2w条poc后，redis中只能插任务，但不被执行，flower显示workerOnline,其实worker已经死掉了
然后加了CELERYD_MAX_TASKS_PER_CHILD，让worker处理200条poc后重启，发现CELERYD_MAX_TASKS_PER_CHILD与eventlet，gevent不生效link，最后放弃eventlet跟gevent了。

@ps 新的doom2.0，我加了几个特性

• POC我按照beebeeto框架重写了poc，启动时全局加载poc类，尽量多的减少了subprocess的调用，改造了beebeeto的一些东西，增加了poc的info信息，poc基本信息决定是否检测这个目标。
• POC插件大致分了两类，根据输入的不同分发执行
  • 一种是参数是ip\port\banner类的，检测的是系统边界的漏洞（弱口令、未授权、及固定参数的poc）
  • 一种是参数是httpRequest，httpResponses（mitmproxy中的http类，数据的存储在mongo）的，检测目标通过代理引入也可以通过爬虫引入，目前添加的插件（根据变化的参数检测时间型注入的sqli插件、可定制化检测水平权限插件,可cloudeye表达式注入插件,返回包敏感信息的检测等）