V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  hanssx  ›  全部回复第 61 页 / 共 63 页
回复总数  1255
1 ... 53  54  55  56  57  58  59  60  61  62 ... 63  
2019-09-03 11:08:28 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@xixijun 感谢 xixijun 师父的回答,请问师父你说的可以,是指使用多进程来代替多线程吗?我这边扫的是公司全网,就是扫完之后 celery worker 就卡住假死了,具体详情可查看一下问题描述。
2019-09-02 23:40:41 +08:00
回复了 lbfeng 创建的主题 Python Thread join 有点困惑
正如 4l 所说,t1.join()有意义,t5 所需时间比 t1 长,所以这个代码可以只用 t5.join(),但是实际当中复杂场景你怎么知道哪个线程时间长呢?
另附 join vs. wait 中文区别
线程运行 sleep()或 join()方法后,线程进入 Sleeping 状态。区别在于 sleep 等待固定的时间,而 join 是等待子线程执行完。当然 join 也可以指定一个“超时时间”。从语义上来说,如果两个线程 a、b, 在 a 中调用 b.join(),相当于合并(join)成一个线程。最常见的情况是在主线程中 join 所有的子线程。
2019-09-02 18:46:11 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@neoblackcap 我不明白为啥不可以,我先试试用多进程,你也说了 celery 对线程支持有缺陷,网络请求的阻塞是必然的。
2019-09-02 16:47:12 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@neoblackcap 谢谢,gevent 实现 nmap 的功能基本不可能,必须得使用 subprocess.Popen 去调用 nmap,这种情况下,我使用多进程代替多线程可以吗?你之前说进程或者 gevent 都可以。
2019-09-02 14:45:58 +08:00
回复了 akmonde 创建的主题 Python celery 处理结果的入库问题
考虑做成 RPC ?
2019-09-02 13:33:38 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@sazima 嗯,本身触发任务的时候,就是用的 apply_async(),应该和这个关系不大。
2019-09-02 13:26:56 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@neoblackcap 谢谢 neoblackcap 师父指点,我还有几点想请教师父,
1. 总体而言就是不使用线程而使用进程或 gevent,是吧?
2. 之前每个线程执行的内容是使用 subprocess.Popen()调用外部 nmap 扫描该 ip 并将结果入库,主要是两个方面:一是调用 busprocess.Popen(),也就是终究还是会使用子进程;二是会有入库操作,这个应该不算是 CPU 密集型处理?怎么界定 CPU 密集型处理呢?
3. 我这个 nmap 扫描应属于网络 IO 密集型,是不是使用 gevent 比较好?
4. 我对 gevent 不熟悉,不知改动量大不大,师父能提供一些更改的方法吗?
2019-09-02 12:26:44 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
celery 版本
```
(asset) [root@VM_9_196_centos asset]# celery --version
4.3.0 (rhubarb)
```

多线程应该是结束了,我在日志中收到了 break 线程的 while 循环之前,打印出的日志,一共 30 个日志,我也启了 30 个线程。
```
[2019-08-31 22:47:31] [ERROR] - (asscan.py:38)
Traceback (most recent call last):
File "/root/python/asset/scan/asscan.py", line 34, in run
task_host = self.queue.get(block=False)
File "/usr/local/python3/lib/python3.7/queue.py", line 167, in get
raise Empty
_queue.Empty
[2019-08-31 22:48:12] [ERROR] - (asscan.py:38)
Traceback (most recent call last):
File "/root/python/asset/scan/asscan.py", line 34, in run
task_host = self.queue.get(block=False)
File "/usr/local/python3/lib/python3.7/queue.py", line 167, in get
raise Empty
_queue.Empty
[2019-08-31 22:48:12] [WARNING] - web_fingerprint_discern begin! (log.py:235)
[2019-09-02 10:21:21] [WARNING] - () (log.py:235)
[2019-09-02 10:21:21] [WARNING] - {'task_uuid': '95c3dda4-cb04-11e9-a344-52540
```
2019-08-27 14:17:43 +08:00
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
2019-08-26 22:05:23 +08:00
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
推荐个国人写的,但是我用着有些问题,examples/base/tasks.py 文件是没有问题的,https://github.com/AngelLiang/celery-sqlalchemy-scheduler
2019-08-26 18:14:15 +08:00
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
@Eds1995 感谢,不过不怎么会用,文档有点少。
2019-08-26 11:52:13 +08:00
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
2019-08-26 11:20:14 +08:00
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
@Eds1995 兄弟我没搜到你这个库啊
2019-08-24 19:49:46 +08:00
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
@GoLand
@gulu
@youngce 谢谢三位,我明白了。
2019-08-23 11:13:28 +08:00
回复了 hanssx 创建的主题 Linux vmware manjaro network 上不了网
@brotherlegend 谢谢表哥,我弄好了,把 NAT 恢复成带 DHCP 就行了,之前我是把 DHCP 取消了。
2019-08-22 18:20:57 +08:00
回复了 hanssx 创建的主题 Linux vmware manjaro network 上不了网
@julypanda 我都快有点放弃了,static ip 就是分配不上,哎~
2019-08-22 17:46:39 +08:00
回复了 hanssx 创建的主题 Linux vmware manjaro network 上不了网
@ScepterZ 只能 NAT 一个,我把 NAT 的 DHCP 关了,用的静态 IP 分配,我尝试设置 manjaro 的静态 IP,但是没生效,不知道怎么回事,我是看的这个设置的静态 IP https://wiki.manjaro.org/index.php?title=Networking
2019-08-22 16:49:55 +08:00
回复了 hanssx 创建的主题 Linux vmware manjaro network 上不了网
@mchong NAT 所使用的网卡肯定是物理机的无线网卡,不过我好像把 VMNet8 的 IP 地址给改了,我看看怎么弄个静态 IP。
我之前这个参数是 True,立即任务的状态一直是 PENDING,你看看这个
CELERY_IGNORE_RESULT = False # 是否需要关注任务执行状态,如果设置为 True,任务状态会一直是 PENDING,为啥呢???

另外,任务执行时间长,celery 任务还真有执行时间限制?
2019-08-12 15:28:40 +08:00
回复了 iiibreaker 创建的主题 北京 撸了个北京挂号抢号软件,妈妈再也不愁我挂不到号了
@theshyyyyy 看 fork 记录
1 ... 53  54  55  56  57  58  59  60  61  62 ... 63  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2557 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 04:55 · PVG 12:55 · LAX 21:55 · JFK 00:55
Developed with CodeLauncher
♥ Do have faith in what you're doing.