亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

請問Python線程處理多個bash子進程?

請問Python線程處理多個bash子進程?

一只名叫tom的貓 2019-08-01 12:01:42
Python線程處理多個bash子進程?如何使用線程和子處理模塊生成并行bash進程?當我啟動線程時,首先回答如下:如何在Python中使用線程?,bash進程按順序運行,而不是并行運行。
查看完整描述

3 回答

?
繁花如伊

TA貢獻2012條經驗 獲得超12個贊

您不需要線程并行運行子進程:

from subprocess import Popencommands = [
    'date; ls -l; sleep 1; date',
    'date; sleep 5; date',
    'date; df -h; sleep 3; date',
    'date; hostname; sleep 2; date',
    'date; uname -a; date',]# run in parallelprocesses = [Popen(cmd, shell=True) for cmd in commands]# do other things here..# wait for completionfor p in processes: p.wait()

限制您可以使用的并發命令的數量multiprocessing.dummy.Pool,它使用線程并提供與multiprocessing.Pool所使用的程序:

from functools import partialfrom multiprocessing.dummy import Poolfrom subprocess import call

pool = Pool(2) # two concurrent commands at a timefor i, returncode in enumerate(pool.imap(partial(call, shell=True), commands)):
    if returncode != 0:
       print("%d command failed: %d" % (i, returncode))

這個答案演示了限制并發子進程數量的各種技術。它展示了多進程、池、并發、期貨、線程+基于隊列的解決方案。


您可以在不使用線程/進程池的情況下限制并發子進程的數量:

from subprocess import Popenfrom itertools import islice

max_workers = 2  # no more than 2 concurrent processesprocesses = (Popen(cmd, shell=True) for cmd in commands)running_processes = list(islice(processes, max_workers))  # start new processeswhile running_processes:
    for i, process in enumerate(running_processes):
        if process.poll() is not None:  # the process has finished
            running_processes[i] = next(processes, None)  # start new process
            if running_processes[i] is None: # no new processes
                del running_processes[i]
                break

在unix上,您可以避免繁忙的循環和封鎖os.waitpid(-1, 0),等待任何子進程退出。.



查看完整回答
反對 回復 2019-08-02
?
素胚勾勒不出你

TA貢獻1827條經驗 獲得超9個贊

這是因為它是應該做的,您想要做的事情不是多線程,而是多進程-參見棧頁

查看完整回答
反對 回復 2019-08-02
  • 3 回答
  • 0 關注
  • 435 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號