Python模块学习：subprocess模块详解

一.subprocess模块

subprocess是Python 2.4中新增的一个模块，它允许你生成新的进程，连接到它们的 input/output/error 管道，并获取它们的回来（状况）码。这个模块的目的在于替换几个旧的模块和办法，如：

os.system
os.spawn*

1.subprocess模块中的常用函数

阐明：

1.在Python 3.5之后的版别中，官方文档中提倡经过subprocess.run()函数替代其他函数来运用subproccess模块的功用；

2.在Python 3.5之前的版别中，咱们能够经过subprocess.call()，subprocess.getoutput()等上面列出的其他函数来运用subprocess模块的功用；

3.subprocess.run()、subprocess.call()、subprocess.check_call()和subprocess.check_output()都是经过对subprocess.Popen的封装来完结的高档函数，因此假如咱们需求更杂乱功用时，能够经过subprocess.Popen来完结。

4.subprocess.getoutput()和subprocess.getstatusoutput()函数是来自Python 2.x的commands模块的两个遗留函数。它们隐式的调用体系shell，而且不保证其他函数所具有的安全性和反常处理的一致性。另外，它们从Python 3.3.4开端才支撑Windows平台。

2.上面各函数的定义及参数阐明

函数参数列表：

subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, shell=False, timeout=None, check=False, universal_newlines=False)
subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)
subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)
subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False, timeout=None)
subprocess.getstatusoutput(cmd)
subprocess.getoutput(cmd)

参数阐明：

args： 要履行的shell指令，默许应该是一个字符串序列，如[‘df’, ‘-Th’]或(‘df’, ‘-Th’)，也能够是一个字符串，如’df -Th’，可是此刻需求把shell参数的值置为True。

shell： 假如shell为True，那么指定的指令将经过shell履行。假如咱们需求拜访某些shell的特性，如管道、文件名通配符、环境变量扩展功用，这将是非常有用的。当然，python本身也供给了许多相似shell的特性的完结，如glob、fnmatch、os.walk()、os.path.expandvars()、os.expanduser()和shutil等。

check： 假如check参数的值是True，且履行指令的进程以非0状况码退出，则会抛出一个CalledProcessError的反常，且该反常对象会包含 参数、退出状况码、以及stdout和stderr(假如它们有被捕获的话)。

stdout, stderr：input： 该参数是传递给Popen.communicate()，一般该参数的值有必要是一个字节序列，假如universal_newlines=True，则其值应该是一个字符串。

• run()函数默许不会捕获指令履行成果的正常输出和过错输出，假如咱们向获取这些内容需求传递subprocess.PIPE，然后能够经过回来的CompletedProcess类实例的stdout和stderr特点或捕获相应的内容；
• call()和check_call()函数回来的是指令履行的状况码，而不是CompletedProcess类实例，所以对于它们而言，stdout和stderr不适合赋值为subprocess.PIPE；
• check_output()函数默许就会回来指令履行成果，所以不必设置stdout的值，假如咱们希望在成果中捕获过错信息，能够履行stderr=subprocess.STDOUT。

universal_newlines： 该参数影响的是输入与输出的数据格局，比方它的值默许为False，此刻stdout和stderr的输出是字节序列；当该参数的值设置为True时，stdout和stderr的输出是字符串。

3.subprocess.CompletedProcess类介绍

需求阐明的是，subprocess.run()函数是Python3.5中新增的一个高档函数，其回来值是一个subprocess.CompletedPorcess类的实例，因此，subprocess.completedPorcess类也是Python 3.5中才存在的。它表明的是一个已完毕进程的状况信息，它所包含的特点如下：

• args： 用于加载该进程的参数，这可能是一个列表或一个字符串

• returncode： 子进程的退出状况码。一般情况下，退出状况码为0则表明进程成功运转了；一个负值-N表明这个子进程被信号N终止了

• stdout： 从子进程捕获的stdout。这一般是一个字节序列，假如run()函数被调用时指定universal_newlines=True，则该特点值是一个字符串。假如run()函数被调用时指定stderr=subprocess.STDOUT，那么stdout和stderr将会被整合到这一个特点中，且stderr将会为None

• stderr： 从子进程捕获的stderr。它的值与stdout相同，是一个字节序列或一个字符串。假如stderr灭有被捕获的话，它的值就为None

• check_returncode()： 假如returncode是一个非0值，则该办法会抛出一个CalledProcessError反常。

4.实例

subprocess.run()

>>> subprocess.run(["ls", "-l"])  # doesn't capture output
CompletedProcess(args=['ls', '-l'], returncode=0)
>>> subprocess.run("exit 1", shell=True, check=True)
Traceback (most recent call last):
  ...
subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1
>>> subprocess.run(["ls", "-l", "/dev/null"], stdout=subprocess.PIPE)
CompletedProcess(args=['ls', '-l', '/dev/null'], returncode=0,
stdout=b'crw-rw-rw- 1 root root 1, 3 Jan 23 16:23 /dev/null\n')

subprocess.call()

>>> subprocess.call(['ls',  '-l'])
总用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 视频
drwxr-xr-x  2 wader wader   4096 12月  7  2015 图片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文档
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下载
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音乐
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
0
>>> subprocess.call('ls -l', shell=True)
总用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 视频
drwxr-xr-x  2 wader wader   4096 12月  7  2015 图片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文档
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下载
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音乐
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
0
>>> subprocess.call(['ls',  '-l'], stdout=subprocess.DEVNULL)
0
>>> subprocess.call(['ls',  '-l', '/test'])
ls: 无法拜访/test: 没有那个文件或目录
2

suprocess.check_call()

>>> subprocess.check_call(['ls',  '-l'])
总用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 视频
drwxr-xr-x  2 wader wader   4096 12月  7  2015 图片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文档
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下载
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音乐
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
0
>>> subprocess.check_call('ls -l', shell=True)
总用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 视频
drwxr-xr-x  2 wader wader   4096 12月  7  2015 图片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文档
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下载
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音乐
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
0
>>> subprocess.check_call('ls -l /test', shell=True)
ls: 无法拜访/test: 没有那个文件或目录
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.4/subprocess.py", line 557, in check_call
    raise CalledProcessError(retcode, cmd)
subprocess.CalledProcessError: Command 'ls -l /test' returned non-zero exit status 2

subprocess.check_output()

>>> ret = subprocess.check_output(['ls',  '-l'])
>>> print(ret)
b' \xe5\x85\xac\xe5\x85\xb1\xe7\x9a\x84\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe6\xa8\xa1\xe6\x9d\xbf\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe8\xa7\x86\xe9\xa2\x91\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe5\x9b\xbe\xe7\x89\x87\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe6\x96\x87\xe6\xa1\xa3\ndrwxr-xr-x  2 wader wader   4096  4\xe6\x9c\x88 13  2016 \xe4\xb8\x8b\xe8\xbd\xbd\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe9\x9f\xb3\xe4\xb9\x90\ndrwxr-xr-x  7 wader wader   4096  5\xe6\x9c\x88 26  2016 \xe6\xa1\x8c\xe9\x9d\xa2\n'
>>> ret = subprocess.check_output(['ls',  '-l'], universal_newlines=True)
>>> print(ret)
总用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 视频
drwxr-xr-x  2 wader wader   4096 12月  7  2015 图片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文档
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下载
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音乐
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面

subprocess.getoutput()与subprocess.getstatusoutput()

>>> ret = subprocess.getoutput('ls -l')
>>> print(ret)
总用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 视频
drwxr-xr-x  2 wader wader   4096 12月  7  2015 图片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文档
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下载
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音乐
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
>>> retcode, output = subprocess.getstatusoutput('ls -l')
>>> print(retcode)
0
>>> print(output)
总用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 视频
drwxr-xr-x  2 wader wader   4096 12月  7  2015 图片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文档
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下载
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音乐
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
>>> retcode, output = subprocess.getstatusoutput('ls -l /test')
>>> print(retcode)
2
>>> print(output)
ls: 无法拜访/test: 没有那个文件或目录

二.subprocess.Popen介绍

该类用于在一个新的进程中履行一个子程序。前面咱们提到过，上面介绍的这些函数都是根据subprocess.Popen类完结的，经过运用这些被封装后的高档函数能够很方面的完结一些常见的需求。由于subprocess模块底层的进程创建和办理是由Popen类来处理的，因此，当咱们无法经过上面哪些高档函数来完结一些不太常见的功用时就能够经过subprocess.Popen类供给的灵敏的api来完结。

1 subprocess.Popen的构造函数

class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None,
    preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=False,
    startup_info=None, creationflags=0, restore_signals=True, start_new_session=False, pass_fds=())

参数阐明：

• args： 要履行的shell指令，能够是字符串，也能够是指令各个参数组成的序列。当该参数的值是一个字符串时，该指令的解说过程是与平台相关的，因此一般主张将args参数作为一个序列传递。
• bufsize： 指定缓存战略，0表明不缓冲，1表明行缓冲，其他大于1的数字表明缓冲区巨细，负数 表明运用体系默许缓冲战略。stdin, stdout, stderr： 分别表明程序标准输入、输出、过错句柄。
• preexec_fn： 用于指定一个将在子进程运转之前被调用的可履行对象，只在Unix平台下有用。
• close_fds： 假如该参数的值为True，则除了0,1和2之外的一切文件描述符都将会在子进程履行之前被封闭。
• shell： 该参数用于标识是否运用shell作为要履行的程序，假如shell值为True，则主张将args参数作为一个字符串传递而不要作为一个序列传递。
• cwd： 假如该参数值不是None，则该函数将会在履行这个子进程之前改变当前工作目录。
• env： 用于指定子进程的环境变量，假如env=None，那么子进程的环境变量将从父进程中承继。假如env!=None，它的值有必要是一个映射对象。
• universal_newlines： 假如该参数值为True，则该文件对象的stdin，stdout和stderr将会作为文本流被翻开，不然他们将会被作为二进制流被翻开。
• startupinfo和creationflags： 这两个参数只在Windows下有用，它们将被传递给底层的CreateProcess()函数，用于设置子进程的一些特点，如主窗口的外观，进程优先级等。

2.subprocess.Popen类的实例可调用的办法

关于communicate()办法的阐明：

• 该办法中的可选参数 input 应该是将被发送给子进程的数据，或许如没有数据发送给子进程，该参数应该是None。input参数的数据类型有必要是字节串，假如universal_newlines参数值为True，则input参数的数据类型有必要是字符串。

• 该办法回来一个元组(stdout_data, stderr_data)，这些数据将会是字节穿或字符串（假如universal_newlines的值为True）。

• 假如在timeout指定的秒数后该进程还没有完毕，将会抛出一个TimeoutExpired反常。捕获这个反常，然后从头测验通讯不会丢失任何输出的数据。可是超时之后子进程并没有被杀死，为了合理的清除相应的内容，一个好的运用应该手动杀死这个子进程来完毕通讯。

• 需求留意的是，这里读取的数据是缓冲在内存中的，所以，假如数据巨细非常大或许是无限的，就不应该运用这个办法

3 subprocess.Popen运用实例

实例1

>>> import subprocess
>>>
>>> p = subprocess.Popen('df -Th', stdout=subprocess.PIPE, shell=True)
>>> print(p.stdout.read())
Filesystem     Type      Size  Used Avail Use% Mounted on
/dev/vda1      ext4       40G   12G   26G  31% /
devtmpfs       devtmpfs  3.9G     0  3.9G   0% /dev
tmpfs          tmpfs     3.9G     0  3.9G   0% /dev/shm
tmpfs          tmpfs     3.9G  386M  3.5G  10% /run
tmpfs          tmpfs     3.9G     0  3.9G   0% /sys/fs/cgroup
tmpfs          tmpfs     783M     0  783M   0% /run/user/0
tmpfs          tmpfs     783M     0  783M   0% /run/user/1000

实例2

>>> obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
>>> obj.stdin.write('print(1) \n')
>>> obj.stdin.write('print(2) \n')
>>> obj.stdin.write('print(3) \n')
>>> out,err = obj.communicate()
>>> print(out)
1
2
3
>>> print(err)

实例3

>>> obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
>>> out,err = obj.communicate(input='print(1) \n')
>>> print(out)
1
>>> print(err)

实例4

完结相似df -Th | grep data指令的功用，实际上就是完结shell中管道的共功用。

>>> 
>>> p1 = subprocess.Popen(['df', '-Th'], stdout=subprocess.PIPE)
>>> p2 = subprocess.Popen(['grep', 'data'], stdin=p1.stdout, stdout=subprocess.PIPE)
>>> out,err = p2.communicate()
>>> print(out)
/dev/vdb1      ext4      493G  4.8G  463G   2% /data
/dev/vdd1      ext4     1008G  420G  537G  44% /data1
/dev/vde1      ext4      985G  503G  432G  54% /data2
#Python小白学习交流群：711312441
>>> print(err)
None

三.总结

那么咱们到底该用哪个模块、哪个函数来履行指令与体系及体系进行交互呢？下面咱们来做个总结：

首要应该知道的是，Python2.4版别引入了subprocess模块用来替换os.system()、os.popen()、os.spawn*()等函数以及commands模块；也就是说假如你运用的是Python 2.4及以上的版别就应该运用subprocess模块了。
假如你的运用运用的Python 2.4以上，可是是Python 3.5以下的版别，Python官方给出的主张是运用subprocess.call()函数。Python 2.5中新增了一个subprocess.check_call()函数，Python 2.7中新增了一个subprocess.check_output()函数，这两个函数也能够按照需求进行运用。
假如你的运用运用的是Python 3.5及以上的版别（目前应该还很少），Python官方给出的主张是尽量运用subprocess.run()函数。
当subprocess.call()、subprocess.check_call()、subprocess.check_output()和subprocess.run()这些高档函数无法满足需求时，咱们能够运用subprocess.Popen类来完结咱们需求的杂乱功用。