python中IO多路复用

IO多路复用

用户空间和内核空间

操作系统都是采用虚拟存储器,对于32位的操作系统,寻址空间(虚拟存储空间)为4G,操作系统的核心是内核,独立于普通的应用程序,可以访问受保护内存空间,也有访问底层硬件设备的所有权限,为了保证用户进程不能直接操作内核,保证内核的安全,操作系统将虚拟空间分为两部分:一部分为内核空间,一部分是用户空间,针对Linux而言,将最高的1G字节给内核使用,这就是内核空间,将3G字节的给各个进程使用,这是用户空间。

文件描述符fd

文件描述符是一个用于标书指向文件的引用的抽象概念。
文件描述符在形式上是一个非负整数,实际上,它是一个索引值,指内核为每一个进程所维护的进程打开文件的记录的记录表,当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。

缓存IO

缓存IO,也被成为标准IO,大多数文件系统默认IO操作都是这个,在Linux的缓存IO机制中,操作系统会将IO的数据缓存在文件系统的页缓存中,也就是说数据会先被拷贝到操作系统内核的缓冲区中,然后才会从操作吸引内核的缓冲区拷贝到应用程序的地址空间

但是也有缺点:
数据在传输过程中需要在应用程序地址空间和内核进行多次数据拷贝操作,这些数据拷贝操作带来的CPU和内存开销十分大

IO模式

对于一次IO访问(以read为例),数据会先拷贝到操作系统内核的缓冲区中,然后会从操作系统内核的缓冲区拷贝到应用程序的地址空间,也就是说当一个read操作发生时,会有两个步骤:

  • 等待数据准备
  • 数据从内核拷贝到进程
    基于这两个阶段,Linux系统产生五中网络模式的方案:
  • 阻塞I/O(blocking IO)
  • 非阻塞I/O(nonblocking IO)
  • I/O多路复用(IO multiplexing)
  • 信号驱动I/O(signal driven IO) —-不常用
  • 异步I/O(asynchromous IO)

阻塞I/O(blocking IO)

在linux中,默认情况下所有的socket都是blocking,一个典型的读操作流程大概是这样:
Alt text
当用户进程调用了recvfrom这个系统调用,kernel就开始了IO的第一个阶段:准备数据(对于网络IO来说,很多时候数据在一开始还没有到达。比如,还没有收到一个完整的UDP包。这个时候kernel就要等待足够的数据到来)。这个过程需要等待,也就是说数据被拷贝到操作系统内核的缓冲区中是需要一个过程的。而在用户进程这边,整个进程会被阻塞(当然,是进程自己选择的阻塞)。当kernel一直等到数据准备好了,它就会将数据从kernel中拷贝到用户内存,然后kernel返回结果,用户进程才解除block的状态,重新运行起来。
所以,blocking IO的特点就是在IO执行的两个阶段都被block了

非阻塞I/O(nonblocking IO)

inux下,可以通过设置socket使其变为non-blocking。当对一个non-blocking socket执行读操作时,流程是这个样子:
Alt text
当用户进程发出read操作时,如果kernel中的数据还没有准备好,那么它并不会block用户进程,而是立刻返回一个error。从用户进程角度讲 ,它发起一个read操作后,并不需要等待,而是马上就得到了一个结果。用户进程判断结果是一个error时,它就知道数据还没有准备好,于是它可以再次发送read操作。一旦kernel中的数据准备好了,并且又再次收到了用户进程的system call,那么它马上就将数据拷贝到了用户内存,然后返回。

所以,nonblocking IO的特点是用户进程需要不断的主动询问kernel数据好了没有。

I/O多路复用(IO multiplexing)

IO multiplexing就是我们说的select,poll,epoll,有些地方也称这种IO方式为event driven IO。select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。它的基本原理就是select,poll,epoll这个function会不断的轮询所负责的所有socket,当某个socket有数据到达了,就通知用户进程。
Alt text
当用户进程调用了select,那么整个进程会被block,而同时,kernel会“监视”所有select负责的socket,当任何一个socket中的数据准备好了,select就会返回。这个时候用户进程再调用read操作,将数据从kernel拷贝到用户进程。

所以,I/O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符,而这些文件描述符(套接字描述符)其中的任意一个进入读就绪状态,select()函数就可以返回。

这个图和blocking IO的图其实并没有太大的不同,事实上,还更差一些。因为这里需要使用两个system call (select 和 recvfrom),而blocking IO只调用了一个system call (recvfrom)。但是,用select的优势在于它可以同时处理多个connection。

所以,如果处理的连接数不是很高的话,使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好,可能延迟还更大。select/epoll的优势并不是对于单个连接能处理得更快,而是在于能处理更多的连接。)

在IO multiplexing Model中,实际中,对于每一个socket,一般都设置成为non-blocking,但是,如上图所示,整个用户的process其实是一直被block的。只不过process是被select这个函数block,而不是被socket IO给block。

异步I/O(asynchromous IO)

Linux下的asynchronous IO其实用得很少。先看一下它的流程:
Alt text
用户进程发起read操作之后,立刻就可以开始去做其它的事。而另一方面,从kernel的角度,当它受到一个asynchronous read之后,首先它会立刻返回,所以不会对用户进程产生任何block。然后,kernel会等待数据准备完成,然后将数据拷贝到用户内存,当这一切都完成之后,kernel会给用户进程发送一个signal,告诉它read操作完成了。


   转载规则


《python中IO多路复用》 Gsuhy 采用 知识共享署名 4.0 国际许可协议 进行许可。
  目录